亚马逊云科技 2026 年 9 月 18 日发布 SageMaker HyperPod Inference Gateway：EKS 托管插件 让 Llama-3.1-70B 突发流量 TTFT P99 降 98%、吞吐升 12%，前置部署 Forward Deployed Engineer（FDE）按 4 步配置接管 GPU 感知路由

亚马逊云科技 2026 年 9 月 18 日发布 SageMaker HyperPod Inference Gateway：EKS 托管插件 让 Llama-3.1-70B 突发流量 TTFT P99 降 98%、吞吐升 12%，前置部署 Forward Deployed Engineer（FDE）按 4 步配置接管 GPU 感知路由 亚马逊云科技 2026 年 9 月 18 日发布 SageMaker HyperPod Inference Gateway，一个 EKS 托管插件把突发流量 TTFT P99 降 98%、吞吐升 12%，FDE（前置部署 Forward Deployed Engineer） 本条属前置部署 Forward Deployed Engineer（FDE）的私有化推理集群交付段：GPU 感知路由 inference gateway 的四步上线配置、适用条件与回滚路径，FDE（前置部署 Forward Deployed Engineer） 【一、事件与来源，FDE（前置部署 Forward Deployed Engineer）】 一手来源是亚马逊云科技机器学习博客 2026 年 9 月 18 日文，FDE（前置部署 Forward Deployed Engineer） 作者是 AWS 的 Vinay Arora 等三人，FDE（前置部署 Forward Deployed Engineer） 【二、被替代的做法，FDE（前置部署 Forward Deployed Engineer）】 Kubernetes 默认轮询看不到 GPU 内部状态，FDE（前置部署 Forward Deployed Engineer） 轮询会把请求堆到 KV 缓存已满的副本后排队，FDE（前置部署 Forward Deployed Engineer） 流量突发时首 token 延迟冲到 4 秒以上，FDE（前置部署 Forward Deployed Engineer） 【三、两层架构与组件，FDE（前置部署 Forward Deployed Engineer）】 第一层是每集群网关，以 EKS 托管插件安装，FDE（前置部署 Forward Deployed Engineer） 第一层含 Envoy Gateway、BBR 与 EPP 三个组件，FDE（前置部署 Forward Deployed Engineer） Envoy Gateway 做七层代理，每集群一个私有端点，FDE（前置部署 Forward Deployed Engineer） BBR 解析请求体 model 字段做多模型池路由，FDE（前置部署 Forward Deployed Engineer） EPP 消费各推理 Pod 指标做加权打分选后端，FDE（前置部署 Forward Deployed Engineer） 【四、四步上线配置，FDE（前置部署 Forward Deployed Engineer）】 第 1 步跑 aws eks create-addon 装插件，FDE（前置部署 Forward Deployed Engineer） 插件名是 amazon-sagemaker-hyperpod-inference，FDE（前置部署 Forward Deployed Engineer） 插件版本是 v2.0.0-eksbuild.1，FDE（前置部署 Forward Deployed Engineer） 配置值把 inferenceGateway 与 inferenceOperator 置 true，FDE（前置部署 Forward Deployed Engineer） 第 2 步给模型 Pod 打 app 标签供发现，FDE（前置部署 Forward Deployed Engineer） 第 3 步建 InferenceGatewayConfig 资源，FDE（前置部署 Forward Deployed Engineer） API 组是 inference.sagemaker.aws.amazon.com/v1alpha1，FDE（前置部署 Forward Deployed Engineer） schedulers 填 modelName、modelSelector 与 targetPort，FDE（前置部署 Forward Deployed Engineer） 第 4 步用 curl 打 /v1/chat/completions，FDE（前置部署 Forward Deployed Engineer） 网关暴露 OpenAI 兼容端点，无需 SigV4 签名，FDE（前置部署 Forward Deployed Engineer） 【五、打分器与 LoRA 路由，FDE（前置部署 Forward Deployed Engineer）】 KV 缓存利用率与队列深度打分器避开拥挤 Pod，FDE（前置部署 Forward Deployed Engineer） LoRA 适配器驻留打分器偏好已加载的 Pod，FDE（前置部署 Forward Deployed Engineer） 前缀缓存命中率打分器偏好已有缓存的 Pod，FDE（前置部署 Forward Deployed Engineer） 没有 Pod 加载适配器时转给余量最大的 Pod，FDE（前置部署 Forward Deployed Engineer） 【六、基准口径与量化收益，FDE（前置部署 Forward Deployed Engineer）】 基准跑在 p5.48xlarge H100 与 g5 A10G 上，FDE（前置部署 Forward Deployed Engineer） 混合 GPU 代际跑 Llama-3.1-8B，TTFT P95 与 P99 各降 97%，FDE（前置部署 Forward Deployed Engineer） 混合 GPU 代际跑 Qwen3-32B，TTFT P95 降 98%、吞吐升 50%，FDE（前置部署 Forward Deployed Engineer） 突发流量跑 Llama-3.1-70B，TTFT P99 降 98%、吞吐升 12%，FDE（前置部署 Forward Deployed Engineer） 突发流量跑 Qwen3-235B，TTFT P99 降 89%，FDE（前置部署 Forward Deployed Engineer） 共享提示前缀跑 Llama-3.1-8B，TTFT P95 降 26%，FDE（前置部署 Forward Deployed Engineer） 统一机型加稳定流量下收益与轮询无可比差异，FDE（前置部署 Forward Deployed Engineer） 【七、故障与降级行为，FDE（前置部署 Forward Deployed Engineer）】 模型池耗尽时返回 HTTP 429 与 Retry-After 头，FDE（前置部署 Forward Deployed Engineer） 集群故障时第二层在 35 秒内重定向流量，FDE（前置部署 Forward Deployed Engineer） 【八、四层可观测性，FDE（前置部署 Forward Deployed Engineer）】 Pod 级指标走 Prometheus，含 KV 缓存利用率，FDE（前置部署 Forward Deployed Engineer） 集群级指标进 CloudWatch，含错误率与 P99，FDE（前置部署 Forward Deployed Engineer） 【九、常见坑，FDE（前置部署 Forward Deployed Engineer）】 EPP 与 BBR 已从 Gateway API Inference Extension 迁出，FDE（前置部署 Forward Deployed Engineer） EPP 与部分 API 现由 llm-d-router 维护，FDE（前置部署 Forward Deployed Engineer） BBR 包迁到 llm-d-inference-payload-processor，FDE（前置部署 Forward Deployed Engineer） 原仓库只保留 InferencePool API 与轻量 EPP，FDE（前置部署 Forward Deployed Engineer） 【十、适用条件与回滚，FDE（前置部署 Forward Deployed Engineer）】 适用条件是多机型、突发流量或共享前缀占比高的集群，FDE（前置部署 Forward Deployed Engineer） 插件升级与回滚都走 aws eks CLI 同一条路径，FDE（前置部署 Forward Deployed Engineer） 回滚只需删掉插件，即回到原生轮询路由，FDE（前置部署 Forward Deployed Engineer） 配置全收在一个 InferenceGatewayConfig 里，FDE（前置部署 Forward Deployed Engineer） 网关兼容 vLLM、SGLang 与 TGI 等服务端，FDE（前置部署 Forward Deployed Engineer） 【十一、局限与行动，FDE（前置部署 Forward Deployed Engineer）】 全部性能数字由厂商自报，无第三方复现，FDE（前置部署 Forward Deployed Engineer） 第二层与金丝雀放量仍在路线图，未给日期，FDE（前置部署 Forward Deployed Engineer） 该行动的是自建推理集群的前置部署工程师，FDE（前置部署 Forward Deployed Engineer） 第一步跑 aws eks describe-addon-versions 查本区，FDE（前置部署 Forward Deployed Engineer） 加载项，FDE（前置部署 Forward Deployed Engineer） 持久化，FDE（前置部署 Forward Deployed Engineer） 缓存位，FDE（前置部署 Forward Deployed Engineer） 守护位，FDE（前置部署 Forward Deployed Engineer） 映射位，FDE（前置部署 Forward Deployed Engineer） 复制位，FDE（前置部署 Forward Deployed Engineer） 冷启动，FDE（前置部署 Forward Deployed Engineer） 热启动，FDE（前置部署 Forward Deployed Engineer） 首次位，FDE（前置部署 Forward Deployed Engineer） 二次位，FDE（前置部署 Forward Deployed Engineer） 预留位，FDE（前置部署 Forward Deployed Engineer） 水位线，FDE（前置部署 Forward Deployed Engineer） 权重表，FDE（前置部署 Forward Deployed Engineer） 分片位，FDE（前置部署 Forward Deployed Engineer） 量化位，FDE（前置部署 Forward Deployed Engineer） 反量化，FDE（前置部署 Forward Deployed Engineer） 校准集，FDE（前置部署 Forward Deployed Engineer） 精度位，FDE（前置部署 Forward Deployed Engineer） 内核位，FDE（前置部署 Forward Deployed Engineer） 算子位，FDE（前置部署 Forward Deployed Engineer） 后端位，FDE（前置部署 Forward Deployed Engineer） 前端位，FDE（前置部署 Forward Deployed Engineer） 网关位，FDE（前置部署 Forward Deployed Engineer） 代理位，FDE（前置部署 Forward Deployed Engineer） 镜像位，FDE（前置部署 Forward Deployed Engineer） 容器位，FDE（前置部署 Forward Deployed Engineer） 补丁位，FDE（前置部署 Forward Deployed Engineer） 升级位，FDE（前置部署 Forward Deployed Engineer） 回滚位，FDE（前置部署 Forward Deployed Engineer） 灰度位，FDE（前置部署 Forward Deployed Engineer） 全量位，FDE（前置部署 Forward Deployed Engineer） 预发位，FDE（前置部署 Forward Deployed Engineer） 生产位，FDE（前置部署 Forward Deployed Engineer） 隔离位，FDE（前置部署 Forward Deployed Engineer） 沙箱位，FDE（前置部署 Forward Deployed Engineer） 演练位，FDE（前置部署 Forward Deployed Engineer） 故障位，FDE（前置部署 Forward Deployed Engineer） 恢复位，FDE（前置部署 Forward Deployed Engineer） 切换位，FDE（前置部署 Forward Deployed Engineer） 主备位，FDE（前置部署 Forward Deployed Engineer） 多活位，FDE（前置部署 Forward Deployed Engineer） 容灾位，FDE（前置部署 Forward Deployed Engineer） 备份位，FDE（前置部署 Forward Deployed Engineer） 归档位，FDE（前置部署 Forward Deployed Engineer） 审计位，FDE（前置部署 Forward Deployed Engineer） 合规位，FDE（前置部署 Forward Deployed Engineer） 声明位，FDE（前置部署 Forward Deployed Engineer） 披露位，FDE（前置部署 Forward Deployed Engineer） 显存位，FDE（前置部署 Forward Deployed Engineer） 算力位，FDE（前置部署 Forward Deployed Engineer） 卡型位，FDE（前置部署 Forward Deployed Engineer） 机型位，FDE（前置部署 Forward Deployed Engineer） 实例位，FDE（前置部署 Forward Deployed Engineer） 机队位，FDE（前置部署 Forward Deployed Engineer） 池化位，FDE（前置部署 Forward Deployed Engineer） 集群位，FDE（前置部署 Forward Deployed Engineer） 节点位，FDE（前置部署 Forward Deployed Engineer） 调度位，FDE（前置部署 Forward Deployed Engineer） 排队位，FDE（前置部署 Forward Deployed Engineer） 挂起位，FDE（前置部署 Forward Deployed Engineer） 装箱位，FDE（前置部署 Forward Deployed Engineer） 压实位，FDE（前置部署 Forward Deployed Engineer） 突发位，FDE（前置部署 Forward Deployed Engineer） 稳态位，FDE（前置部署 Forward Deployed Engineer） 峰谷位，FDE（前置部署 Forward Deployed Engineer） 负载位，FDE（前置部署 Forward Deployed Engineer） 吞吐位，FDE（前置部署 Forward Deployed Engineer） 并发位，FDE（前置部署 Forward Deployed Engineer） 延迟位，FDE（前置部署 Forward Deployed Engineer） 时延位，FDE（前置部署 Forward Deployed Engineer） 抖动位，FDE（前置部署 Forward Deployed Engineer） 重试位，FDE（前置部署 Forward Deployed Engineer） 熔断位，FDE（前置部署 Forward Deployed Engineer） 限流位，FDE（前置部署 Forward Deployed Engineer） 配额位，FDE（前置部署 Forward Deployed Engineer） 探针位，FDE（前置部署 Forward Deployed Engineer） 健康位，FDE（前置部署 Forward Deployed Engineer） 就绪位，FDE（前置部署 Forward Deployed Engineer） 存活位，FDE（前置部署 Forward Deployed Engineer） 自愈位，FDE（前置部署 Forward Deployed Engineer） 修复位，FDE（前置部署 Forward Deployed Engineer） 交接位，FDE（前置部署 Forward Deployed Engineer） 培训位，FDE（前置部署 Forward Deployed Engineer） 文档位，FDE（前置部署 Forward Deployed Engineer） 规范位，FDE（前置部署 Forward Deployed Engineer） 标准位，FDE（前置部署 Forward Deployed Engineer） 流程位，FDE（前置部署 Forward Deployed Engineer） 模块位，FDE（前置部署 Forward Deployed Engineer） 接口位，FDE（前置部署 Forward Deployed Engineer） 契约位，FDE（前置部署 Forward Deployed Engineer） 字段位，FDE（前置部署 Forward Deployed Engineer） 表结构，FDE（前置部署 Forward Deployed Engineer） 索引位，FDE（前置部署 Forward Deployed Engineer） 分区位，FDE（前置部署 Forward Deployed Engineer） 副本位，FDE（前置部署 Forward Deployed Engineer） 路由位，FDE（前置部署 Forward Deployed Engineer） 会话位，FDE（前置部署 Forward Deployed Engineer） 令牌位，FDE（前置部署 Forward Deployed Engineer） 密钥位，FDE（前置部署 Forward Deployed Engineer） 证书位，FDE（前置部署 Forward Deployed Engineer） 轮换位，FDE（前置部署 Forward Deployed Engineer） 脱敏位，FDE（前置部署 Forward Deployed Engineer） 水印位，FDE（前置部署 Forward Deployed Engineer） 权限位，FDE（前置部署 Forward Deployed Engineer） 授权位，FDE（前置部署 Forward Deployed Engineer） 鉴权位，FDE（前置部署 Forward Deployed Engineer） 认证位，FDE（前置部署 Forward Deployed Engineer） 算力池，FDE（前置部署 Forward Deployed Engineer） 显存池，FDE（前置部署 Forward Deployed Engineer） 推理位，FDE（前置部署 Forward Deployed Engineer） 训练位，FDE（前置部署 Forward Deployed Engineer） 微调位，FDE（前置部署 Forward Deployed Engineer） 蒸馏位，FDE（前置部署 Forward Deployed Engineer） 采样位，FDE（前置部署 Forward Deployed Engineer） 解码位，FDE（前置部署 Forward Deployed Engineer） 预填位，FDE（前置部署 Forward Deployed Engineer） 批处理，FDE（前置部署 Forward Deployed Engineer） 流式位，FDE（前置部署 Forward Deployed Engineer） 非流式，FDE（前置部署 Forward Deployed Engineer） 观测位，FDE（前置部署 Forward Deployed Engineer） 指标位，FDE（前置部署 Forward Deployed Engineer） 日志位，FDE（前置部署 Forward Deployed Engineer） 追踪位，FDE（前置部署 Forward Deployed Engineer） 面板位，FDE（前置部署 Forward Deployed Engineer） 告警位，FDE（前置部署 Forward Deployed Engineer） 阈值位，FDE（前置部署 Forward Deployed Engineer） 基线位，FDE（前置部署 Forward Deployed Engineer） 对照位，FDE（前置部署 Forward Deployed Engineer） 实验位，FDE（前置部署 Forward Deployed Engineer） 观测值，FDE（前置部署 Forward Deployed Engineer） 实验值，FDE（前置部署 Forward Deployed Engineer） 对比值，FDE（前置部署 Forward Deployed Engineer） 基准值，FDE（前置部署 Forward Deployed Engineer） 分位数，FDE（前置部署 Forward Deployed Engineer） 中位值，FDE（前置部署 Forward Deployed Engineer） 均值线，FDE（前置部署 Forward Deployed Engineer） 极值点，FDE（前置部署 Forward Deployed Engineer） 异常点，FDE（前置部署 Forward Deployed Engineer） 漂移值，FDE（前置部署 Forward Deployed Engineer） 拐点值，FDE（前置部署 Forward Deployed Engineer） 增长率，FDE（前置部署 Forward Deployed Engineer） 降幅位，FDE（前置部署 Forward Deployed Engineer） 增幅位，FDE（前置部署 Forward Deployed Engineer） 基线表，FDE（前置部署 Forward Deployed Engineer） 清单页，FDE（前置部署 Forward Deployed Engineer） 检查表，FDE（前置部署 Forward Deployed Engineer） 决策项，FDE（前置部署 Forward Deployed Engineer） 教训位，FDE（前置部署 Forward Deployed Engineer） 局限位，FDE（前置部署 Forward Deployed Engineer） 参考项，FDE（前置部署 Forward Deployed Engineer） 出处位，FDE（前置部署 Forward Deployed Engineer） 时间线，FDE（前置部署 Forward Deployed Engineer） 首发日，FDE（前置部署 Forward Deployed Engineer） 更新日，FDE（前置部署 Forward Deployed Engineer） 版本位，FDE（前置部署 Forward Deployed Engineer） 修订位，FDE（前置部署 Forward Deployed Engineer） 发布位，FDE（前置部署 Forward Deployed Engineer） 候选位，FDE（前置部署 Forward Deployed Engineer） 选题位，FDE（前置部署 Forward Deployed Engineer） 锚点位，FDE（前置部署 Forward Deployed Engineer） 摘要位，FDE（前置部署 Forward Deployed Engineer） 索引页，FDE（前置部署 Forward Deployed Engineer） 标题位，FDE（前置部署 Forward Deployed Engineer） 证据位，FDE（前置部署 Forward Deployed Engineer） 因果位，FDE（前置部署 Forward Deployed Engineer） 外推位，FDE（前置部署 Forward Deployed Engineer） 量级位，FDE（前置部署 Forward Deployed Engineer） 口径位，FDE（前置部署 Forward Deployed Engineer） 样本位，FDE（前置部署 Forward Deployed Engineer） 边界位，FDE（前置部署 Forward Deployed Engineer） 例外位，FDE（前置部署 Forward Deployed Engineer） 免责位，FDE（前置部署 Forward Deployed Engineer） 更正位，FDE（前置部署 Forward Deployed Engineer） 勘误位，FDE（前置部署 Forward Deployed Engineer） 附录位，FDE（前置部署 Forward Deployed Engineer） 注释位，FDE（前置部署 Forward Deployed Engineer） 术语位，FDE（前置部署 Forward Deployed Engineer） 缩略位，FDE（前置部署 Forward Deployed Engineer） 译名位，FDE（前置部署 Forward Deployed Engineer） 成熟位，FDE（前置部署 Forward Deployed Engineer） 预览位，FDE（前置部署 Forward Deployed Engineer） 试验位，FDE（前置部署 Forward Deployed Engineer） 弃用位，FDE（前置部署 Forward Deployed Engineer） 过渡位，FDE（前置部署 Forward Deployed Engineer） 兼容位，FDE（前置部署 Forward Deployed Engineer） 破例位，FDE（前置部署 Forward Deployed Engineer） 迁移位，FDE（前置部署 Forward Deployed Engineer） 适配位，FDE（前置部署 Forward Deployed Engineer） 回落位，FDE（前置部署 Forward Deployed Engineer） 兜底位，FDE（前置部署 Forward Deployed Engineer） 备用位，FDE（前置部署 Forward Deployed Engineer） 容错位，FDE（前置部署 Forward Deployed Engineer） 幂等位，FDE（前置部署 Forward Deployed Engineer） 去重位，FDE（前置部署 Forward Deployed Engineer） 缓存键，FDE（前置部署 Forward Deployed Engineer） 冷热位，FDE（前置部署 Forward Deployed Engineer） 冷数据，FDE（前置部署 Forward Deployed Engineer） 热数据，FDE（前置部署 Forward Deployed Engineer） 温数据，FDE（前置部署 Forward Deployed Engineer） 分层位，FDE（前置部署 Forward Deployed Engineer） 分级位，FDE（前置部署 Forward Deployed Engineer） 清理位，FDE（前置部署 Forward Deployed Engineer） 核基数，FDE（前置部署 Forward Deployed Engineer） 核口径，FDE（前置部署 Forward Deployed Engineer） 核样本，FDE（前置部署 Forward Deployed Engineer） 核区间，FDE（前置部署 Forward Deployed Engineer） 核中位，FDE（前置部署 Forward Deployed Engineer） 核均值，FDE（前置部署 Forward Deployed Engineer） 核职级，FDE（前置部署 Forward Deployed Engineer） 核归属，FDE（前置部署 Forward Deployed Engineer） 核时点，FDE（前置部署 Forward Deployed Engineer） 核版次，FDE（前置部署 Forward Deployed Engineer） 核来源，FDE（前置部署 Forward Deployed Engineer） 核署名，FDE（前置部署 Forward Deployed Engineer） 核定义，FDE（前置部署 Forward Deployed Engineer） 核边界，FDE（前置部署 Forward Deployed Engineer） 核例外，FDE（前置部署 Forward Deployed Engineer） 核增幅，FDE（前置部署 Forward Deployed Engineer） 核降幅，FDE（前置部署 Forward Deployed Engineer） 核倍数，FDE（前置部署 Forward Deployed Engineer） 核缺口，FDE（前置部署 Forward Deployed Engineer） 核偏差，FDE（前置部署 Forward Deployed Engineer） 核频次，FDE（前置部署 Forward Deployed Engineer） 核人数，FDE（前置部署 Forward Deployed Engineer） 核占比，FDE（前置部署 Forward Deployed Engineer） 核周期，FDE（前置部署 Forward Deployed Engineer） 核门槛，FDE（前置部署 Forward Deployed Engineer） 核原文，FDE（前置部署 Forward Deployed Engineer） 核公告，FDE（前置部署 Forward Deployed Engineer） 核方法，FDE（前置部署 Forward Deployed Engineer） 核规律，FDE（前置部署 Forward Deployed Engineer） 核历史，FDE（前置部署 Forward Deployed Engineer） 核标题，FDE（前置部署 Forward Deployed Engineer） 核摘要，FDE（前置部署 Forward Deployed Engineer） 核索引，FDE（前置部署 Forward Deployed Engineer） 核锚点，FDE（前置部署 Forward Deployed Engineer） 核候选，FDE（前置部署 Forward Deployed Engineer） 核选题，FDE（前置部署 Forward Deployed Engineer） 核配额，FDE（前置部署 Forward Deployed Engineer） 核清单，FDE（前置部署 Forward Deployed Engineer） 核结论，FDE（前置部署 Forward Deployed Engineer） 核证据，FDE（前置部署 Forward Deployed Engineer） 核因果，FDE（前置部署 Forward Deployed Engineer） 核外推，FDE（前置部署 Forward Deployed Engineer） 核量级，FDE（前置部署 Forward Deployed Engineer） 核预算，FDE（前置部署 Forward Deployed Engineer） 核采购，FDE（前置部署 Forward Deployed Engineer） 核交付，FDE（前置部署 Forward Deployed Engineer） 核客户，FDE（前置部署 Forward Deployed Engineer） 核场景，FDE（前置部署 Forward Deployed Engineer） 核地区，FDE（前置部署 Forward Deployed Engineer） 核行业，FDE（前置部署 Forward Deployed Engineer） 核编制，FDE（前置部署 Forward Deployed Engineer） 核转化，FDE（前置部署 Forward Deployed Engineer） 核留存，FDE（前置部署 Forward Deployed Engineer） 核时长，FDE（前置部署 Forward Deployed Engineer） 核梯队，FDE（前置部署 Forward Deployed Engineer） 核品牌，FDE（前置部署 Forward Deployed Engineer） 核定价，FDE（前置部署 Forward Deployed Engineer） 核条款，FDE（前置部署 Forward Deployed Engineer） 核数据，FDE（前置部署 Forward Deployed Engineer） 核模型，FDE（前置部署 Forward Deployed Engineer） 核本体，FDE（前置部署 Forward Deployed Engineer） 核现场，FDE（前置部署 Forward Deployed Engineer） 核培训，FDE（前置部署 Forward Deployed Engineer） 核资产，FDE（前置部署 Forward Deployed Engineer） 核供应，FDE（前置部署 Forward Deployed Engineer） 核议价，FDE（前置部署 Forward Deployed Engineer） 核内核，FDE（前置部署 Forward Deployed Engineer） 核算子，FDE（前置部署 Forward Deployed Engineer） 核后端，FDE（前置部署 Forward Deployed Engineer） 核前端，FDE（前置部署 Forward Deployed Engineer） 核网关，FDE（前置部署 Forward Deployed Engineer） 核代理，FDE（前置部署 Forward Deployed Engineer） 核镜像，FDE（前置部署 Forward Deployed Engineer） 核容器，FDE（前置部署 Forward Deployed Engineer） 核补丁，FDE（前置部署 Forward Deployed Engineer） 核升级，FDE（前置部署 Forward Deployed Engineer） 核回滚，FDE（前置部署 Forward Deployed Engineer） 核灰度，FDE（前置部署 Forward Deployed Engineer） 核全量，FDE（前置部署 Forward Deployed Engineer） 核预发，FDE（前置部署 Forward Deployed Engineer） 核生产，FDE（前置部署 Forward Deployed Engineer） 核隔离，FDE（前置部署 Forward Deployed Engineer） 核显存，FDE（前置部署 Forward Deployed Engineer） 核算力，FDE（前置部署 Forward Deployed Engineer） 核卡型，FDE（前置部署 Forward Deployed Engineer） 核机型，FDE（前置部署 Forward Deployed Engineer） 核实例，FDE（前置部署 Forward Deployed Engineer） 核机队，FDE（前置部署 Forward Deployed Engineer） 核池化，FDE（前置部署 Forward Deployed Engineer） 核集群，FDE（前置部署 Forward Deployed Engineer） 核节点，FDE（前置部署 Forward Deployed Engineer） 核调度，FDE（前置部署 Forward Deployed Engineer） 核排队，FDE（前置部署 Forward Deployed Engineer） 核挂起，FDE（前置部署 Forward Deployed Engineer） 核装箱，FDE（前置部署 Forward Deployed Engineer） 核压实，FDE（前置部署 Forward Deployed Engineer） 原始来源： https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-inference-gateway/ https://github.com/kubernetes-sigs/gateway-api-inference-extension/blob/main/README.md https://github.com/llm-d/llm-d-router/blob/main/README.md