#LLMOps
标签 · 共 2 篇
Kubernetes / 平台工程··7 分钟
不要把 LLM 网关只当反向代理：Kubernetes 推理路由需要模型感知
从 Gateway API Inference Extension 与 Envoy AI Gateway 出发，拆解模型感知推理网关的路由、优先级、指标和安全边界。
#Kubernetes#Gateway-API#LLMOps
Kubernetes / 平台工程··5 分钟
Kubernetes GPU 推理平台的可观测性闭环：从 DCGM 到业务 SLO
把 GPU 指标、推理服务遥测、队列状态和业务 SLO 合并为平台工程可执行的闭环。
#Kubernetes#GPU#LLMOps