在 vLLM Semantic Router 中使用 Microsoft Foundry 远程 Embedding 推理
1. 引言 在 vLLM Semantic Router 的设计中，Embedding 推理是驱动语义路由的核心信号之一。 官方教程已经演示了如何使用**远程 Embedding 推理提供商（Remote Embedding Providers）**替代本地 Embedding 推理服务： 👉 https://vllm-sr.ai/docs/tutorials/global/remote-embeddings/ 然而，在实际生产环境中，一个更为关键的问题随之而来： 如何使用企业级、可扩展的 Embedding 推理服务来支持语义路由？ 本文基于官方教程中的场景，并结合 Microsoft Foundry Embedding 模型，演示如何构建一个具备以下特性的智能路由系统： 无需 GPU 无需在本地部署 Embedding 模型 生产就绪 2. 回顾：远程 Embedding 推理提供商 在 vLLM Semantic Router 中，路由器运行在 CPU 上，不依赖 GPU 推理能力。 通过远程 Embedding 推理提供商： 路由器 → 远程 Embedding 推理 API → 向量 我们可以： 将嵌入计算完全卸载到云服务 统一多模型的语义能力 解耦路由与推理 3. 教程场景（沿用官方测试场景） 在官方教程中，核心流程如下： 第 1 步：定义语义路由 routing: decisions: - name: math when: semantic_similarity: text: "math question" threshold: 0....