训练一个自己的 Jev：决策模型的原理、数据、算力、训练与评测全流程
引言 过去一个月，我连续写了两篇决策模型的文章：Jev vs Laya 对比了闭源的 Jev 和开源的 Laya，Microsoft-Decision-1 详解 又加入了微软。写完之后，被问得最多的问题是：能不能自己训练一个？ ...
Llm
Microsoft-Decision-1 详解：微软入局决策模型，与 Jev、Laya 的三方对比
引言 上个月我写了一篇 Jev vs Laya，对比了 TypeSafe AI 的闭源决策模型 Jev 和社区开源的 Laya。那时“决策模型”还是一个刚刚诞生的新品类：9 月 15 日 Jev 发布，三天后 Laya 开源。 ...
用 Microsoft Web IQ 增强 OpenWebUI：零代码实现联网搜索与链接自动读取
在上一篇文章中，我把 OpenWebUI 的数据库迁移到了 Azure 托管 PostgreSQL。在日常使用 OpenWebUI 的过程中，我经常遇到两个问题： 问不到最新的信息：模型有知识截止时间，问到最近的版本发布、新闻或价格，要么答不上来，要么答错。 贴进去的链接不会被打开：把文章、文档或 GitHub 页面的 URL 贴进对话框，想让模型总结、翻译或对比，模型却不会去读这个链接，有时甚至会根据 URL 猜出一段“看起来很像”的内容。 这两个问题都可以靠 OpenWebUI 的联网能力解决。本文使用微软新推出的 Microsoft Web IQ 作为联网搜索引擎，并让模型自动识别消息中的 URL、读取网页后再回答。整个过程只需要在 Azure 门户中创建一个 Web IQ 资源，再到 OpenWebUI 的管理界面中完成配置，不需要写代码，也不需要部署额外的服务。 ...
Jev vs Laya：闭源与开源 System One 决策模型的对比与选型
引言 2026 年 9 月，AI 圈突然流行起一类“不会说话”的模型。 9 月 15 日，由前 OpenAI 研究员 Diogo Almeida 创办的 TypeSafe AI 发布了 Jev：它不聊天、不写文章、也不生成代码，只接收一段状态（state）和一组预先定义好的问题，然后直接返回带有校准概率的结构化决策。 ...
使用 Envoy Ratelimit 构建支持 RPM/TPM 的分布式 AI 限流服务器
在普通 HTTP API 中，我们通常只需要限制“每分钟请求数”。但对于大模型接口，仅限制请求数量远远不够：一次请求可能只消耗几十个 Token，也可能消耗数万个 Token。 ...
OpenWebUI 数据库迁移实践：从 VM 自建 PostgreSQL 平滑迁移到 Azure 托管 PostgreSQL
随着 OpenWebUI 中的用户、对话、文件和知识库数据不断增长，原先部署在 Azure VM 上的自建 PostgreSQL 带来了越来越多的运维工作，包括数据库补丁、备份、故障恢复、存储监控和安全维护。 ...
在 vLLM Semantic Router 中使用 Microsoft Foundry 远程 Embedding 推理
1. 引言 在 vLLM Semantic Router 的设计中，Embedding 推理是驱动语义路由的核心信号之一。 官方教程已经演示了如何使用远程 Embedding 推理提供商（Remote Embedding Providers）替代本地 Embedding 推理服务： ...
用 llm-d-inference-sim 模拟大模型推理：无 GPU 环境下的最佳验证工具
在大模型应用快速落地的过程中，推理服务的工程化能力往往比模型本身更复杂：模型调度、路由策略、限流、灰度发布、网关治理等问题，都需要真实的推理接口进行验证。然而，大模型推理依赖 GPU 和高成本算力资源，使得开发和测试门槛居高不下。 ...
PPO vs GRPO：两种主流 LLM 强化学习范式的对比与选择
引言 在大模型后训练（Post-training）阶段，强化学习（RLHF / RLAIF）已经成为决定模型能力上限的关键因素之一。近期，GLM-5.2 在训练算法上从 GLM-5.1 使用的 GRPO（Generalized Reward Policy Optimization）切换到更经典的 PPO（Proximal Policy Optimization），并带来了明显的效果提升。 ...
让模型自己选模型：Embedding 驱动的 LLM 智能路由机制
在多模型并存的 AI 架构中（如 GPT-4 / GPT-4o / 轻量模型 / 垂直模型等），一个核心问题是： 如何在不显式指定模型 ID 的情况下，让系统自动选择最合适的模型？ ...
Clawdbot：让您在 Azure 上拥有一个强大的 AI 全能助手
随着生成式 AI 与智能代理的快速发展，自托管的智能系统正变得越来越受开发者和技术团队关注。Clawdbot 就是这样一款开源、可自托管的个人 AI 助手，它不仅能与用户进行对话，还能执行任务、集成消息平台、提供自动化能力，并可部署在云平台上如 Azure。本文将逐步介绍 Clawdbot 的能力、架构以及如何在 Microsoft Azure 上部署并开始使用它。 ...
微软 TRELLIS 大语言模型：面向生产级 3D 资产生成的大模型及基于 Azure 部署使用指南
2025 年末，微软研究院发布了一个面向 3D 内容创作的开源大模型项目 TRELLIS，并伴随学术论文《Structured 3D Latents for Scalable and Versatile 3D Generation》。该项目通过统一的结构化潜在空间与先进的流模型技术，显著提升了文本/图像到 3D 资产生成的质量与灵活性，同时拓展了 3D 模型的多格式输出与编辑能力，成为当前 3D AI 模型生态中的重要技术之一。 ...
大语言模型推理并行策略全景解析：TP / DP / PP / EP 原理与 vLLM 实战性能验证
当大语言模型的参数规模跨过几十亿门槛之后，一个事实变得不可回避：单卡时代已经结束。无论是训练还是推理，模型本身的参数规模、KV Cache 的增长速度，以及真实业务中并发请求带来的显存与算力压力，都决定了大模型必须运行在多 GPU、甚至多节点的环境中。 ...
大语言模型（LLM）推理加速：预填充（Prefill）和解码（Decode）解耦（PD 分离）
随着大语言模型（LLM）在对话系统、智能助手和 Agent 场景中的广泛落地，推理系统面临的核心挑战已从“能不能跑”转向“如何以更低延迟、更高吞吐、更稳定的方式运行”。在这一背景下，PD Disaggregated（Prefill / Decode 解耦） 逐渐成为大规模在线推理系统中的关键架构思想。 ...
图像生成进入平台时代：GPT-Image-1.5 在 Microsoft Foundry 中的应用
近年来，生成式 AI 技术迅速演进。在自然语言处理之外，图像生成与编辑能力成为 AI 创新的重要前沿。在这一趋势下，OpenAI 推出了 GPT Image 系列模型，在 Azure OpenAI 服务内同样可用。而其中最新发布的 GPT-Image-1.5 可视为图像生成领域的新旗舰，在性能、效率和可控性方面均有显著提升。 ...