大语言模型推理并行策略全景解析：TP / DP / PP / EP 原理与 vLLM 实战性能验证
当大语言模型的参数规模跨过几十亿门槛之后，一个事实变得不可回避：单卡时代已经结束。无论是训练还是推理，模型本身的参数规模、KV Cache 的增长速度，以及真实业务中并发请求带来的显存与算力压力，都决定了大模型必须运行在多 GPU、甚至多节点的环境中。 ...
大语言模型（LLM）推理加速：预填充（Prefill）和解码（Decode）解耦（PD 分离）
随着大语言模型（LLM）在对话系统、智能助手和 Agent 场景中的广泛落地，推理系统面临的核心挑战已从“能不能跑”转向“如何以更低延迟、更高吞吐、更稳定的方式运行”。在这一背景下，PD Disaggregated（Prefill / Decode 解耦） 逐渐成为大规模在线推理系统中的关键架构思想。 ...
图像生成进入平台时代：GPT-Image-1.5 在 Microsoft Foundry 中的应用
近年来，生成式 AI 技术迅速演进。在自然语言处理之外，图像生成与编辑能力成为 AI 创新的重要前沿。在这一趋势下，OpenAI 推出了 GPT Image 系列模型，在 Azure OpenAI 服务内同样可用。而其中最新发布的 GPT-Image-1.5 可视为图像生成领域的新旗舰，在性能、效率和可控性方面均有显著提升。 ...
基于 Azure OpenAI 构建智能地址解析 Chrome / Edge 浏览器扩展插件
在电商和物流领域，有一个不起眼但极其耗时的痛点：将复杂的地址格式正确的输入到物流系统固定的字段中。客户发来的地址格式千奇百怪，有时是逗号分隔，有时连成一行，顺序也完全随机，经常还缺少省份或州等关键信息。 ...
玩转大语言模型：为初学者扫清大语言模型（LLM）架构盲区
过去五年，大语言模型（Large Language Models, LLMs）的发展几乎完全重塑了人工智能的技术版图。从 GPT 到 LLaMA，从 Transformer 到 Mixture-of-Experts（MoE），从单体模型到大规模分布式参数服务器体系，架构演进直接推动了能力跃迁。 ...
Kubernetes Ingress NGINX 退役：全面迁移到 Gateway API 的方案与实践指南
Kubernetes 官方在 2025 年 11 月 11 日发布博客，正式宣布 Ingress NGINX 项目进入退役（Retirement）阶段，并将于 2026 年 3 月彻底停止维护。 这一举措标志着 Kubernetes 在集群入口与流量管理方面正式进入 Gateway API 时代。对于正在使用 Ingress NGINX 的团队，这不仅是一次技术升级，更是一项需要尽快规划的风险管理工作。 ...
Fara-7B：微软推出的高效电脑操作代理模型
微软研究院最近发布了 Fara-7B，这是一款专为电脑操作（Computer Use）设计的代理小语言模型（Agentic SLM）。与传统的聊天模型不同，Fara-7B 旨在通过像人类一样使用鼠标和键盘来完成任务。 ...
快速为 Github Copilot 配置最新的 Gemini 3 Pro 模型加速开发体验
随着 AI 辅助编程工具的不断进化，GitHub Copilot 也在持续引入更多强大的模型供开发者选择。最近，GitHub Copilot 宣布支持 Google 最新的 Gemini 3 Pro 模型（预览版）。作为一个每天都在使用 Copilot 的开发者，我第一时间进行了体验，发现它在逻辑推理和长上下文理解方面有着令人惊喜的表现。 ...
玩转大语言模型：深入理解 KV-Cache - 大模型推理的核心加速技术
随着大语言模型（LLM）规模不断增长，推理成本也随之飙升。为了让模型在响应用户请求时更快、更经济地运行，各类优化技术不断涌现。其中，KV-Cache（Key-Value Cache）是目前最关键、影响最深远的推理加速机制之一，被所有主流的推理框架（如 vLLM、TensorRT-LLM、LLama.cpp、llm-d、OpenAI Triton Transformer Engine 等）广泛使用。 ...
玩转大语言模型：轻松使用 Azure AI Foundry 提供的 Sora 2 生成视频
随着 Azure AI Foundry 开放对 Sora 2（OpenAI 生成式视频模型）的支持，开发者现在可以在企业级合规、可管控的环境中使用顶尖的视频生成能力。本教程将带你从零开始，通过 Playground 和 Python SDK 两种方式调用 Sora 2，完成「文本生成视频」的流程。 ...
玩转大语言模型：大语言模型（LLM）微调主流方式和使用场景全面解析对比
在构建 AI 应用的过程中，大语言模型（LLM）的微调是企业和开发者实现“定制化能力”的核心手段。随着行业快速发展，微调技术已经从最早的传统全参数微调，演进到高效、低成本的多种方法，比如 LoRA、QLoRA、Adapters、指令微调（SFT）、奖励模型训练（RM）与 RLHF 等等。 ...
AI 推理的最佳选择 - vLLM
原文链接：The Best Choice for AI Inference -> vLLM 注意：本译文已获得的原文作者翻译授权，为避免广告嫌疑，本文中移除了特定产品和品牌的商业宣传内容，仅保留技术特性及企业级产品功能描述，相关内容请以原文为准。 ...
玩转大语言模型：基于 vLLM 框架的大模型推理优化实现参数 / 数据（P/D）分离
大模型在推理部署时，往往存在显存瓶颈： 模型参数（Parameters, P）动辄上百 GB，需要长期驻留显存。 输入/输出数据（Data, D）则随请求动态变化，但往往和参数耦合在同一设备上，导致显存占用不均衡，扩展性受限。 为了解决这一问题，可以借助 vLLM 框架实现参数 / 数据（P/D）分离，提升推理系统的灵活性和吞吐。 ...
玩转大语言模型：微软最新开源长语音大模型 VibeVoice 入门
什么是 VibeVoice？ VibeVoice 是 Microsoft Research 发布的一套面向长篇、多说话人、对话式语音合成的研究框架，目标场景例如整集播客、有声剧或访谈：能在单次生成中维持说话人一致性并处理自然的换手（turn-taking）。模型家族包含多个规模（例如 1.5B、7B 等），并在 Hugging Face 上以 microsoft/VibeVoice-1.5B 形式开放（模型卡、模型文件、model card 中有安装/使用与责任使用说明）。 ...
玩转大语言模型：使用 SGLang 框架实现大语言模型推理入门教程
随着大语言模型热度的升级，企业和个人使用者的研究重心逐步从训练转移至推理（说白了是由造轮子转变为务实的使用）。而在模型推理领域，最炙手可热的两大框架无疑是 vLLM 和 SGLang，而作为后起之秀的 SGLang，其表现也值得大家关注，今天就基于 SGLang 为大家带来一篇入门教程文章，希望能帮助更多希望了解大语言模型及 SGLang 框架的朋友。 ...