Fara-7B：微软推出的高效电脑操作代理模型

Fri, 28 Nov 2025 00:00:00 -0500

微软研究院最近发布了 Fara-7B，这是一款专为电脑操作（Computer Use）设计的代理小语言模型（Agentic SLM）。与传统的聊天模型不同，Fara-7B 旨在通过像人类一样使用鼠标和键盘来完成任务。

什么是 Fara-7B？

Fara-7B 是一个拥有 70 亿参数的模型，基于 Qwen2.5-VL-7B 构建。它的主要特点包括：

视觉感知：它通过视觉感知网页（截图）来操作，不需要依赖辅助功能树（Accessibility Trees）或额外的解析模型。
高效紧凑：尽管只有 7B 参数，但在同类模型中实现了最先进的性能，甚至在某些基准测试中可以与更大的模型竞争。
端侧运行：由于体积小，它可以在设备上本地运行，从而降低延迟并提高隐私安全性。

核心技术

Fara-7B 的训练利用了微软开发的合成数据生成管道，该管道基于 Magentic-One 框架。它通过“观察-思考-行动”（observe-think-act）的循环来执行任务。

在每个步骤中，模型会接收：

用户指令
完整的操作历史
最近的三张屏幕截图

然后，它会输出一个推理信息（“思考”下一步行动），随后调用工具（如 click(x,y)、type() 等）来执行操作。

性能表现

在 WebVoyager、Online-Mind2Web 等基准测试中，Fara-7B 展现了强大的性能。例如在 WebVoyager 上，它的任务成功率达到了 73.5%，超过了 UI-TARS-1.5-7B (66.4%) 和 GPT-4o (SoM Agent, 65.1%)。

如何通过 vLLM 使用 Fara-7B

Fara-7B 已经发布在 Hugging Face 上。由于它是基于 Qwen2.5-VL 的，我们可以使用 vLLM 来高效地部署和推理。

安装 vLLM

首先确保你安装了最新版本的 vllm：

pip install vllm

Python 代码示例

以下是一个使用 vLLM 加载 Fara-7B 并进行推理的 Python 脚本示例：

from vllm import LLM, SamplingParams
from PIL import Image
import requests
from io import BytesIO

def run_fara_7b():
    # 模型名称
    model_name = "microsoft/Fara-7B"

    # 初始化 LLM
    # Fara-7B 基于 Qwen2.5-VL，因此使用类似的配置
    llm = LLM(
        model=model_name,
        trust_remote_code=True,
        max_model_len=4096,  # 根据显存大小调整
        limit_mm_per_prompt={"image": 1},
        mm_processor_kwargs={
            "min_pixels": 28 * 28,
            "max_pixels": 1280 * 28 * 28,
        },
    )

    # 加载示例图片（这里仅作演示，实际使用中应为屏幕截图）
    image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
    response = requests.get(image_url)
    image = Image.open(BytesIO(response.content))

    # 构建 Prompt
    # 注意：Fara-7B 使用特定的 Prompt 格式
    prompt = (
        "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n"
        "<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>"
        "Describe this image in detail.<|im_end|>\n"
        "<|im_start|>assistant\n"
    )

    # 准备输入
    inputs = {
        "prompt": prompt,
        "multi_modal_data": {
            "image": image
        },
    }

    # 采样参数
    sampling_params = SamplingParams(temperature=0.2, max_tokens=512)

    # 生成结果
    outputs = llm.generate([inputs], sampling_params=sampling_params)

    for o in outputs:
        print(f"Generated text: {o.outputs[0].text}")

if __name__ == "__main__":
    run_fara_7b()

命令行启动 API 服务

如果你想启动一个兼容 OpenAI API 的服务，可以使用以下命令：

vllm serve microsoft/Fara-7B \
  --trust-remote-code \
  --limit-mm-per-prompt image=1 \
  --mm-processor-kwargs '{"min_pixels": 784, "max_pixels": 1003520}'

注意：min_pixels 对应 28x28，max_pixels 对应 1280x28x28。

总结

Fara-7B 是微软在代理小模型领域的一次重要尝试，它证明了小模型在复杂的电脑操作任务中也能有出色的表现。通过开源权重，开发者可以更轻松地探索和构建基于 GUI 的自动化代理。

Slm on Wilson Wu