UFO³:从单设备 Agent 到多设备 Galaxy 的数字智能体编排框架实战指南
【免费下载链接】UFOUFO³: Weaving the Digital Agent Galaxy项目地址: https://gitcode.com/GitHub_Trending/uf/UFO
本文围绕仓库根目录 README.md 展开,系统梳理 UFO³ 项目(GitHub 推荐项目精选 / uf / UFO)的核心定位、演进脉络、双框架(Galaxy 与 UFO²)的能力差异与选型思路,并结合仓库源码、配置模板与测试用例,完整还原 Galaxy 跨设备编排框架的安装、配置、启动与调用全过程。读者阅读后将掌握:如何按平台部署 Windows/Linux 设备智能体、如何配置 ConstellationAgent 与设备池、如何通过 CLI / WebUI / 编程接口提交跨设备 DAG 工作流,以及这套系统背后"动态 DAG + 结果驱动演化 + AIP 协议"的设计原理。
一、项目概览:UFO³ = Galaxy(多设备编排)+ UFO²(设备智能体)
UFO³ 是一个面向 GUI 智能体的开源研究项目,其口号是"Weaving the Digital Agent Galaxy"(编织数字智能体星系),核心理念可概括为一句英文副标题:From Single Device Agent to Multi-Device Galaxy(从单设备智能体走向多设备星系)。
从仓库结构看,项目由两条产品线组成(见 README.md):
| 框架 | 定位 | 状态 |
|---|---|---|
| UFO³ Galaxy(galaxy/README.md) | 跨设备编排框架,将复杂请求拆解为动态 DAG(Task Constellation)并调度到异构设备执行 | 🚧 活跃开发(Active Development) |
| UFO² Desktop AgentOS(ufo/README.md) | 面向 Windows 桌面的单设备自动化智能体,可独立使用,也可作为 Galaxy 的 Windows 设备智能体 | ✅ LTS 长期支持 |
两者的关系在 README 中有明确表述:"UFO³ = Galaxy (Multi-Device Orchestration) + UFO² (Device Agent)"。也就是说,Galaxy 是"大脑与调度层",UFO² 是"Windows 上的手脚";Galaxy 通过 AIP 协议 与各个设备智能体通信,把跨 Windows/Linux/Android 的任务串成一张可执行、可演化的 DAG。
需要说明的是:本文以根目录 README 为主体骨架,其中涉及的 Galaxy 细节(如五条设计原则、快速开始、设备池配置)在 galaxy/README.md 中有更完整的展开,本文一并继承并交叉印证。
二、演进脉络:UFO → UFO² → UFO³
README 用一张 mermaid 图概括了三代产品的演进时间线:
- 🎈 UFO(2024 年 2 月):面向 Windows 的 UI-Focused GUI Agent,原始论文见 arXiv:2402.07939。
- 🖥️ UFO²(2025 年 4 月):升级为 "Desktop AgentOS" 概念,发布 v2.0.0,技术报告见 arXiv:2504.14603,之后进入 LTS(长期支持)状态。
- 🌌 UFO³ Galaxy(2025 年 11 月):多设备编排框架,研究论文见 arXiv:2511.11332(即 UFO³: Weaving the Digital Agent Galaxy)。
README 特别强调 UFO²不会被废弃:它已经进入 LTS,持续获得缺陷修复、安全更新与性能改进,社区支持完整。因此对已有 UFO² 用户,官方给出的迁移路径是渐进式、可选的:
- 继续使用 UFO²(完全支持、持续维护);
- 渐进采用——Galaxy 可将 UFO² 作为 Windows 设备智能体使用;
- 需要多设备能力时再升级到 Galaxy;
- 参考迁移指南 documents/docs/getting_started/migration_ufo2_to_galaxy.md。
三、UFO³ Galaxy 的五大设计原则
Galaxy 之所以被称为"革命性的跨设备编排框架",README 将其归结为五条紧密耦合的设计原则,这五条原则在 galaxy/README.md 中有更详尽的阐述:
1. 声明式分解为动态 DAG(Declarative Decomposition into Dynamic DAG)
用户请求由ConstellationAgent分解为一张结构化的 DAG:节点是TaskStar(可执行子任务),边是TaskStarLine(依赖关系,编码工作流逻辑、依赖与设备指派)。从源码看,这两个数据结构分别位于 galaxy/constellation/task_star.py 与 galaxy/constellation/task_star_line.py,其中 TaskStarLine 支持UNCONDITIONAL(无条件)、SUCCESS_ONLY(仅成功)、CONDITIONAL(条件依赖)等依赖类型,并可通过create_unconditional、create_success_only、create_conditional工厂方法快速构造。
声明式结构带来的收益:可自动化调度、可运行时自省、可动态重写、可跨设备编排。
2. 结果驱动的图持续演化(Continuous Result-Driven Graph Evolution)
TaskConstellation 会根据执行反馈、中间结果与失败情况持续演化,通过受控的 DAG 重写实现:
- 🩺 诊断型 TaskStar(调试);
- 🛡️ 兜底任务创建(错误恢复);
- 🔗 依赖重连(优化);
- ✂️ 完成节点剪枝。
其目标是"弹性适配而非中止工作流"。与之配套的编辑机制是 galaxy/constellation/editor/ 下的命令模式实现:ConstellationEditor提供add_task、remove_task、create_and_add_dependency、undo/redo、batch_operations等接口,底层由CommandInvoker+CommandHistory支撑,保证每一次 DAG 修改都是可撤销、可审计的(源码见 galaxy/constellation/editor/constellation_editor.py、galaxy/constellation/editor/command_invoker.py)。
3. 异构、异步且安全的编排(Heterogeneous, Asynchronous & Safe Orchestration)
任务通过AgentProfile(OS、硬件、工具能力)匹配到最优设备,并以asyncio非阻塞方式并行执行。安全保证包括:
- 🔒 安全赋值锁(避免竞态);
- 📅 事件驱动调度(按 DAG 就绪度);
- ✅ DAG 一致性校验(结构完整性);
- 🔄 批量编辑(原子性);
- 📐 形式化验证(可证明的正确性,即 README 提到的三个形式化不变量 I1–I3 与无环性验证)。
执行核心是 galaxy/constellation/orchestrator/orchestrator.py 中的TaskConstellationOrchestrator,它提供orchestrate_constellation、cancel_execution、assign_devices_automatically(支持 round_robin / capability_match / load_balance 三种策略,见 galaxy/constellation/orchestrator/constellation_manager.py)等关键入口。
4. 统一智能体交互协议 AIP(Unified Agent Interaction Protocol)
基于持久化WebSocket的协议,为整个智能体生态提供统一、安全、容错的通信层,核心能力包括:
- 📝 带能力画像的智能体注册表;
- 🔐 安全会话管理;
- 📤 智能任务路由;
- 💓 心跳健康监测;
- 🔌 自动重连与重试机制。
协议实现集中在 aip/ 目录:消息定义在 aip/messages.py,传输层在 aip/transport/,容错与心跳在 aip/resilience/,端点抽象在 aip/endpoints/。对应测试见 tests/aip/test_transport.py、tests/aip/test_resilience.py。
5. 模板驱动的 MCP 增强设备智能体(Template-Driven MCP-Empowered Device Agents)
提供轻量级开发模板,快速构建接入Model Context Protocol (MCP)的新设备智能体,开发框架包含能力声明(Agent Profiles)、环境绑定(本地系统)、MCP 服务器集成(即插即用工具)、模块化设计。README 指出这正是 Galaxy 向移动端、Web、IoT、嵌入式扩展的平台基础。MCP 相关客户端实现位于 ufo/client/mcp/,设备注册与连接生命周期见 galaxy/client/。
四、UFO² 与 UFO³ Galaxy 能力对比
README 给出了一张系统的对照表,是选型的关键依据,完整摘录如下:
| Aspect | UFO² | UFO³ Galaxy |
|---|---|---|
| Architecture | Single Windows Agent | Multi-Device Orchestration |
| Task Model | Sequential ReAct Loop | DAG-based Constellation Workflows |
| Scope | Single device, multi-app | Multi-device, cross-platform |
| Coordination | HostAgent + AppAgents | ConstellationAgent + TaskOrchestrator |
| Device Support | Windows Desktop | Windows, Linux, Android(更多平台规划中) |
| Task Planning | Application-level | Device-level with dependencies |
| Execution | Sequential | Parallel DAG execution |
| Device Agent Role | Standalone | Can serve as Galaxy device agent |
| Complexity | Simple to Moderate | Simple to Very Complex |
| Learning Curve | Low | Moderate |
| Cross-Device Collaboration | ❌ Not Supported | ✅ Core Feature |
| Setup Difficulty | ✅ Easy | ⚠️ Moderate |
| Status | ✅ LTS | ⚡ Active Development |
在 Galaxy 场景下,UFO² 承担明确的设备智能体职责(README.md):从 Galaxy 编排层接收 ConstellationAgent 下发的任务 → 用成熟的 UFO² 能力执行 Windows 专属操作 → 向 TaskOrchestrator 回报状态与结果 → 无缝参与跨设备工作流。UFO² 的核心优势还包括:Windows UIA/Win32/WinCOM 深度系统集成、GUI 点击 + API 调用的混合动作、投机式多动作(README 提及批量预测可减少 51% 的 LLM 调用)、视觉 + UIA 混合控件检测、以及基于 RAG 的知识底座。
五、快速开始:Galaxy 跨设备编排
以下流程完整继承自 README.md 的 Galaxy Quick Start,并结合 galaxy/README.md 与仓库配置模板补齐细节。
5.1 安装与依赖
# 1. Install pip install -r requirements.txt建议使用 Python 3.10/3.11 环境(README 徽章标注的版本范围)。依赖清单见仓库根目录 requirements.txt。
5.2 配置 ConstellationAgent(LLM)
copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml # 编辑并填入你的 API keys配置目录结构如下(config/galaxy/):
config/galaxy/ ├── agent.yaml.template # 模板——复制后使用 ├── agent.yaml # 你的配置(含 API Key,切勿提交到版本库) ├── devices.yaml # 设备池配置(见 5.4) └── constellation.yaml # 星座运行时配置(心跳、并发等)以仓库中的 config/galaxy/agent.yaml.template 为基准,OpenAI 配置如下:
CONSTELLATION_AGENT: REASONING_MODEL: False # 是否为推理模型(如 o1/o3/o4-mini 需设为 True) API_TYPE: "openai" # openai / aoai(Azure OpenAI) / azure_ad(Azure AD) API_BASE: "https://api.openai.com/v1/chat/completions" # API 端点 API_KEY: "sk-YOUR_KEY_HERE" # 你的 API Key,通常以 sk- 开头 API_VERSION: "2025-02-01-preview" API_MODEL: "gpt-5-chat-20251003" # 其余 Prompt 配置使用默认值Azure OpenAI 配置(也可见 galaxy/README.md):
CONSTELLATION_AGENT: REASONING_MODEL: false API_TYPE: "aoai" API_BASE: "https://YOUR_RESOURCE.openai.azure.com" API_KEY: "YOUR_AOAI_KEY" API_VERSION: "2024-02-15-preview" API_MODEL: "gpt-5-chat-20251003" API_DEPLOYMENT_ID: "YOUR_DEPLOYMENT_ID"模板中还预留了 Azure AD 认证(azure_ad)所需的AAD_TENANT_ID、AAD_API_SCOPE、AAD_API_SCOPE_BASE字段,以及四个 Prompt 路径配置:
CONSTELLATION_CREATION_PROMPT→ galaxy/prompts/constellation/share/constellation_creation.yamlCONSTELLATION_EDITING_PROMPT→ galaxy/prompts/constellation/share/constellation_editing.yaml- 两个 example 提示词位于 galaxy/prompts/constellation/examples/
对应"创建 / 编辑"双模式:从源码看,galaxy/agents/constellation_agent.py 中的
ConstellationAgent实现了IRequestProcessor(生成初始 DAG)与IResultProcessor(依据执行结果更新 DAG)两个接口,并通过状态机(见 galaxy/agents/constellation_agent_states.py)在创建/编辑模式间切换。
5.3 配置设备智能体 LLM
每个设备智能体(Windows/Linux)需要自己的 LLM 配置来执行任务:
copy config\ufo\agents.yaml.template config\ufo\agents.yaml以 config/ufo/agents.yaml.template 为例:
HOST_AGENT: VISUAL_MODE: true API_TYPE: "openai" # 或 "aoai" API_BASE: "https://api.openai.com/v1/chat/completions" API_KEY: "sk-YOUR_KEY_HERE" API_MODEL: "gpt-4o" APP_AGENT: VISUAL_MODE: true API_TYPE: "openai" API_BASE: "https://api.openai.com/v1/chat/completions" API_KEY: "sk-YOUR_KEY_HERE" API_MODEL: "gpt-4o"README 给出了实用提示:ConstellationAgent(步骤 5.2)与设备智能体(步骤 5.3)可以复用同一套 API Key 和模型。模板中还包含BACKUP_AGENT、EVALUATION_AGENT、OMNIPARSER(grounding 模型,含BOX_THRESHOLD、IOU_THRESHOLD、USE_PADDLEOCR、IMGSZ参数)、GPT 参数(MAX_TOKENS: 2000、MAX_RETRY: 3、TEMPERATURE: 0.0、TOP_P: 0.0、TIMEOUT: 60)以及按应用映射的 API Prompt 地址APP_API_PROMPT_ADDRESS(WORD/EXCEL/浏览器等)。
5.4 配置设备池
copy config\galaxy\devices.yaml.template config\galaxy\devices.yaml # 编辑 devices.yaml 注册你的设备仓库实际提供的是 config/galaxy/devices.yaml,其格式与 galaxy README 的示例一致,关键字段如下(以 Linux 设备为例,同时参考 galaxy/README.md 中的 Windows 示例):
devices: # Windows 设备(UFO²) - device_id: "windows_device_1" # 必须与 --client-id 完全一致 server_url: "ws://localhost:5000/ws" # 必须与 server WebSocket URL 一致 os: "windows" capabilities: - "desktop_automation" - "office_applications" - "excel" - "word" - "outlook" - "email" - "web_browsing" metadata: os: "windows" version: "11" performance: "high" installed_apps: ["Microsoft Excel", "Microsoft Word", "Microsoft Outlook", "Google Chrome"] description: "Primary Windows desktop for office automation" auto_connect: true max_retries: 5 # Linux 设备 - device_id: "linux_device_1" server_url: "ws://localhost:5001/ws" os: "linux" capabilities: - "server_management" - "log_analysis" - "file_operations" - "database_operations" metadata: os: "linux" performance: "medium" logs_file_path: "/var/log/myapp/app.log" dev_path: "/home/user/projects/" warning_log_pattern: "WARN" error_log_pattern: "ERROR|FATAL" description: "Development server for backend operations" auto_connect: true max_retries: 5⚠️关键约束(README 红色标注):
device_id必须与启动客户端时的--client-id参数完全一致,server_url必须与 Server 的 WebSocket URL 完全一致,否则 Galaxy 无法控制该设备。
capabilities数组即设备的能力画像,后续 ConstellationAgent 与 Orchestrator 的"基于能力的设备匹配"(capability-based device matching)正是基于这些标签与任务需求做匹配的。此外,config/galaxy/constellation.yaml 还提供了运行时参数:HEARTBEAT_INTERVAL: 30.0(心跳间隔秒)、RECONNECT_DELAY: 5.0(重连延迟)、MAX_CONCURRENT_TASKS: 6(星座内最大并发任务数)、MAX_STEP: 15(每会话最大步数)、DEVICE_INFO(设备文件路径)、LOG_TO_MARKDOWN: true(轨迹日志输出为 markdown)。
5.5 启动设备智能体
按设备平台分别启动 Server 与 Client。README 强调:Windows 设备必须带--platform windows,Linux 设备必须带--platform linux。
Windows 设备(双终端):
# 终端 1:启动 UFO² Server python -m ufo.server.app --port 5000 # 终端 2:启动 UFO² Client(连接 Server) python -m ufo.client.client ` --ws ` --ws-server ws://localhost:5000/ws ` --client-id windows_device_1 ` --platform windowsLinux 设备(三终端):
# 终端 1:启动设备智能体 Server python -m ufo.server.app --port 5001 # 终端 2:启动 Linux Client(连接 Server) python -m ufo.client.client \ --ws \ --ws-server ws://localhost:5001/ws \ --client-id linux_device_1 \ --platform linux # 终端 3:启动 HTTP MCP Server(提供 Linux 工具) python -m ufo.client.mcp.http_servers.linux_mcp_server平台专属的详细配置分别见 documents/docs/ufo2/as_galaxy_device.md(Windows)与 documents/docs/linux/as_galaxy_device.md(Linux)。
5.6 启动 Galaxy
README 提供两种启动方式:
# 交互式终端模式 python -m galaxy --interactive# 交互式 WebUI 模式(推荐:实时星座可视化 + 聊天界面) python -m galaxy --webui--webui会在http://localhost:8000启动 FastAPI + WebSocket 服务(8000 被占用时自动向后探测可用端口,源码见 galaxy/galaxy.py 的find_free_port逻辑),并自动打开浏览器。WebUI 功能包括:实时对话提交请求、DAG 动态可视化、TaskStar 状态跟踪、星座演化实时更新、响应式布局。
从 galaxy/galaxy.py 的 CLI 定义看,完整参数还包括:
--request "任务描述":单次请求模式,执行后退出;--demo:演示模式,依次执行三条内置示例工作流;--session-name/--task-name:自定义会话/任务名;--max-rounds N:每会话最大轮数(默认 10);--output-dir:结果输出目录(默认存到会话日志路径);--log-level:日志级别(DEBUG/INFO/WARNING/ERROR/CRITICAL,默认 WARNING);--mock:使用 Mock 智能体(不发起真实 LLM 调用,便于测试)。
例如:
# 单次请求模式 python -m galaxy --request "Extract data from Excel on Windows, process with Python on Linux, and generate visualization report" # 调试模式 python -m galaxy --interactive --max-rounds 20 --log-level DEBUG5.7 编程式 API(嵌入自有应用)
README 给出了在 Python 程序中嵌入 Galaxy 的示例,这里补充其初始化与结果字段说明(对应 galaxy/galaxy_client.py 的实现):
from galaxy.galaxy_client import GalaxyClient async def main(): # 初始化客户端 client = GalaxyClient(session_name="data_pipeline") await client.initialize() # 执行跨设备工作流 result = await client.process_request( "Download sales data, analyze trends, generate executive summary" ) # 访问星座细节 constellation = client.session.constellation print(f"Tasks executed: {len(constellation.tasks)}") print(f"Devices used: {set(t.assigned_device for t in constellation.tasks)}") await client.shutdown() import asyncio asyncio.run(main())process_request的返回结果(源码见 galaxy/galaxy_client.py)包含session_name、request、task_name、status(completed/failed/stopped)、execution_time、rounds、start_time/end_time、trajectory_path(markdown 轨迹日志路径)以及constellation(含id、name、task_count、dependency_count、state)。另外还提供了reset_session()与create_next_session()用于会话管理,以及带force=True的shutdown()用于 WebUI 停止按钮的强制取消。
六、快速开始:UFO² Windows 自动化
对于仅需 Windows 自动化、任务相对简单的场景,README 推荐直接使用 UFO²:
# 1. Install pip install -r requirements.txt # 2. Configure copy config\ufo\agents.yaml.template config\ufo\agents.yaml # 编辑并添加你的 API keys # 3. Run python -m ufo --task <task_name>UFO² 的完整文档见 ufo/README.md,LLM 配置见 ufo/README.md 的"Step 2: Configure the LLMs"章节。作为 Galaxy 设备智能体时,UFO² 的接入方式即上文 5.5 节的 Windows 启动流程。
七、两种框架的通用配置:LLM 提供商
无论使用哪个框架,都必须配置 LLM API。README 给出了两种最常用提供商的完整配置:
OpenAI(Galaxy):
CONSTELLATION_AGENT: REASONING_MODEL: false API_TYPE: "openai" API_BASE: "https://api.openai.com/v1/chat/completions" API_KEY: "sk-your-key-here" API_MODEL: "gpt-4o"OpenAI(UFO²):
VISUAL_MODE: True API_TYPE: "openai" API_BASE: "https://api.openai.com/v1/chat/completions" API_KEY: "sk-your-key-here" API_MODEL: "gpt-4o"Azure OpenAI(Galaxy):
CONSTELLATION_AGENT: REASONING_MODEL: false API_TYPE: "aoai" API_BASE: "https://YOUR-RESOURCE.openai.azure.com" API_KEY: "your-azure-key" API_MODEL: "gpt-4o" API_DEPLOYMENT_ID: "your-deployment-id"Azure OpenAI(UFO²):
VISUAL_MODE: True API_TYPE: "aoai" API_BASE: "https://YOUR-RESOURCE.openai.azure.com" API_KEY: "your-azure-key" API_MODEL: "gpt-4o" API_DEPLOYMENT_ID: "your-deployment-id"从 ufo/llm/ 目录的模块可见,项目还支持 Gemini、Claude、Qwen、DeepSeek、Ollama、Llava、CogAgent 等多种 LLM 后端,接入点统一在 ufo/llm/base.py 与 ufo/llm/llm_call.py。配置文件加载与校验的实现位于 config/config_loader.py 与 config/config_schemas.py。
八、典型使用场景:星座工作流实战
README 将 Galaxy 的典型场景归纳为四类(详见 galaxy/README.md),每一类都对应一张可执行的 DAG:
软件开发与 CI/CD:Clone (Windows) → Build (Linux GPU) → Deploy (Linux Server) → Test (Linux CI)。请求示例:"Clone repository on Windows, build Docker image on Linux GPU server, deploy to staging, and run test suite on CI cluster"。
数据科学工作流:Fetch (Any) → Preprocess (Linux) → Train (Linux GPU) → Visualize (Windows)。请求示例:"Fetch dataset from cloud storage, preprocess on Linux workstation, train model on A100 node, visualize results on Windows"。README 提到其收益是自动 GPU 检测与最优设备指派。
跨平台文档处理:Extract (Windows) → Process (Linux) → 并行分支 [Generate PDF (Windows) + Send Email (Windows)]。请求示例:"Extract data from Excel on Windows, process with Python on Linux, generate PDF report, and email summary"——并行生成报告与发送邮件。
分布式系统监控:Collect (Linux 1) / Collect (Linux 2) / Collect (Linux 3) 并行 → Analyze (Any) → Report (Windows)。请求示例:"Collect server logs from all Linux machines, analyze for errors, generate alerts, create consolidated report"。
关于 README 中提及的性能数字("并行执行减少 60% 流水线时间""相比串行端到端延迟降低最多 70%"),这些数据来自项目 README 的自述,属于官方宣称的实验结论,引用时请注意其研究语境,本文不做超出仓库资料的额外断言。
九、架构、可观测性与可扩展性
9.1 分层架构与控制面
galaxy/README.md 将 Galaxy 架构概括为"分层设计":控制面(Control Plane)由ConstellationClient(全局设备注册表 + 能力画像)、Device Agents(本地编排 + 统一 MCP 工具)构成,强调"全局策略与设备独立性"的清晰分离。
核心组件与源码位置对应关系如下(来自 galaxy README 的组件表):
| 组件 | 位置 | 职责 |
|---|---|---|
| GalaxyClient | galaxy/galaxy_client.py | 会话管理、用户交互 |
| ConstellationClient | galaxy/client/constellation_client.py | 设备注册表、连接生命周期 |
| ConstellationAgent | galaxy/agents/constellation_agent.py | DAG 合成与演化 |
| TaskConstellationOrchestrator | galaxy/constellation/orchestrator/ | 异步执行、安全保证 |
| TaskConstellation | galaxy/constellation/task_constellation.py | DAG 数据结构与校验 |
| DeviceManager | galaxy/client/device_manager.py | WebSocket 连接、心跳监测 |
技术栈方面:Python 3.10+ / asyncio / dataclasses、WebSockets + JSON-RPC 通信、OpenAI/Azure/Gemini/Claude 等 LLM 后端、MCP 工具集成、YAML + Pydantic 配置校验、Rich 控制台与 Markdown 轨迹日志。
9.2 三大系统能力
- 高效并行执行:事件驱动调度持续扫描 DAG 中的就绪任务,
asyncio非阻塞执行,支持不中断工作流的动态任务集成。 - 智能适配:双模式 ConstellationAgent(创建/编辑)+ FSM 控制,基于执行反馈的结果驱动演化,ReAct 架构的 LLM 推理,通过诊断任务与兜底实现自动错误恢复。
- 全面可观测性:星座结构与执行的实时可视化、发布-订阅模式的事件驱动更新(事件系统见 galaxy/core/events.py)、Rich 日志与 markdown 轨迹(见 galaxy/trajectory/)、WebUI 交互监控。
9.3 平台支持与扩展性
当前多平台支持情况(README):Windows(通过 UFO²)、Linux(服务器管理/DevOps/数据处理)、Android(通过 MCP 移动自动化);Web、macOS、IoT/嵌入式处于规划中。如需自研设备智能体,可参考教程 documents/docs/tutorials/creating_device_agent/overview.md,并利用 AIP 协议与 MCP 机制实现即插即用扩展。
十、选型 FAQ(README 原文要点)
README 末尾用 FAQ 形式回答了社区最关心的选型问题,这里提炼核心结论:
用 Galaxy 还是 UFO²?
- 只做 Windows 自动化、希望快速上手、任务简单 → 用 UFO²;
- 需要跨设备协同、任务复杂多步、想要高级编排、能接受活跃开发期 → 用 Galaxy;
- 两者兼顾的混合方案 → 简单任务走 UFO²,复杂任务走 Galaxy,渐进迁移。
Galaxy 能替代 UFO² 吗?功能上可以(Galaxy 能把 UFO² 当作 Windows 设备智能体使用),但实践上建议"按需取用":简单 Windows 任务用 UFO² 独立运行更轻量,复杂工作流则由 Galaxy 编排 UFO² 与其他设备智能体协同。
Galaxy 成熟度如何?处于活跃开发期:核心架构、DAG 编排、基础多设备支持、事件系统已稳定;高级设备类型、增强监控、性能优化、扩展文档仍在开发中,官方建议用于实验与非关键业务。
如何扩展?两个框架都高度可扩展:UFO² 支持自定义动作/Automator、RAG 知识源、控件检测器、评估指标;Galaxy 支持自定义智能体、设备类型、编排策略、可视化组件。
十一、研究引用
若在研究中引用本项目,README 给出了三篇论文的 BibTeX(UFO³ Galaxy 2025 / UFO² Desktop AgentOS 2025 / 原始 UFO 2024),例如:
@article{zhang2025ufo3, title={UFO$^3$: Weaving the Digital Agent Galaxy}, author = {Zhang, Chaoyun and Li, Liqun and Huang, He and Ni, Chiming and Qiao, Bo and Qin, Si and Kang, Yu and Ma, Minghua and Lin, Qingwei and Rajmohan, Saravan and Zhang, Dongmei}, journal = {arXiv preprint arXiv:2511.11332}, year = {2025}, }十二、继续深入:文档地图
README 的文档结构部分给出了两条阅读路线,整理如下(均转换为仓库相对路径):
Galaxy 路线:框架概览 galaxy/README.md → 快速开始 documents/docs/getting_started/quick_start_galaxy.md → Galaxy 客户端 documents/docs/galaxy/client/overview.md → 星座智能体 documents/docs/galaxy/constellation_agent/overview.md → 任务编排器 documents/docs/galaxy/constellation_orchestrator/overview.md → 星座结构 documents/docs/galaxy/constellation/overview.md → 设备注册 documents/docs/galaxy/agent_registration/overview.md → 配置指南 documents/docs/configuration/system/galaxy_devices.md。技术细节还包括 AIP 协议 documents/docs/aip/overview.md、会话管理、可视化与事件系统。
UFO² 路线:概览 ufo/README.md(含安装、LLM 配置、启动、评估)→ 自动化器(混合 GUI + API)→ 高级特性(多动作、RAG、混合控件检测)→ 基准(WAA 与 OSWorld 结果见 ufo/README.md 的 Evaluation 章节)。
结语
UFO³ 以"星座(Constellation)"隐喻重新定义了多设备智能体协作:每个设备是一颗星,每个任务是一张星座图。从单设备 GUI Agent(UFO)到桌面 AgentOS(UFO²),再到跨设备编排的 Digital Agent Galaxy(UFO³),这条演进路线为异构平台上的智能自动化提供了可落地、可验证、可扩展的实现范式。无论你只是想在 Windows 上快速自动化,还是需要协调多台异构设备完成复杂 DAG 工作流,本文梳理的安装、配置、启动与调用路径都能帮助你快速上手并深入到源码层面理解其运作机制。
【免费下载链接】UFOUFO³: Weaving the Digital Agent Galaxy项目地址: https://gitcode.com/GitHub_Trending/uf/UFO
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考