12.2k Star:谷歌开源 ARTEMIS,让 AI 像人一样操作你的 Android 手机——完整教程

18次阅读
没有评论

🤖

让 AI 像人一样操作你的 Android 手机

ARTEMIS:谷歌开源的自然语言 Android 自动化——一句指令变真实的跨应用操作,AndroidWorld 基准 99%+ SOTA,原生 MCP 接入 Codex / Claude Code

Apache-2.0
谷歌官方
MCP 原生

📖 它是什么

ARTEMIS(仓库 google/artemis)是 Google 官方开源的工具:把自然语言指令变成可靠的 Android 自动化。官方一句话——"Let AI assistants and test suites use real phones like a human."(让 AI 助手和测试套件像人一样使用真实手机)。它能自动化端到端工作流、捕获 Logcat 日志,并无缝集成 Antigravity、Codex、Claude Code 等 AI 编程助手。

它做两类事:日常跨应用任务自动化,以及移动端自动化测试(一句话生成测试计划、驱动真机执行、输出带指标和原始数据的诊断报告)。原生内置 Model Context Protocol(MCP)server,把你的真实手机直接接进 AI IDE。在 Google Research 的 AndroidWorld 基准(20+ 应用、100+ 多步任务)上达到 99%+ 任务完成率,是当前 SOTA。

Python 3.12+ 写成,Apache-2.0 协议,2026-08-13 建仓、目前 GitHub 已 12,240 Star(本月仍在更新)。多模型支持(Gemini / Claude / GPT-4o / Qwen-VL),运行需要一台开了 USB 调试的 Android 真机或模拟器。

📎 GitHub:github.com/google/artemis | 中文文档:github.com/google/artemis/blob/main/README_CN.md | AndroidWorld:github.com/google-research/android_world

✨ 核心亮点

🔀

跨应用自动化

从自然语言一句话,自动完成跨 App 的端到端任务

🎯

多模态定位

元素索引优先,坐标/视觉定位回退,适配 Compose/Flutter 自定义 UI

🏆

AndroidWorld 99%+

Google Research 基准 100+ 多步任务上 SOTA 完成率

🔗

原生 MCP

真实手机直接接进 Antigravity / Codex / Claude Code / Windsurf

🖥️ 环境要求

操作系统 Windows / macOS / Linux 均可运行主机端
设备 Android 真机(开启 USB 调试)或模拟器,需连接主机
运行时 Python 3.12+,依赖 uv 包管理器
自动安装 start.sh / start.bat 一键装 ADB、scrcpy、FFmpeg、uv 依赖
模型 Gemini / Claude / GPT-4o / Qwen-VL(多模态可选)

🚀 上手步骤

① 克隆并一键启动

# macOS / Linux
git clone https://github.com/google/artemis.git && cd artemis
./start.sh

# Windows PowerShell
git clone https://github.com/google/artemis.git
cd artemis
.start.bat

一键脚本自动安装 ADB / scrcpy / FFmpeg / uv 依赖,并提示把全局 MCP 和测试规则挂载到检测到的 AI IDE(Antigravity / Cursor / Claude Code / Codex / Windsurf / VS Code / Cline/Roo / OpenClaw)。

② 打开 Web 控制台吩咐它

# 启动后浏览器自动打开 http://localhost:8000
# 连接设备 → 实时屏幕镜像 → 输入自然语言指令 → 观看执行回放

# 也可走 CLI 一条命令跑一个任务
uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash

③ 接进 AI IDE(MCP 一键安装)

# 为某个 IDE 安装 MCP + 测试规则
uv run artemis mcp --install antigravity
uv run artemis mcp --install claude # 规则装到 ~/.claude/rules/artemis.md
uv run artemis mcp --install all # 所有支持的 IDE

# 首次设置可交互配置
uv run artemis init

④ 在 IDE 里一句话让 AI 操作手机

在 Codex / Antigravity / Claude Code 里直接输入:
「把最新改动构建成 APK,装到已连接设备上,用测试账号打开登录页,
验证登录后有没有意外弹窗,并返回最终页面截图。」

关键信息速查

一键启动 ./start.sh(macOS/Linux)· .start.bat(Windows)
Web 控制台 uv run artemis ui → http://localhost:8000
MCP 安装 uv run artemis mcp --install all
执行档 Flash(~3–5s/步)· Pro(~15–40s/步,规划+验证)
手机辅助 首任务自动装 Helper;artemis helper install/status/uninstall 管理

🖼️ 效果图与演示

以下为官方 README 公开的实拍/截图。动图演示:用自然语言在 Google Maps 里设置驾车路线并计算总时长,然后打开 YouTube 播放一首 Coldplay 的歌——全程由 AI 自动操作。

Live Demo · 自然语言驱动真机跨应用操作:

12.2k Star:谷歌开源 ARTEMIS,让 AI 像人一样操作你的 Android 手机——完整教程

Antigravity × ARTEMIS · 自动生成分步测试计划:

12.2k Star:谷歌开源 ARTEMIS,让 AI 像人一样操作你的 Android 手机——完整教程

· 驱动真实设备、导航 UI、分析性能:

12.2k Star:谷歌开源 ARTEMIS,让 AI 像人一样操作你的 Android 手机——完整教程

Web 控制台 · 视图切换/模型与回放/实时 Agent 流/指令坞/任务队列:

12.2k Star:谷歌开源 ARTEMIS,让 AI 像人一样操作你的 Android 手机——完整教程

AndroidWorld 基准 · 99%+ SOTA(对比其他方案):

12.2k Star:谷歌开源 ARTEMIS,让 AI 像人一样操作你的 Android 手机——完整教程

这些均为官方公开演示(公众号端动图为动态演示)。

🎯 典型玩法

🧪 自动化回归测试:一句话生成测试计划,驱动真机执行并输出指标报告

🐛 Bug 复现:在 Codex/Claude Code 里让 AI 复现缺陷、采集 Logcat 与截图

📱 日常任务自动化:跨 App 完成订票、填表、导数据等重复性操作

🛰️ 长时稳定性测试:Pro 档 [Loop:continuous] 持续监控,100+ 步长时工作流

🔌 CI/CD 集成:Python SDK 接入 pytest 或流水线,强类型结构化输出

🖥️ 探索性测试:Pro 档预检目标、阻塞动作自动恢复,可长时探索

📊 和同类做法比

Appium / UIAutomator 传统 UI 自动化框架,需写脚本、代码定位元素,无自然语言与 LLM 推理
纯 LLM Agent(无工具) 能"想"但不能稳定操作真机,缺辅助功能/坐标回退与动作安全网
ARTEMIS 自然语言驱动 + 多模态定位 + Flash/Pro 双档 + MCP + AndroidWorld 99%+ SOTA

原理一句话:ARTEMIS 用"observe-and-act"反应循环(Flash)或多 agent 规划图(Pro)驱动真机——先用辅助功能层级定位可点元素,拿不到就用 OCR 和视觉模型按坐标回退;Pro 档每个动作都过"安全网"预检、阻塞动作自动交回 Operator 恢复,历史截图压缩成视觉摘要省 token,最后 Checker 对照原始目标复审。所以它既"看得懂"自定义 UI,又"不敢"乱点。

❓ 常见问题

Q:需要什么设备?

一台开了「USB 调试」的 Android 真机,或 Android 模拟器,用 USB/网络连到运行 ARTEMIS 的主机。

Q:需要装很多依赖吗?

不用手动装。start.sh / start.bat 一键自动安装 ADB、scrcpy、FFmpeg 和 Python(uv) 依赖。

Q:支持哪些 AI 模型?

多模态:Gemini / Claude / GPT-4o / Qwen-VL 均可。

Q:会不会在我手机上装奇怪的东西?

首次任务会安装一个「Artemis Accessibility Helper」辅助功能服务用于读屏幕布局,只在手机本地监听、不外发数据;可随时 artemis helper uninstall 卸载,也支持改用 UIAutomator2。

Q:Flash 和 Pro 有什么区别?

Flash:~3–5s/步,快速 token 高效反应式循环,适合常规确定性 UI 任务,无任务计划与预检安全网。Pro:~15–40s/步,Planner+Operator+Checker 多 agent,每动作过安全网预检、支持 100+ 步长时工作流和最终复审。

Q:能接进我的 Codex / Claude Code 吗?

能。原生 MCP server,artemis mcp --install all 一键挂载到 Antigravity / Codex / Claude Code / Windsurf / VS Code 等,安装后直接在 IDE 里用自然语言吩咐它操作手机。

Q:能拿结构化输出做自动化测试吗?

能。提供 Python SDK(artemis-client,零运行时依赖),强类型 Pydantic 结构化输出与断言,可接 pytest / CI 流水线;CLI 也支持高保真结构化终端输出。

Q:免费开源吗?能商用吗?

Apache-2.0,开源免费,可商用可二开(第三方代码在 third_party/ 下各自带 LICENSE)。

📎 GitHub 搜索 google/artemis | 中文文档 README_CN | AndroidWorld 基准

关注「AI工具匠」,获取更多 AI 工具实操教程

正文完
 0
评论(没有评论)