#2 · ⚡24h jump · 🔥🔥 (Hot) · 🔥4 days running+10,066★ · 8 months old

AIエージェント向けデスクトップ操作SDK

Rust Difficulty: Intermediate Agent add-onsAutomation & data 🆓No extra cost

The three-line summary, the reason it surged and the spin-off ideas are generated automatically by AI. They can be wrong. Always check the original on GitHub before acting on them. Terms of Use

① What is it? (in three lines)

AIエージェントがスクリーンショットなしにmacOS・Windows・Linuxのアプリを操作できるツール。アクセシビリティツリーからJSON形式でUI要素を読み込み、クリックやタイプなどのアクション指定ができます。RustベースのCLI・Cライブラリとして提供され、ローカルで動作します。

Read the original GitHub description

Computer use CLI for AI agents

② Total stars over time (last 7 days, one point per day)

Total stars
★25,960
Last 24h
+2,370★
24h growth
+10%
Last push
1d ago
31 Oct 2 Nov 5 Nov (detected)
+13,269★ over these 5 days(1,834 → 15,103)
Detector: ⚡ 24-hour jump
Gain in 24h: +2,370★
24h growth: +10%
Detected from the change against the same hour the previous day
The repository's history
20 Feb 2026 Repository created
5 Nov Surge detected
1d ago Last push
GitHub topics: #accessibility#accessibility-api#ai-agents#automation#cli#desktop-automation#macos#mcp#rust#computer-use

③ Why did it surge?

きっかけは未確認、6日で+13269★の急伸。

外部の言及は取得していないため、スターが伸びた直接的なきっかけは分かっていない。2026年2月の公開から約9カ月後の2026年10月30日時点で1834★だったのが、検知日2026年11月5日には15103★に達し、24時間以内でも+2370★増えている。Vercel Labs公式プロダクトであり、AIエージェント向けのデスクトップ自動化は需要の高い領域のため、アーリーアダプターの採用が集中した可能性が考えられる。

Evidence: 6日で+13269★(10月30日1834★→11月5日15103★)検知日24時間で+2370★増加Vercel Labs公式プロダクト

④ Three spin-off ideas for a side-project developer (AI suggestions, tap to open)

👤 Who it suits
  • AI業務自動化ツール開発をしたい個人開発者
  • RPA・テスト自動化を提供するフリーランスエンジニア
  • カスタマーサポートを自動化したいSaaS運営者
Idea 1

月数十件の営業事務作業を手作業でこなすアシスタント職の人

The problem

毎日CRMソフトへの顧客情報入力やメール送信が時間を取られ、本来やるべき営業フォローができていない

The approach

agent-desktopのsnapshotコマンドで既存CRMアプリのUI要素を読み込み、AIエージェントに画面上の特定のrefを指すクリック・入力を指示して、複数顧客の定型入力フローを自動化。accessibility treeベースなので既存アプリの改造が不要。

💰 How it could earn

月額定額制の事務自動化サービス(月1万~3万円)として、導入先企業1社あたり月平均15時間削減分の工数を請負受託開発で構築。または完成したエージェント処理定義を複数企業で使い回して複数社受託。

Idea 2

オンライン学習サービスの運営者・コンテンツ制作者

The problem

複数の動画配信プラットフォーム・生徒管理ツール・決済システムからの売上・視聴データを日々手作業で集計しており、毎月レポート作成に3日かかっている

The approach

agent-desktopでmacOSやLinux上の各Webアプリ・デスクトップアプリのデータ画面を自動巡回。各サービスから数字をスクレイピング(ピクセル抽出ではなくaccessibility treeから)してCSV出力し、AI処理で数値の整合性チェックと自動レポート生成。

💰 How it could earn

テンプレート化した集計自動化システム(カスタマイズ時給3000円~5000円の受託作業で初期構築)を売却、またはSaaS化して月額固定+従量課金モデル(月5000円~)で複数サービス運営者に販売。

Idea 3

ToC Webアプリ・ネイティブアプリのテスト自動化を担当するQAエンジニア(フリーランス・副業)

The problem

クライアントごとに異なるテストシナリオのE2EテストをセレニウムやPlaywrightで毎回スクリプト書き直しており、画像マッチングの脆弱性に悩まされている

The approach

agent-desktopのsnapshotで対象アプリのUI構造をJSON取得し、ref_idを基にした安定した要素指定でクリック・入力テストを自動化。screenshot依存を排除できるため、レイアウト変更後のテストメンテナンス負荷を大幅削減。クライアント納品用テストスイートをテンプレート化。

💰 How it could earn

既存クライアント向けにE2Eテスト自動化の移行コンサル・導入支援(5万~15万の単価)、または月額テスト自動実行・結果監視サービス(月1万~3万)で月1~2社獲得。

⑤ Related repositories

Same language: Rust · Shared topics: accessibilityaccessibility-apiai-agentsautomationcli
morluto/rea ★472,781

AIを使ってアプリの動作やプログラムを分析して仕組みを解き明かす

TypeScript climcpagent-skills ⚡ Explained here GitHub ↗
affaan-m/ECC ★308,369

Claude CodeなどのAI開発ツールの性能を向上させるエージェント最適化システム

JavaScript ai-agentsanthropicclaude ⚡ Explained here GitHub ↗

Claude CodeなどのAI開発ツールをより賢く効率的に動かすための最適化システムです

JavaScript ai-agentsanthropicclaude ⚡ Explained here GitHub ↗
n8n-io/n8n ★211,654

様々なアプリと連携してAI搭載の業務自動化フローを視覚的に作成できるプラットフォーム

TypeScript automationipaasn8n

ウェブサイトの情報をAIが扱いやすいデータに変換して収集できるサービス

TypeScript aicrawlermarkdown ⚡ Explained here GitHub ↗

🔗 Related hubs and surges from the same day

🔔 Get the next one

Get surging AI repositories summarised in Japanese, with spin-off ideas without opening the site (once each morning). No email address required.

What is RSS: New items arrive automatically wherever you already read (a reader such as Feedly, Slack, n8n). Copy the URL above and paste it in — no sign-up, no cost.

Detected at 5 Nov 2026, 10:00:57 · observation window 2026-11-05-0 (UTC) · summarised 17d ago