#10 · ⚡24h jump · 🔥 (Rising) · 🔥3 days running+5,910★ · 9 months old

AIエージェントがデスクトップを操作するCLIツール

Rust Difficulty: Intermediate Agent add-onsAutomation & data 🆓No extra cost

The three-line summary, the reason it surged and the spin-off ideas are generated automatically by AI. They can be wrong. Always check the original on GitHub before acting on them. Terms of Use

① What is it? (in three lines)

AIが画面のテキストや要素を読み取り、マウスクリックやキー入力でアプリを操作できるツール。スクリーンショットではなくアクセシビリティAPIを使うので軽量で正確。macOS・Windows・Linux対応。

Read the original GitHub description

Computer use CLI for AI agents

② Total stars over time (last 7 days, one point per day)

Total stars
★25,960
Last 24h
+787★
24h growth
+3.1%
Last push
1d ago
5 Nov 7 Nov 9 Nov (detected)
+9,647★ over these 4 days(9,980 → 19,627)
Detector: ⚡ 24-hour jump
Gain in 24h: +787★
24h growth: +3.1%
Detected from the change against the same hour the previous day
The repository's history
20 Feb 2026 Repository created
9 Nov Surge detected
1d ago Last push
GitHub topics: #accessibility#accessibility-api#ai-agents#automation#cli#desktop-automation#macos#mcp#rust#computer-use

③ Why did it surge?

きっかけは未確認。7日で+12850★、Vercel Labs公式製品で業界需要が高い分野

7日間で6777★から19627★へと+12850★の急増が確認された。READMEはAIエージェント向けのコンピュータ操作機能を明示しており、アクセシビリティAPI経由での自動化という差別化されたアプローチを採用している。Hacker NewsやReddit等での言及は検知対象期間で見つかっていないため、急増のきっかけは現在わかっていない。

Evidence: 2026-11-01時点 6777★ → 2026-11-08時点 19627★7日間で+12850★の増加Vercel Labs公式製品バッジをREADMEに掲載

④ Three spin-off ideas for a side-project developer (AI suggestions, tap to open)

👤 Who it suits
  • AIエージェントのスキルセットを拡張したい開発者
  • 業務RPA化にAI自動化を組み込みたい企業システム担当者
  • 複数アプリの操作フローを自動テストしたいQAエンジニア
Idea 1

中小企業の経理担当者

The problem

複数の経理ソフトにデータを手入力する業務が毎月20時間以上かかり、入力ミスも多い

The approach

agent-desktopのsnapshotと自動クリック機能を使い、LLMが複数の経理ソフト上でデータを読み込んで自動入力するエージェントを開発。動作ログをJSON形式で記録すれば監査対応も可能。

💰 How it could earn

初期構築を月額3万円の受託開発で依頼を受け、月1万円の運用保守サポートで継続収入を得る。または複数の経理業務に対応した標準テンプレートを月額5千円で他社向けにSaaS化。

Idea 2

フリーランスのWebデザイナー

The problem

クライアントから「このサイトのこの部分を別のサイトと同じにしてほしい」と言われ、手動で色合わせや配置を確認する作業に毎回1〜2時間かかる

The approach

agent-desktopの accessibility tree読み取り機能で、複数サイトのUI要素を自動比較するツールを自作。snapshop --appで複数ブラウザウィンドウをキャプチャし、AIが自動的に差分を検出してCSS修正案を提案。

💰 How it could earn

このツールを「Webサイト比較・自動修正ツール」として月額2千円でフリーランスコミュニティ向けに販売。または比較作業の代行請負を時間単価5千円で受け、ツールで効率化した分を上乗せして収益化。

Idea 3

テスト自動化を担当する受託開発会社

The problem

デスクトップアプリの回帰テストをxUnit等のスクリプトで書くと、UIレイアウト変更の度にテストコードの座標指定を修正する手間が膨大になる

The approach

agent-desktopのref機能を使い、UI要素の座標に依存しない自動テストスイートを開発。snapshot --app で各テストケースの状態を記録し、ref_idベースのアクション(click @ref_id など)で堅牢なテストシナリオを構築。

💰 How it could earn

この自動化手法を独自のテストフレームワークとして開発し、テスト自動化サービスの単価を1プロジェクト+50万円で受託開発案件に組み込み。継続案件では月額10万円のテスト保守費を顧客から徴収。

⑤ Related repositories

Same language: Rust · Shared topics: accessibilityaccessibility-apiai-agentsautomationcli
morluto/rea ★472,781

AIを使ってアプリの動作やプログラムを分析して仕組みを解き明かす

TypeScript climcpagent-skills ⚡ Explained here GitHub ↗
affaan-m/ECC ★308,369

Claude CodeなどのAI開発ツールの性能を向上させるエージェント最適化システム

JavaScript ai-agentsanthropicclaude ⚡ Explained here GitHub ↗

Claude CodeなどのAI開発ツールをより賢く効率的に動かすための最適化システムです

JavaScript ai-agentsanthropicclaude ⚡ Explained here GitHub ↗
n8n-io/n8n ★211,654

様々なアプリと連携してAI搭載の業務自動化フローを視覚的に作成できるプラットフォーム

TypeScript automationipaasn8n

ウェブサイトの情報をAIが扱いやすいデータに変換して収集できるサービス

TypeScript aicrawlermarkdown ⚡ Explained here GitHub ↗

🔗 Related hubs and surges from the same day

🔔 Get the next one

Get surging AI repositories summarised in Japanese, with spin-off ideas without opening the site (once each morning). No email address required.

What is RSS: New items arrive automatically wherever you already read (a reader such as Feedly, Slack, n8n). Copy the URL above and paste it in — no sign-up, no cost.

Detected at 9 Nov 2026, 08:48:31 · observation window 2026-11-08-0 (UTC) · summarised 13d ago