画像を見て、ロボットやパソコンを動かせる頭脳

💬 一言でいうと

✨ できること

• 🤖ロボットアームを動かせる

  カメラの映像を見ながら、物をつかんで運ぶ作業ができます。20個のテスト環境で75%の成功率を達成しました。

• 🖥️パソコンの画面から操作を判断

  スクリーンショットから次にクリックすべきボタンを判断できます。ショッピングサイトやメール、設定画面など、複数ステップの作業を95%の確率で完了します。

• ⚡判断が非常に速い

  1回の判断が約240ミリ秒（1000分の1秒単位）で完了するため、ロボットやパソコン操作がリアルタイムで動きます。

🛠 こんな人に役立つ

ロボット開発者や自動化ソフトウェアの開発者が対象です。カメラやスクリーンから情報を読み取って判断する必要があるプロジェクト、例えば工場での自動組立やウェブサービスの自動操作テストに役立ちます。

⚠️ 注意

まだ実験・改良段階の頭脳です。完璧ではなく、ロボットアームは20回中3回程度は失敗します。また、動作には高性能なコンピューターが必要です。

🔗 原文