スマホレベルのメモリで動く大型AI頭脳

💬 一言でいうと

✨ できること

• 📱スマホ程度のメモリで動く

  通常は何十GBも必要な大型AI頭脳を、3GB以下のメモリで走らせられます。古いパソコンやエッジデバイスでも使える可能性が広がります。

• ⚡話しかけるくらいの速さで応答

  毎秒15単語程度で返事ができるので、チャットのようなやり取りがストレスなく進みます。

• 🎯縮小しても賢さが保たれている

  容量を減らすための工夫（LoRA適応）を使って、元のAI頭脳の性能をほぼ保ったままになっています。テスト結果では平均で3.9ポイントしか落ちていません。

🛠 こんな人に役立つ

スマートフォンやノートパソコンなど、メモリに余裕がないデバイスでAIを動かしたい人に向いています。また、複数のユーザーや用途に合わせて同じAI頭脳を使い分けたい場面でも活躍します。

⚠️ 注意

まだ試作品（プレビュー版）です。言語によっては対応が限られており、複数ステップの作業や自動判断はまだ得意ではありません。Apple製パソコン向けの設計になっているため、ほかのパソコンでの動作はこれからの予定です。

🔗 原文