Macで104GBの大型AIを小さなメモリで動かす裏技
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
💬 In one line
通常なら100GB以上の巨大なAI言語モデルを、小さいMacでも動かせる工夫を作った出展です。
作者が工夫を凝らして、メモリが小さいMacでも実行できるようにしました。
✨ What it does
-
16GBのMacでも動く
ふつうは100GB以上いるAIモデルが、工夫で小さいメモリのMacで動くようになりました。
-
セットアップが簡単
ターミナルで1行のコマンドを実行するだけで、自動でインストールと設定が進みます。
-
Macのストレージとメモリをうまく使い分け
足りないメモリをストレージで補うしくみで、小さいMacでも大型AIが使えます。
🛠 Who it helps
自分のMacでAIを試してみたいけど、パソコンが古いか小さい人向けです。プログラミングの勉強をしている人、AIの仕組みを知りたい人が、自分のパソコンで実験できるようになります。
⚠️ Caution
まだ試作段階です。48GB以上のメモリがあれば1秒に12単語分くらい処理できますが、16GBだと1秒に4単語分程度と遅くなります。また、110GB以上のディスク空き容量が必要です。
🔗 Original
The write-up above summarises the original. See it for the exact details.
The headline and summary are an AI's Japanese rendering of a page published by an individual or a small team. They can diverge from the original. For the exact wording, follow the link to the source. Terms of Use