ここのところ、Wordleの反省会を日夜GoogleのAIモード（Gemini系ではないと言われているのでこう書くのが適当そうです）相手にやっています。これと会話をしているうちに、手元のマシンでLLMを動かせるのかどうかが気になってきたので何か試してみることにしました。

手元にあるのはIntel Arc A770の8GB物。この程度でロクなものは動かないだろうと諦めていたのですが…LM Studioを起動した際にお勧めされたGemma4 E4B(gemma-4-E4B-it-Q4_K_M.gguf)が割とイイ感じに動きます。速度も30token/secとかなり快適です。GPUの支援を切ると3.5token/secまで遅くなりました。

サイズが小さく速度も速いと言われる、LFM2.5-1.2B-JP-202606(LFM2.5-1.2B-JP-202606_Q8_0.gguf)も試しています。ごくごく簡単な問いであればこれでも十分に役立つ場面があるかもしれません。速度も140token/secと速いです。こちらはGPU抜きだと24token/secくらい。

昨年末からHP OmniBook 5 16-ag(AMD Ryzen AI 5 340/RAM 16GB)が家にあるので（自分が使うマシンではありません）、こちらでも試してみました。LM Studio + Gemma4 E4Bで、GPU支援ありで6token/sec。LM Studioの代わりにLemonadeを使うことで12token/secまで上がりましたが、残念なことにどちらもNPUは使ってくれません。

Copilot+PCの要件にNPUが挙げられているとはいえ、幅広いアプリケーションでNPUを活用するようになるまであと1〜2年くらいの時間が必要そうに思いました（根拠の無いただの想像なので、どこまで当たるかは分かりません）。あと、VRAM 16GBを載せたGPUでもう少し大きなモデルを動かしてみたくなります…流石にメモリ価格の高騰もあり、手出しはできませんけど。57.0kg(22:10)