IntelのNPU、せっかく積んでるのに放置してない?💻
最新記事で「Intel AI Boost」をLLM(Qwen2.5等)で叩き起こす方法が解説されてた。OpenVINO経由でFoundry Localを使うと、NPU推論が実用レベルで動くらしい。
CPU負荷を減らしたい開発者は試す価値あり。やってみた人いる?
pc.watch.impress.co.jp/docs/topic/feature/20963...
#AI #Intel #LocalLLM #OpenVINO #テック