GPUタスクはGPU Workerへ — Redisキュー分離とcapability routingで能力ベースのLLM振り分けを実装する
この記事では、RedisキューをGPU用・CPU用…
MapleHarp AI Labs
家庭内AIクラスタとローカルLLMの研究室
MapleHarp AI Labs
家庭内AIクラスタとローカルLLMの研究室
カテゴリー 自作AI基盤
OpenWebUIからローカルLLMクラスタをつなぐ — Pipe FunctionとWorker実負荷ルーティングの実装
この記事では、OpenWebUIのPipe Function…
WSL2のOllamaをLAN公開する — 固定IP・systemd・nvidia-smiのハマりどころ全部まとめ
この記事では、WSL2上のOllamaをLAN内の他…
1BモデルでLLMの問いをcode/math/japaneseに分類する — 軽量ドメイン判定の実装
この記事では、1BパラメータのLFM2.5モデ…
複数モデルを速度・ドメイン適性でスコアリングして自動ルーティングする仕組み
この記事では、複数のローカルLLMモデルを…
OllamaタスクをRedisキューで非同期処理する — ローカルLLM推論の並列化設計
この記事では、OllamaへのAI推論タスクをR…
自宅サーバーでOllamaを動かす — ホームラボ分散AI推論基盤の作り方【第1回】
この記事では、自宅の余っているPCにOllam…