llama.cppをCloud Runで動かす際に考えたこと
アクセスが無いときは止まるCloud Runで、ローカルLLMをどう実用的な速度で動かすか。基盤の選定、コールドスタート対策、量子化とメモリ、頻度制限についての記録です。
Summarinの開発を通して分かったことや、ローカルLLM・要約技術についての解説を書いています。 サービスの裏側に興味のある方向けの内容です。
アクセスが無いときは止まるCloud Runで、ローカルLLMをどう実用的な速度で動かすか。基盤の選定、コールドスタート対策、量子化とメモリ、頻度制限についての記録です。
単語同士のつながりを図にする共起ネットワークについて、考え方と読み方を説明します。Summarinの月次ニュース分析での作り方(Janome、Jaccard係数、vis-network)もあわせて紹介します。
入力した文章が学習に使われる懸念をどう扱うか。個人開発でローカルLLMを選んだ理由と、そのために必要だった工夫をまとめました。
| 機能 | 文章要約 | AI日次ニュース分析 | 月次・四半期ニュース分析 |
|---|---|---|---|
| 参考 | トレンド | 日次分析アーカイブ | 要約サンプル集 |
| 読みもの | 解説記事 | ||
| その他 | 利用規約 | プライバシーポリシー | 個人ブログ |
| 運営 | 運営者情報 | お問い合わせ |