LGTMって何がすごいの？
LGTMとは、運用および学習時の計算が少ないことが特徴の言語モデル(LLM)になります。
つまり、他言語モデルと比べて低コストで環境構築が可能になります。
その中でもローカルとクラウドで構築する場合にオススメの環境をご紹介します。
モデルパラメータ数
言語モデルには「モデルパラメータ数」と呼ばれる人間で言う脳細胞の数とその繋がりを表すものがあります。 脳細胞の数と表現した様にモデルパラメータ数が多いほど一般的には賢くなると言われています。
LGTMでは、現在パラメータ数として【3B】、【7B】、【14B】のものがあります。 モデルパラメータ数が多い場合、多くの脳細胞の数と繋がりを処理する必要があります。そのためそれぞれの要求スペックが異なります。 今回は【3B】、【7B】を動作させる推奨PCとサービスをご紹介します。
LGTM動作環境
OS:Ubuntu 22.04 LTS
CPU:x86-64互換CPU
RAM:64GB以上
GPU:90TFlops(BF16), VRAM 24GB以上 CUDA 12.3以上 もしくは ROCm 6.0以上 が動作するもの ※ROCmの場合は限定的な動作になります。
学習するモデルパラメータ数【3B】、【7B】（ローカル編）
【推奨スペック】
OS:Ubuntu 22.04 LTS
CPU:x86-64互換CPU
RAM:64GB以上
GPU:90TFlops(BF16), VRAM 24GB以上 CUDA 12.3以上 もしくは ROCm 6.0以上 が動作するもの ※ROCmの場合は限定的な動作になります。
【くるるちゃん】はこの【3B】モデルを採用しています。
上記条件を満たしたPCは以下になります。
2024/06/18現在
【基本スペック】
CPU : インテル® Core™ 第14世代 i9 14900KF (24-コア, 68MB キャッシュ, サーマル・ベロシティー・ブーストで最大6.0GHzまで可能)
GPU : NVIDIA® GeForce RTX™ 4090, 24 GB GDDR6X
RAM : 64 GB, 2 x 32 GB, DDR5, 5600 MT/s ※1
SSD : 1 TB, M.2, PCIe NVMe, SSD
PSU : 1000W 80PLUS PLATINUM認証, CPU水冷 と クリア サイド パネル－ （バサルト ブラック）
※1 : 商品ページ下部「基本構成・カスタマイズ」から「64 GB, 2 x 32 GB, DDR5, 5200 MT/s」を選択してください。
商品ページにリンクします。
学習するモデルパラメータ数【3B】、【7B】（クラウド編）
OS:Ubuntu 22.04 LTS
CPU:x86-64互換CPU
RAM:64GB以上
GPU:90TFlops(BF16), VRAM 24GB以上 CUDA 12.3以上 もしくは ROCm 6.0以上 が動作するもの ※ROCmの場合は限定的な動作になります。
クラウドサービスを利用するため自社サーバーの保守が不要になります。 上記条件を満たしたサービスは以下になります。
FAQ
Q.手持ちのゲーミングPCでも動作可能ですか？
A.この記事にあるスペックを満たしていれば動作可能です。特にVRAMが24GB以上のものであることを確認してください。
Q.Windowsでも動作可能ですか？
A.Windowsでは動作しません。Ubuntu 22.04 LTSが必要です。既にWindowsがインストールされている場合はOSをUbuntu 22.04 LTSに入れ替える必要があります。
Q.WSLで動作しますか？
A.WSLでは一部の最適化命令が使えないため、動作の保障が出来かねます。Ubuntuのネイティブ環境を推奨します。
コメント