Advancing AI & HPC 2024 JapanにRWKVを出展しました

AMD主催のAIイベントに出展

2024年12月11日、ベルサール汐留にて開催された「Advancing AI & HPC 2024 Japan　AIの限界を超える未来へ AMDと共に進化する次世代の技術」にRWKVを出展しました。

詳細はこちら　https://biz.amd-heroes.jp/amd-hpc-ai-2024

RWKV-6,RWKV-7とは

トランスフォーマーとRNN両方の良さを活かした全く新しい構造のLLM、RWKV-6,RWKV-7についての説明を行いました。最大のメリットは同時接続や同時処理能力に長ける点で、トランスフォーマー型のLLMと比較して同じサーバーコストで最大100倍以上のユーザーを捌くことが可能です。また、LLMの性能を現実的なレベルに保ちつつ、特化型にチューニングすることによって軽量化することも可能です。これまでLLMの大きな課題とされていた学習や運用時のコストを大幅に削減することに成功しました。

展示内容

また、RWKVを用いて数音のメロディーから続きのメロディーを生成したり、数独パズルを解くこともできるようになりました。これらはRWKVに思考力や計算能力があることを示しています。このように、RWKVコミュミティでは単純なチャットだけでなく、LLMを用いた音楽生成、計算、画像処理やゲーム作りなど、マルチモーダルで多岐に渡るプロジェクトが進行しております。