Sakana AIがText-to-LoRAを発表：タスク固有のLLMアダプターを生成するハイパーネットワーク

日本を拠点とするAI企業 さかなAI Text-to-LoRA と呼ばれる新しいアプローチを導入しました。これは、テキストによるタスク記述に基づいて大規模言語モデル (LLM) 用のタスク固有の低ランク適応 (LoRA) モジュールを生成するように設計されたハイパーネットワーク アーキテクチャです。

この手法は生物システム、特に限られた入力を用いて生物が環境刺激に素早く適応する方法、例えば人間の視覚が変化する光条件に適応する方法に着想を得ています。対照的に、現代の法学修士（LLM）は、優れた能力と幅広い知識を有していますが、特定のタスクに適応するためには、通常、労力を要する微調整と大規模なデータセットを必要とします。

Text-to-LoRA（T2L）は、ハイパーネットワークを訓練してタスクを説明する自然言語プロンプトを解釈させ、そのタスクに最適化されたLoRAアダプターを生成することで、この課題に対処します。実験結果によると、T2Lは既存のLoRAモジュールを幅広く効果的にエンコードできることが示唆されています。圧縮によって多少のロスは生じますが、生成されたアダプターは、タスクに直接最適化されたものと同等の性能を実現します。

さらに、T2Lは、明確なテキストベースの記述が利用可能であれば、トレーニング中に見られなかった新しいタスクにも一般化できる能力を示しています。このシステムの強みは効率性にあり、単一の軽量な生成ステップでLoRAアダプターを生成するため、タスク固有の微調整は不要です。

この開発により、基礎モデルのカスタマイズに関連する障壁が軽減され、技術的な専門知識がほとんどない、または計算リソースが限られているユーザーが自然言語のみを使用して特殊なモデル動作を作成できるようになります。

自然にインスピレーションを得たAIを進化させるSakana 

サカナAIは東京を拠点とするAI研究組織で、自然システムから着想を得た方法論を用いてAI開発を探求しています。同社は、単一の大規模モデルに頼るのではなく、複数の小規模で自律的なモデルを組み合わせ、協調的な集合体として機能させることに重点を置いています。これは、魚群などの生物システムに概念的に類似しています。この戦略は、適応性、リソース利用の効率性、そして長期的な拡張性を重視しています。

会社は最近 導入 ダーウィン・ゲーデル・マシンは、自己修正能力を持つAIエージェントであり、自身のコードを修正することができます。進化論に着想を得たこのシステムは、バリアントエージェントの系譜を維持し、幅広い自己改善アーキテクチャにわたる継続的な実験と改良を可能にします。