【&Buzz口コミニュース】“数学特化”の大規模言語モデル「WizardMath」 米Microsoftなどが開発 Llamaモデルを強化:Innovative Tech – ITmedia NEWS

&BuzzのTECHニュース

米Microsoftと中国科学院が提案する「WizardMath」は、数学的推論能力を強化するモデルです。これは、オープンソースの大規模言語モデルである「Llama-2」に適用されます。Llamaモデルシリーズは、オープンソースの革命を起こし、クローズドソースのモデルとの差を縮めてきましたが、数学や科学の問題解決など、複雑な推論には課題がありました。

WizardMathでは、RLEIFという新しい手法で微調整を行うことで、数学的推論能力を向上させます。Evol-Instructを使用して数学指示データを生成し、Training Instruction Reward Model(IRM)とProcess-supervised Reward Model(PRM)を訓練しています。

このモデルはGSM8kとMATHの数学的推論ベンチマークで実験され、全てのオープンソースモデルを大幅に上回る性能を発揮しました。特に、GSM8kでは+24.8、MATHでは+9.2の向上が見られました。さらに、WizardMathはChatGPT-3.5やClaude Instant-1、PaLM-2などのモデルも大きく上回っています。

WizardMathの詳細とモデルの重みは、GitHubおよびHugging Faceで公開されています。

&Buzzとしては、この「WizardMath」の提案は非常に興味深いものと感じました。オープンソースの言語モデルにおいて、数学的推論能力を向上させるための手法が提案されている点は画期的であり、今後の研究の進展が期待されます。数学や科学の問題解決において大規模言語モデルを活用する可能性は非常に高く、WizardMathの発表はその一歩先を行っていると感じます。今後の成果を見守っていきたいと思います。

この &Buzzニュースは、Itmedia.co.jpのニュースをAndbuzzが独自にまとめたもの。

コメント

タイトルとURLをコピーしました