Wren 40: ゼロから学習した小型言語モデル

Wren 40 は私たちが自分で作った小型言語モデルです。他所の重みをファインチューニングしたものではなく、ゼロから学習した約3,670万パラメータの dense トランスフォーマーです。

主に英語の20億トークンで事前学習し、その後4億トークンの会話データで調整しました。さらに複数ターンの会話で追加学習を行い、取り分けておいた79件の会話テストの得点が31%から73%に上がりました。

ブラウザで動かせるほど小さく、ai.avenpa.com ですぐに使えます。短い英語の質問や簡単なコードに答えます。韓国語、計算、事実確認はまだ弱く、間違えることがあります。