概要
何のためのものか
ゼロから学習した3,670万パラメータのモデルで、主に英語を学習しています。ブラウザで動きます。
Wren 40 は私たちが自分で作った小型言語モデルです。約3,670万パラメータで、主に英語の20億トークンでゼロから事前学習し、その後4億トークンの会話データで調整しました。
ai.avenpa.com でブラウザ上で動くため、初回はモデルをダウンロードしますが、入力した内容は端末の外に出ません。短い英語の質問や簡単なコードに答えます。韓国語、計算、事実確認はまだ弱く、間違えることがあります。
ひとことで
Wren 40をひとことで
01
ゼロから自前で
重み、トークナイザ、学習ループはすべて自前です。
02
ブラウザで
端末上で動き、入力した内容はサーバーに送られません。
03
3,670万パラメータ
事前学習20億トークン、会話調整4億トークン。
プロダクト