Wrenv1

韓国語と英語に対応したdense言語モデルで、CPUサーバーでゼロから学習しています。事前学習中で、まだ利用できません。

Wren v1 は最初のモデルです。英語80%、韓国語20%の割合で9億トークンを使って事前学習し、オプティマイザにはMuonを使い、最後にきれいなデータでannealingを行います。

学習はCPUスレッド4本で毎秒約340トークンの速度で進み、止まっても直前のチェックポイントから再開します。これほど小さなモデルは大きなモデルには及びません。小さくて安価で、隅々まで理解できるモデルが、ここのツールに何をもたらせるのかを知るために作っています。