Wren v1 は私たちが自前で作った小型言語モデルです。他者の重みを微調整したものではなく、ゼロから学習した、約3,670万パラメータのdenseトランスフォーマーです。
12.4億トークンのコーパスから抜き出した9億トークンで事前学習し、英語80%、韓国語20%の比率で、オプティマイザにはMuonを使い、最後にきれいなデータでannealingを行います。GPUは使いません。CPUスレッド4本で毎秒約340トークンの速度で進むため、ひと通り回すのに数週間かかり、止まっても直前のチェックポイントから再開します。
限界ははっきりしています。これほど小さなモデルは大きなモデルには及ばず、まだサイトでは使えません。小さくて安価で、隅々まで理解できるモデルが、ここのツールに何をもたらせるのかを知るために作っています。読む価値のある結果が出たら公開します。