Wren v1: CPU 코어 4개로 학습하는 소형 언어 모델

Wren v1은 우리가 직접 만든 소형 언어 모델입니다. 다른 곳의 가중치를 미세 조정한 것이 아니라 처음부터 학습한, 약 3,670만 개 파라미터의 dense 트랜스포머입니다.

12.4억 토큰 코퍼스에서 뽑은 9억 토큰으로 사전 학습하며, 영어 80%와 한국어 20%로 섞고, Muon 옵티마이저를 쓰고, 마지막에 더 깨끗한 데이터로 annealing 단계를 거칩니다. GPU는 쓰지 않습니다. CPU 스레드 4개로 초당 약 340토큰 속도로 돌아가므로 한 번 훑는 데 몇 주가 걸리고, 중단되면 마지막 체크포인트에서 이어 갑니다.

한계는 분명합니다. 이렇게 작은 모델은 큰 모델에 미치지 못하며, 아직 사이트에서 사용할 수 없습니다. 작고 저렴하며 속속들이 이해할 수 있는 모델이 이곳의 도구에 무엇을 해 줄 수 있는지 알아보려고 만들고 있으며, 읽을 만한 결과가 나오면 공개하겠습니다.