소개
무엇을 위한 것인가
한국어와 영어를 위한 dense 언어 모델로, CPU 서버에서 처음부터 학습하고 있습니다. 사전 학습 중이며 아직 사용할 수 없습니다.
Wren v1은 우리의 첫 모델입니다. 영어 80%, 한국어 20% 비율의 9억 토큰으로 사전 학습하고, Muon 옵티마이저를 쓰며, 마지막에 더 깨끗한 데이터로 annealing을 합니다.
학습은 CPU 스레드 4개로 초당 약 340토큰 속도로 진행되며, 중단되어도 마지막 체크포인트에서 이어집니다. 이렇게 작은 모델은 큰 모델을 따라갈 수 없습니다. 작고 저렴하며 속속들이 이해할 수 있는 모델이 이곳의 도구에 무엇을 해 줄 수 있는지 알아보려고 만들고 있습니다.
한눈에
Wren v1 한눈에 보기
01
처음부터 직접
가중치, 토크나이저, 학습 루프 모두 직접 만든 것으로, 물려받은 것이 아닙니다.
02
CPU만 사용
실제로 돌아갈 곳에서 학습합니다. 코어 4개, GPU 없음.
03
한국어 + 영어
12.4억 토큰 코퍼스에서 20 대 80으로 섞었습니다.
제품