Wren 40: 처음부터 학습한 소형 언어 모델

Wren 40은 우리가 직접 만든 소형 언어 모델입니다. 다른 곳의 가중치를 미세 조정한 것이 아니라 처음부터 학습한, 약 3,670만 개 파라미터의 dense 트랜스포머입니다.

주로 영어인 20억 토큰으로 사전 학습한 뒤 4억 토큰의 대화 데이터로 다듬었습니다. 이후 여러 턴 대화 학습을 한 번 더 거쳐, 따로 떼어 둔 79개 대화 테스트에서 점수가 31%에서 73%로 올랐습니다.

브라우저에서 실행할 수 있을 만큼 작아서 ai.avenpa.com에서 바로 쓸 수 있습니다. 짧은 영어 질문과 간단한 코드에 답합니다. 한국어, 산수, 사실 확인은 아직 약하고 틀릴 수 있습니다.