Wren 100: 처음부터 학습한 두 번째 모델, 영어와 한국어

Wren 100은 가장 새로운 Wren입니다. 파라미터 약 9,790만 개의 dense 트랜스포머로, Wren 40의 두 배가 넘는 크기이며 다른 곳의 가중치를 미세 조정한 것이 아니라 처음부터 학습했습니다.

영어와 한국어 텍스트 8억 토큰으로 사전 학습한 뒤 약 3.4억 토큰의 대화 데이터로 튜닝했습니다. Wren 40보다 대화의 흐름을 잘 따라가고 한국어도 다룹니다.

ai.avenpa.com에서 브라우저로 실행되며 Wren의 노력 수준 설정에 따라 쓰입니다. 3~5단계는 Wren 100, 1~2단계는 Wren 40입니다. 여전히 작은 모델이라 사실을 틀릴 수 있으니 중요한 내용은 확인하세요.