안녕하세요, 저희 회사 트릴리온랩스가 한국어 특화 대규모 언어 모델 'Trillion-7B-preview'를 오픈소스로 공개했습니다. 이번에 출시된 모델은 기존 모델 (Llama, Qwen 등) 가중치를 활용하지 않고 처음부터 (from-scratch) 학습된 것이 특징입니다.

주요 특징과 성능

• 7.76B 파라미터 규모의 모델, Transformer Decoder 구조에 RoPE, SwiGLU, RMSNorm 기술 적용
• 2조 개의 토큰으로 학습되었으며 컨텍스트 길이는 4,096토큰
• 경쟁 모델보다 최대 8배 적은 연산량(~9.3×10²² FLOPs)으로 평균 66.5% 성능 달성
• Mistral-7B-Instruct-v0.3, SOLAR-10.7B-Instruct-v1.0보다 우수한 성능
• Qwen2.5-7B-Instruct, EXAONE-3.5-7.8B-Instruct 등 3-8배 더 많은 연산량을 사용한 모델들과 경쟁력 유지

한국어 성능 벤치마크에서 압도적 우위

• HAERAE: 80.02% (EXAONE 76.08%, Llama 3.1 63.15%)
• KoBEST: 79.61% (Gemma 2 79.98%, Llama 3.1 70.09%)
• KMMLU: 48.09% (EXAONE 45.39%, Llama 3.1 41.41%)
• 한국어 Instruction Following 평가(koIFEval): 66.58% (EXAONE 54.65%, Llama 3.1 36.07%)
• LogicKor: 8.14점 (EXAONE 9.25, Llama 3.1 6.45)

다국어 지원 및 활용성

• 한국어 외에도 영어, 일본어, 중국어 지원 (Global-MMLU 평가 결과 기준)
• Apache-2.0 라이센스로 상업적 이용 가능

한계 및 향후 계획

• 정보 기준점은 2023년 8월까지로 제한
• 예비 출시 버전으로, 지속적인 성능 개선 및 기능 강화 계획

트릴리온랩스의 Trillion-7B-preview는 특히 한국어 처리 능력에서 우수한 성능을 보이고 상업적 이용이 가능해 데이콘 대회에서도 자유롭게 사용하실 수 있습니다. 많이 사용해주시고 피드백 부탁드립니다! 🙂

🤗 Hugging Face: trillionlabs/Trillion-7B-preview

💻 GitHub: trillion-labs

🌐 Website: trillionlabs.co