LDCC

본 모델은 KORMo-Team/KORMo-10B-sft를 기반으로, 두 개의 Expert를 갖는 Mixture of Experts (MoE) 구조로 확장한 버전입니다. 이 모델은 다음 두 개의 한국어 데이터셋을 활용하여 QLoRA 기반 미세조정(fine-tuning)을 수행한 후, 2-Expert MoE 모델로 변환한 실험용 연구 모델입니다. 미세조정 방식: QLoRA Expert 수: 2 MoE 변환 도구: mergekit 베이스 모델: KORMo-10B-sft 본 모델을 vLLM에서 실행하기 위해서는 별도의 패치 적용이 필요합니다. 다음 스크립트를 사용하여 설치를 진행할 수 있습니다. 본 연구는 KORMo-Team에서 공개한 오픈소스 모델인 KORMo-10B-sft를 기반으로 수행되었습니다. 모델을 공개해주신 KORMo-Team에 감사의 뜻을 전합니다.

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated. - Developed by: [More Information Needed] - Funded by [optional]: [More Information Needed] - Shared by [optional]: [More Information Needed] - Model type: [More Information Needed] - Language(s) (NLP): [More Information Needed] - License: [More Information Needed] - Finetuned from model [optional]: [More Information Needed] - Repository: [More Information Needed] - Paper [optional]: [More Information Needed] - Demo [optional]: [More Information Needed] Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations. Carbon emissions can be estimated using the Machine Learning Impact calculator presented in Lacoste et al. (2019). - Hardware Type: [More Information Needed] - Hours used: [More Information Needed] - Cloud Provider: [More Information Needed] - Compute Region: [More Information Needed] - Carbon Emitted: [More Information Needed]