Yoonyoul

🧬 Fine-tuned E5-small for Korean Drug Product Semantic Embedding 📘 Model Overview 이 모델은 intfloat/multilingual-e5-small 기반으로, 의약품 요약·상세 데이터(`drugsummary`, `drugdetails`) 및 제품 유형 정의(`drugtypedefinition`), DUR 규제 정의(`drugdurtypedefinition`)를 활용하여 한국어 의약품 도메인에 맞게 3단계 파인튜닝(fine-tuning) 된 SentenceTransformer 모델입니다. - GitHub Repository: https://github.com/ryukato/fine-tuned-e5-drugmodel 이 프로젝트는 다국어 환경에서도 의약품 명칭, 효능, DUR 규제의 복잡한 의미 관계를 정확히 임베딩하기 위해 E5(multilingual-E5) 계열 모델 중 `intfloat/multilingual-e5-small`을 선택했습니다. 1. 다국어 문장 표현력 - 영어뿐 아니라 한국어, 일본어, 중국어, 독일어 등 다양한 언어에서 균형 잡힌 의미 표현 성능을 보여줍니다. - 의약품 데이터는 외래어·학술용어가 혼합된 형태가 많기 때문에 multilingual encoder가 유리합니다. 2. 효율적 성능 대비 파라미터 크기 (Small Variant) - `small` 모델은 약 33M 파라미터로, M1/M2 맥북 등 로컬 환경에서도 안정적으로 fine-tuning 가능했습니다. - FP16 또는 bfloat16 지원으로 GPU·MPS 환경에서도 효율적인 연산을 제공합니다. 3. 문장 단위 의미 검색(semantic retrieval)에 최적화 - E5 모델은 “문장 단위 의미 임베딩(Sentence Embedding)”을 위해 학습되어 있어, 단순 질의(`"기침약"`, `"열 내리는 약"`)와 제품명(`"판콜에이"`, `"타이레놀"`) 간 의미 매칭에 뛰어난 성능을 보입니다. 4. Sentence-Transformers와 완벽한 호환성 - `SentenceTransformer` 인터페이스와 100% 호환되어, PyTorch 기반 pipeline 통합이 용이했습니다. 🔹 Step 1: Drug Type Semantic Alignment - 데이터셋: `drugtypedeflist.csv` - 목표: `"해열제" → "체온을 낮추는 약"` 과 같은 개념 매핑 학습 - 모델 결과: `/model/finetunede5smalldrugtype` 🔹 Step 2: DUR Type Semantic Alignment - 데이터셋: `drugdurtypesimilaritytrain.csv` - 목표: `"임부금기"`, `"노인주의"`, `"병용금기"` 등 DUR 타입과 전문적 설명 간 의미 매핑 학습 - 모델 결과: `/model/finetunede5smalldrugdurtype` 🔹 Step 3: Drug Product Semantic Alignment - 데이터셋: `drugproductsimilaritytrain.csv` (약 3,000건 샘플) - 목표: `"판콜에이내복액"` 같은 실제 제품과 `"열을 내리는 약"` 같은 질의 간 의미 매칭 강화 - 모델 결과: `/model/finetunede5smalldrugproductaccum` 🔹 Experimental: Drug Ingredient + Product Type Fine-tuning `finetunede5smalldrugdurtype` 모델을 기반으로, 의약품 성분(`ingredientname`)과 제품 유형(`producttype`)을 결합한 임베딩 학습(`finetunede5smalldrugptypeingredients`)을 추가로 수행하였습니다. ⚙️ 적용 내용 | 항목 | 값 | |------|----| | 학습 데이터 | `"성분명은(는) 제품유형 제제에서 사용되는 의약 성분이다."` | | 샘플 사이즈 | 1,289 | | 평균 손실 | 0.0012 | | 유사도 평가 | 의미적 구분이 충분히 이루어지지 않음 | | 관찰 예시 | “소염·진통제” 계열의 `이부프로펜`과 비관련 성분인 `염화나트륨`, `세티리진`이 모두 0.91~0.94 수준의 유사도를 보임 | 📋 관찰 내용 - 모델은 안정적으로 수렴하였으나, 문장 패턴의 반복성과 Positive-only 데이터 구성으로 인해 효능군 간 의미적 경계가 제대로 형성되지 않았음. - 전체 유사도 분포가 과도하게 높게 수렴하여, 의미보다 문체 패턴을 중심으로 학습된 것으로 관찰됨. - 결론적으로 본 모델은 성분-제품유형 결합 학습이 의미 검색 품질 개선에 실질적 이점을 제공하지 않음을 확인하였으며, 현재 파이프라인에는 적용하지 않기로 결정함. | 항목 | 버전 | |------|------| | Python | 3.12.4 | | torch | 2.4.1 | | transformers | 4.44.2 | | sentence-transformers | 3.0.1 | | accelerate | 0.27.0 | | pandas | 2.2.3 | 📅 Release Info - Author: @Yoonyoul - Base Model: `intfloat/multilingual-e5-small` - Fine-tuned Model: `Yoonyoul/fine-tuned-e5-small-drugproduct` - Repository: https://github.com/ryukato/fine-tuned-e5-drugmodel - Last Updated: 2025-10-27