j5ng

한국어 맞춤법 교정기(Korean Typos Corrector) - ETRI-et5 모델을 기반으로 fine-tuning한 한국어 구어체 전용 맞춤법 교정기 입니다. Base on PLM model(ET5) - ETRI(https://aiopen.etri.re.kr/et5Model) Base on Dataset - 모두의 말뭉치(https://corpus.korean.go.kr/request/reausetMain.do?lang=ko) 맞춤법 교정 데이터 ## Data Preprocessing - 1. 특수문자 제거 (쉼표) .(마침표) 제거 - 2. null 값("") 제거 - 3. 너무 짧은 문장 제거(길이 2 이하) - 4. 문장 내 &name&, name1 등 이름 태그가 포함된 단어 제거(단어만 제거하고 문장은 살림) - total : 318,882 쌍

korean Formal Convertor Using Deep Learning 존댓말과 반말은 한국어에서만 존재합니다, 본 모델은 반말(informal)을 존댓말(formal)로 바꿔주는 변환기(convertor) 입니다. 확보한 존댓말 데이터셋에는 "해요체"와 "합쇼체" 두 종류가 존재했지만 본 모델은 "해요체"로 통일하여 변환하기로 결정했습니다. |합쇼체|해요체| |------|---| |안녕하십니까.|안녕하세요.| |좋은 아침입니다.|좋은 아침이에요.| |바쁘시지 않았으면 좋겠습니다.|바쁘시지 않았으면 좋겠어요.| 배경 - 이전에 존댓말과 반말을 구분하는 분류기(https://github.com/jongmin-oh/korean-formal-classifier) 를 학습했습니다. 분류기로 말투를 나눠 사용하려했지만, 상대적으로 존댓말의 비중이 적었고 반말을 존댓말로 바꾸어 존댓말 데이터의 비중을 늘리기위해 만들게 되었습니다. 한국어 존댓말 변환기 - 존댓말 변환기는 T5모델 아키텍쳐를 기반으로한 Text2Text generation Task를 수행함으로 반말을 존댓말로 변환하여 사용할 수 있습니다. - 바로 사용하실 분들은 밑에 예제 코드 참고해서 huggingFace 모델('j5ng/et5-formal-convertor') 다운받아 사용하실 수 있습니다. Base on PLM model(ET5) - ETRI(https://aiopen.etri.re.kr/et5Model) Base on Dataset - AI허브(https://www.aihub.or.kr/) : 한국어 어체 변환 코퍼스 1. KETI 일상오피스 대화 1,254 문장 2. 수동태깅 병렬데이터 Preprocessing 1. 반말/존댓말 데이터 분리("해요체"만 분리) - 스마일게이트 데이터에서 (['formal','informal']) 칼럼만 사용 - 수동태깅 병렬데이터에서 [".ban", ".yo"] txt 파일만 사용 - KETI 일상오피스 데이터에서(["반말","해요체"]) 칼럼만 사용 2. 데이터 셋 병합(3가지 데이터 셋 병합) 3. 마침표(.)와 쉼표(,)제거 4. 반말(informal) 칼럼 중복 제거 : 1632개 중복데이터 제거 최종 학습데이터 예시 |informal|formal| |------|---| |응 고마워|네 감사해요| |나도 그 책 읽었어 굉장히 웃긴 책이였어|저도 그 책 읽었습니다 굉장히 웃긴 책이였어요| |미세먼지가 많은 날이야|미세먼지가 많은 날이네요| |괜찮겠어?|괜찮으실까요?| |아니야 회의가 잠시 뒤에 있어 준비해줘|아니에요 회의가 잠시 뒤에 있어요 준비해주세요| Thanks to 존댓말 변환기의 학습은 인공지능산업융합사업단(AICA)의 GPU 리소스를 지원받아 학습되었습니다.