NotEvilAI

NotEvilAI/gpt-oss-20b-ru-reasoner - экспериментальная модель с адаптивным русскоязычным ризонингом на основе openai/gpt-oss-20b. Модель думает на том языке, на котором требуется сгенерировать ответ(протестировано на английском и русском) без явного указания языка ризонинга. Имеется 5 режимов ризонинга(`reasoningeffort`): - `low`, `medium`, `high` - стандартные значения минимального, среднего и большого ризонинга для gpt-oss-20b/gpt-oss-120b - `none` - отключить ризонинг, в thinking будет пустая строка - `auto` - "автоматический" размер ризонинга gpt-oss-20b и gpt-oss-120b по-умолчанию всегда думают только на английском языке. Официальный Cookbook OpenAI предлагает сделать файн-тюн gpt-oss-20b на основе датасета `HuggingFaceH4/Multilingual-Thinking`(синтетический датасет из 1к примеров, полученных путём перевода prompt-reasoning-answer на 4 языка с английского). Этот подход позволяет задать 'Reasoning language' в системном промте и заставить модель думтаь на требуемом языке, что в теории должно повысить качество ответов. Во время файнтюна модель выявляет новые закономерности и учится думать на запрашиваемом языке. При разработке данной модели мы поставили цель исключить явное указание языка ризонинга, а также добавить два новых режима ризонинга: автоматический(auto) и без ризонинга(none). Для обучения модели был составлен датасет NotEvilAI/ru-reasoningeffort-sftdpothinkgpt. Модель обучалась на собственном сервере с 8x H200 в 2 стадии: - Full fine-tuning SFT с помощью axolotl: - `numepochs: 5` (20b версия модели сходится медленнее, чем 120b, однако переобучения замечено не было) - `learningrate: 5e-5` подобран эмпирически - `optimizer: adamwtorchfused` - Упаковка семплов через `samplepacking, multipackrealbatches, padtosequencelen, groupbylength` - Обучение длилось ~ 5 часов - DPO с помощью transformers: - Семплирование по 25 семплов на промт с целью поиска ризонинга не на нужном языке - `learningrate: 5e-6` - `gradientaccumulationsteps: 4` - Конвертация результатирующей модели из fp32 в bf16 - Обучение длилось ~ 3.5 часа Подписывайтесь на наш Telegram-канал. Там мы будем выкладывать новые модели и датасеты. Также там вы можете задать автору интересующие вас вопросы.