AvitoTech

A-vibe это большая языковая модель, созданная Авито Тех, дочерней технологической компанией Авито, на базе открытой модели Qwen3-8B-Base. Мы адаптировали Qwen3-8B-Base под русский язык и домен Авито с помощью нескольких шагов: 1. Сделали свой токенизатор, оптимальный для русского и английского языка 2. Подменили оригинальный токенизатор Qwen3-8B-Base на собственный токенизатор 3. Обучили полученную модель на большом корпусе данных 4. Провели SFT этап 5. Сделали RL В результате нам удалось получить модель, которая выигрывает instruct версию Qwen3-8B по многим русскоязычным бенчмаркам. На SFT и RL этапе нам удалось научить модель Function Calling и улучшить ее навыки в решении математических задач. ||Qwen3-8B (nothink)|A-vibe| |:---|:---|:---| |mmluru|0,701|0,718| |mmluen|0,730|0,752| |gpqadiamondru|0,318|0,343| |gpqadiamonden|0,369|0,318| |shlepa|0,454|0,486| |baby mmlu|0,682|0,766| |math500ru|0,546|0,686| |math500en|0,736|0,714| |gsm8ken|0,927|0,910| |DOoM|0,240|0,280| |rufacts|0,724|0,718| |rublimp|0,916|0,930| |rudrop|0,318|0,394| |BFCLV3en|60,2%|58,63%| |BFCLV3ru|50.72%|49.00%| |MERAtext|0,510|0,618| |MERA CODE private total|0,336|0,367| В токенизаторе A-vibe плотность токенизации выше, чем у Qwen3-8B поэтому число токенов в контексте и при генерации стало меньше для одинаковых примеров. Кроме того, размер самой модели сократился до 7.9B при 8.2B у Qwen3-8B. За счет этого одинаковые русскоязычные примеры адаптированной моделью обрабатываются быстрее в среднем на 15-25% в сравнении с исходной Qwen3-8B Quickstart Ниже представлен фрагмент кода, демонстрирующий, как загрузить токенизатор и модель, а также как сгенерировать ответ. Output: Вот классический рецепт борща с пошаговыми инструкциями: Ингредиенты (на 4 порции): - Мясо (говядина, свинина или курица) — 300–400 г - Свекла — 2 шт. (средние) - Капуста белокочанная — 300 г - Морковь — 1 шт. - Лук репчатый — 1 шт. - Картофель — 3–4 шт. - Помидоры свежие (или томатная паста) — 2 шт. (или 2 ст. ложки) - Чеснок — 2–3 зубчика - Лавровый лист — 1–2 шт. - Перец горошком — 3–5 шт. - Соль, сахар — по вкусу - Растительное масло — 2–3 ст. ложки - Уксус или лимонный сок — 1 ст. ложка (для сохранения цвета свеклы) - Зелень (укроп, петрушка) — для подачи - Сметана — по желанию 1. Подготовка бульона: - Мясо промойте, нарежьте на куски и залейте 2,5–3 литрами холодной воды. - Доведите до кипения, снимите пену. - Добавьте лавровый лист, перец горошком и варите 1,5–2 часа на медленном огне. За 30 минут до готовности посолите. 2. Овощи: - Свеклу натрите на крупной терке. Обжарьте на растительном масле 5–7 минут, добавьте уксус (или лимонный сок) и 2 ст. ложки воды. Тушите 10 минут. - Капусту нашинкуйте тонкой соломкой. - Картофель нарежьте кубиками. - Морковь натрите, лук — мелко нарежьте. - Помидоры натрите на терке или используйте томатную пасту. 3. Сборка борща: - В кипящий бульон сначала добавьте картофель, варите 10 минут. - Затем введите капусту, морковь и лук. Варите еще 10 минут. - Добавьте обжаренную свеклу и помидоры (или томатную пасту). Перемешайте. - За 5 минут до готовности влейте измельченный чеснок (через пресс или мелко нарезанный). 4. Финальные штрихи: - Проверьте вкус, добавьте сахар (если нужно) и зелень. - Снимите с огня, накройте крышкой и дайте настояться 15–20 минут. 5. Подача: - Разлейте борщ по тарелкам, добавьте сметану и свежую зелень. Советы: - Для более насыщенного вкуса можно обжарить мясо перед варкой. - Если любите кислинку, добавьте 1 ст. ложку уксуса или лимонного сока в самом конце. - Вегетарианский вариант: замените мясо на грибы или варите на овощном бульоне.

A-Vision — Visual-Language модель, адаптированная под русский язык и домен Авито. Она понимает изображение и текст вместе: описывает фото, отвечает на вопросы по картинке, сверяет соответствие описания и фото, извлекает бренды/надписи/произвольный текст (OCR). Данные. Собрали собственный русскоязычный мультимодальный корпус: ~200k изображений объявлений и ≈1M пар «вопрос–ответ», дополненный тщательно локализованными наборами (вместо «сырого» машинного перевода).Также перевели несколько OS-датасетов. Адаптация LLM. Заменили токенизатор на русскоязычный; провели freeze→unfreeze LLM-части модели на большом корпусе русскоязычного текста. Мультимодальное SFT. Дообучили модель на собранном датасете «изображение+вопрос → ответ». RL-этап. Провели DPO, которое позволило добиться от модели безопасных ответов. Результат. Ускорение модели на 50% на русских данных. Рост качества на русскоязычных и доменных тестах (Авито-метрика генерации описаний +6%, MMMURU +1%, RealWorldQARU +1%) при сохранении универсальных VLM-навыков; небольшая просадка на части англоязычных бенчмарков ожидаема из-за фокуса на русском. | Метрика | Qwen2.5-VL-7B-Instruct | A-Vision | | :--------------- | :--------------------: | :----------: | | AvitoImageGenRU | 0.7259 | 0.7668 | | MMMUEN | 0.543 | 0.489 | | MMMURU | 0.469 | 0.474 | | RealWorldQAEN | 0.673 | 0.693 | | RealWorldQARU | 0.647 | 0.652 | | OCRBenchEN | 878 | 834 | | OCRVQAEN | 77.506 | 74.4098 | | ChartQAEN | 86.44 | 86 | | DocVQAEN | 94.7458 | 94.9702 | В токенизаторе A-vision плотность токенизации выше, чем у Qwen2.5-VL-7B-Instruct, поэтому число токенов в контексте и при генерации стало меньше для одинаковых примеров. Кроме того, размер самой модели сократился до 7.4B, при 8.3B у Qwen2.5-VL-7B-Instruct. За счет этого одинаковые русскоязычные примеры адаптированной моделью обрабатываются быстрее в среднем на 50% в сравнении с исходной Qwen2.5-VL-7B-Instruct. 📝 Автогенерация описаний карточек по фото 🔍 Ключевые слова для поиска (извлечение признаков с изображений) 🧾 OCR брендов/надписей и их нормализация ⚡ «Подача объявления в один клик» по фото товара 🔧 Внутренние инструменты разметки и модерации Ниже — минимальный пример инференса VLM (текст+картинка). > Для лучшей производительности имеет смысл подбирать `minpixels/maxpixels`.