evilfreelancer

+ https://huggingface.co/evilfreelancer/FRIDA-GGUF + https://ollama.com/evilfreelancer/FRIDA FRIDA is a full-scale finetuned general text embedding model inspired by denoising architecture based on T5. The model is based on the encoder part of FRED-T5 model and continues research of text embedding models (ruMTEB, ru-en-RoSBERTa). It has been pre-trained on a Russian-English dataset and fine-tuned for improved performance on the target task. For more model details please refer to our technical report [TODO]. The model can be used as is with prefixes. It is recommended to use CLS pooling. The choice of prefix and pooling depends on the task. We use the following basic rules to choose a prefix: - `"searchquery: "` and `"searchdocument: "` prefixes are for answer or relevant paragraph retrieval - `"paraphrase: "` prefix is for symmetric paraphrasing related tasks (STS, paraphrase mining, deduplication) - `"categorize: "` prefix is for asymmetric matching of document title and body (e.g. news, scientific papers, social posts) - `"categorizesentiment: "` prefix is for any tasks that rely on sentiment features (e.g. hate, toxic, emotion) - `"categorizetopic: "` prefix is intended for tasks where you need to group texts by topic - `"categorizeentailment: "` prefix is for textual entailment task (NLI) To better tailor the model to your needs, you can fine-tune it with relevant high-quality Russian and English datasets. Below are examples of texts encoding using the Transformers and SentenceTransformers libraries. Authors + SaluteDevices AI for B2C RnD Team. + Artem Snegirev: HF profile, Github; + Anna Maksimova HF profile; + Aleksandr Abramov: HF profile, Github, Kaggle Competitions Master + Pavel Rykov: HF profile, Github - creator of GGUF version The model is designed to process texts in Russian, the quality in English is unknown. Maximum input text length is limited to 512 tokens.

LoRA-адаптер для модели T-lite-it-1.0 обученный на датасете Egor-AI/Russianthinkingdataset (машинный перевод на русский язык датасета BintangFortuna/OpenO1-SFT-EN-SY). Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает `o1` от `OpenAI`. Необходимо использовать следующего вида системный промт: W&B отчёт: https://api.wandb.ai/links/evilfreelancer/fd7kpwjx Обучение производилось при помощи утилиты impruver используя конфигурацию T-lite-it/7Blorathinking. На всё про всё ушло примерно 20 часов, при этом понадобилось 23Гб видеопамяти.

LoRA-адаптер для модели T-lite-it-1.0 обученный на датасете Egor-AI/Russianthinkingdataset (машинный перевод на русский язык датасета BintangFortuna/OpenO1-SFT-EN-SY). Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает `o1` от `OpenAI`. Необходимо использовать следующего вида системный промт: W&B отчёт: https://api.wandb.ai/links/evilfreelancer/fd7kpwjx Обучение производилось при помощи утилиты impruver используя конфигурацию T-lite-it/7Blorathinking. На всё про всё ушло примерно 20 часов, при этом понадобилось 23Гб видеопамяти.

LoRA-адаптер для модели YandexGPT-5-Lite-8B-pretrain обученный на миксе из датасетов реализующих r1 (ризонинг) подход. Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает `r1` от `DeepSeek` или `o1` от `OpenAI` . W&B отчёт: https://api.wandb.ai/links/evilfreelancer/zj6s02v4 Обучение производилось при помощи утилиты impruver используя конфигурацию YandexGPT/8Blorar1. На всё про всё ушло примерно 18 часов на RTX 4090, при этом понадобилось 23.5Гб видеопамяти. Эффективный контекст 1400 токенов, так как больше не удалось уместить в 24Гб VRAM.