danetki-qwen3-0.6b

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "lifeart/danetki-qwen3-0.6b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")

# Override chat template to standard chatml (no <think> tags)
CHAT_TEMPLATE = (
    "{%- for message in messages %}"
    "{{- '<|im_start|>' + message.role + '\\n' + message.content + '<|im_end|>\\n' }}"
    "{%- endfor %}"
    "{%- if add_generation_prompt %}"
    "{{- '<|im_start|>assistant\\n' }}"
    "{%- endif %}"
)
tokenizer.chat_template = CHAT_TEMPLATE

messages = [
    {
        "role": "system",
        "content": "Ты ведущий игры Данетки. Тебе дан контекст и вопрос игрока. Отвечай ТОЛЬКО одним словом: Да, Нет, или Не важно."
    },
    {
        "role": "user",
        "content": (
            "Контекст: Человек зашёл в бар и попросил стакан воды. "
            "Бармен достал пистолет и направил на него. "
            "Человек поблагодарил и ушёл.\n\n"
            "Разгадка: У человека была икота, и бармен испугал его, "
            "чтобы она прошла.\n\n"
            "Вопрос: Человек хотел пить воду?"
        )
    }
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=10, temperature=0.1, do_sample=True)
response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
print(response)  # "Нет"