mistral-community

Model Card for Model ID Transformers compatible pixtral checkpoints. Make sure to install from source or wait for v4.45! You can also use a chat template to format your chat history for Pixtral. Make sure that the `images` argument to the `processor` contains the images in the order that they appear in the chat, so that the model understands where each image is supposed to go. Here's an example with text and multiple images interleaved in the same message: ----------- From transformers>=v4.48, you can also pass image url or local path to the conversation history, and let the chat template handle the rest. Chat template will load the image for you and return inputs in `torch.Tensor` which you can pass directly to `model.generate()`. While it may appear that spacing in the input is disrupted, this is caused by us skipping special tokens for display, and actually "Can this animal" and "live here" are correctly separated by image tokens. Try decoding with special tokens included to see exactly what the model sees!

> [!WARNING] > This model checkpoint is provided as-is and might not be up-to-date. Please use the corresponding version from https://huggingface.co/mistralai org 1. Download original weights from https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar 2. Convert with https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral/convertmistralweightstohf.py 3. You may need to copy the tokenizer.model from Mistral-7B-Instruct-v0.2 repo.

> [!WARNING] > This model checkpoint is provided as-is and might not be up-to-date. Please use the corresponding version from https://huggingface.co/mistralai org

> [!WARNING] > This model checkpoint is provided as-is and might not be up-to-date. It mirrors the torrent released by Mistral AI and uploaded by the community. > > Interested in the Transformers-compatible checkpoint? See https://huggingface.co/mistral-community/pixtral-12b. magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%http://2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%http://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%http://2Ftracker.ipv6tracker.org%3A80%2Fannounce Published by MistralAI in twitter/X: https://x.com/MistralAI/status/1833758285167722836 Release information: https://github.com/mistralai/mistral-common/releases/tag/v1.4.0 Mistral common has image support! You can now pass images and URLs alongside text into the user message. ▄▄▄░░ ▄▄▄▄▄█████████░░░░ ▄▄▄▄▄▄████████████████████░░░░░ █████████████████████████████░░░░░ ▄▄▄▄▄▄█████░░░ █████████████████████████████░░░░░ ▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░ ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░ ███████████████████████████████░░░░░░░██████████████████████████████░░░░░ ███████████████████████████████░░░░░░░██████████████████████████████░░░░░ ███████████████████████████████░░░░░░███████████████████████████████░░░░░ ████████████████████████████████░░░░░███████████████████████████████░░░░░ ████████████████████████████████░░░░████████████████████████████████░░░░░ █████████████████████████████████░░░████████████████████████████████░░░░░ █████████████████████████████████░░░████████████░███████████████████░░░░░ ██████████████████████████████████░█████████████░███████████████████░░░░░ ███████████████████░██████████████▄█████████████░███████████████████░░░░░ ███████████████████░███████████████████████████░░███████████████████░░░░░ ███████████████████░░██████████████████████████░░███████████████████░░░░░ ███████████████████░░█████████████████████████░░░███████████████████░░░░░ ███████████████████░░░████████████████████████░░░███████████████████░░░░░ ███████████████████░░░████████████████████████░░░███████████████████░░░░░ ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░ ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░ ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░ ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░ ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░ ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░ ░░░░░ ╓────────────────────────────────────────────────────────────────────────────╖ ║ PIXTRAL - 12B - v0.1 10/09/24 ║ ╙────────────────────────────────────────────────────────────────────────────╜ ╓────────────────────────────────────────────────────────────────────────────╖ ║ ║ ║ ·· md5sum ·· ║ ║ ║ ║ b8e9126ef0c15a1130c14b15e8432a67 consolidated.safetensors ║ ║ 68b39355a7b14a7d653292dab340a0be params.json ║ ║ 10229adc84036ff8fe44a2a8e2ad9ba9 tekken.json ║ ╙────────────────────────────────────────────────────────────────────────────╜ ╓────────────────────────────────────────────────────────────────────────────╖ ║ ║ ║ ·· Released by the Mistral AI team ·· ║ ║ ║ ║ - Use GELU for the vision adapter ║ ║ - Use 2D ROPE for the vision encoder ║ ║ ║ ╙────────────────────────────────────────────────────────────────────────────╜ You can pass image url which will be automatically downloaded