SaptivaAI

KAL-24B-mx-v1 es un Large Language Model (LLM) basado en la arquitectura Mistral, entrenado y adaptado específicamente para el contexto del español de México. El modelo fue generado mediante un entrenamiento con adaptadores LoRA (Low-Rank Adaptation), los cuales han sido completamente fusionados con los pesos del modelo base. Como resultado, este es un modelo listo para inferencia directa, sin requerir la carga de adaptadores externos. Su propósito es responder en español neutro con adaptación mexicana, comprendiendo trámites, normatividad, cultura y lenguaje cotidiano mexicano. Identificador en Hugging Face: SaptivaAI/KAL-24B-mx-v1 Este checkpoint es un merge LoRA sobre `mistralai/Mistral-Small-3.2-24B-Instruct-2506`. - Interfaz y uso: idénticos al modelo base (Transformers/vLLM). Requiere `transformers>=4.57.1` y `mistral-common>=1.6.2`. - Validación del merge: equivalencia 1:1 con el modelo `[base+LoRA]` mediante generación greedy y comparación por IDs de tokens en 8 prompts (PASS). Este modelo está diseñado para uso inmediato sin necesidad de entrenamiento adicional.Para información dinámica (trámites gubernamentales, normativas actualizadas), se recomienda integrarlo con sistemas RAG (Retrieval-Augmented Generation) que proporcionen datos específicos y actuales para enriquecer las respuestas por caso de uso. 1. Asistencia Conversacional Avanzada (Chatbots): Asistentes virtuales con comprensión profunda del lenguaje, capaces de resolver consultas complejas sobre trámites, servicios y aspectos culturales de México. 2. Generación de Contenido Especializado: Redacción de borradores, resúmenes y explicaciones sobre temas interrelacionados: normativas del SAT, funcionamiento de transferencias SPEI, interpretación de recibos de servicios. 3. Sistemas de Pregunta-Respuesta (Q&A): Soluciones que conectan información de múltiples fuentes para responder preguntas sobre procedimientos como obtención del CURP o requisitos de crédito Infonavit. 4. Herramientas de Soporte para Trámites: Aplicaciones que guían a usuarios a través de procedimientos complejos, anticipando dudas y proporcionando documentación relevante. > Nota Importante: Como todo modelo de lenguaje, puede generar respuestas incorrectas. Verifique siempre la información crítica, especialmente en aplicaciones legales o financieras, antes de tomar decisiones. Al partir de una base que comprende profundamente el español y el contexto mexicano, los entrenamientos especializados (fine-tunings) son significativamente más rápidos, fáciles y económicos que entrenar desde modelos generalistas. El modelo puede especializarse aún más para dominios específicos, tales como: - Atención al Cliente Bancaria: Chatbots especializados en servicios financieros mexicanos (SPEI, cuentas CLABE, tarjetas de crédito, inversiones CETES). - Asistencia Legal y Normativa: Sistemas que interpretan leyes mexicanas, códigos civiles, regulaciones laborales y compliance. - Soporte Técnico en Telecomunicaciones: Asistentes para ISPs y operadores móviles que explican planes, facturación y resolución de problemas técnicos. - Educación y Capacitación: Tutores virtuales para contenido educativo mexicano, desde nivel básico hasta educación superior. - E-commerce y Retail: Asistentes de ventas que manejan consultas sobre productos, envíos, devoluciones y promociones específicas del mercado mexicano. - Sistemas en producción que requieran una precisión factual del 100% sin supervisión humana, especialmente en dominios legales, financieros o médicos. - Tomar decisiones críticas donde una alucinación del modelo pueda causar daño (ej. asesoría legal, diagnóstico médico). - Casos de uso que requieran información en tiempo real sin proveer informacion via RAG u otros métodos. - Contextos fuera de México, ya que está optimizado para el español y la cultura de México. - Corte de Conocimiento: El conocimiento del modelo está limitado a sus datos de entrenamiento (fecha de corte: Septiembre 2025). No conoce eventos posteriores. - Especificidad de Dominio: Su rendimiento puede disminuir en temas muy alejados de la normatividad, cultura de pagos y lenguaje coloquial de México. - Alucinaciones: Como todos los LLMs, puede generar información que suena plausible pero es incorrecta. Verifique siempre los datos críticos. - Información Dinámica: No puede acceder a actualizaciones en tiempo real de leyes, formularios o tarifas oficiales. - Supervisión Humana: Utilice siempre supervisión humana para aplicaciones críticas. - Verificación de la Información: Verifique la información importante con fuentes fiables (sitios gubernamentales oficiales, profesionales certificados). - Uso de System Prompts: Utilice system prompts detallados para guiar el comportamiento y el tono del modelo. - Integración con RAG para Datos Dinámicos: Para información que cambia constantemente, integre el modelo con un sistema RAG para asegurar que las respuestas sean actuales. - Modelo Base: mistralai/Mistral-Small-3.2-24B-Instruct-2506 - Datasets de Entrenamiento: - Corpus de Cultura y Lenguaje Mexicano - Corpus de Normatividad y Trámites Mexicanos - Base Model: mistralai/Mistral-Small-3.2-24B-Instruct-2506 - Technique: LoRA (Low-Rank Adaptation) - Los adaptadores fueron posteriormente fusionados con el modelo base para crear la versión final. - Training Time: - Primera fase de entrenamiento: 12 horas - Segunda fase de entrenamiento: 12 horas - Total: 24 horas El rendimiento del modelo se evalúa utilizando los siguientes factores: Benchmark de Contexto Mexicano (Interno): Un dataset de evaluación con 200 ejemplos enfocados en el contexto mexicano, cubriendo: - Normatividad y trámites (SAT, RFC, CURP, Infonavit, etc.) - Cultura de pagos y servicios financieros - Lenguaje coloquial y expresiones mexicanas - Procedimientos gubernamentales Métricas de Evaluación: - Accuracy: Precisión en respuestas contra una referencia (ground-truth), con evaluación binaria (Correcto/Incorrecto). - Grounding Score: Porcentaje de respuestas respaldadas por fuentes verificables (objetivo: ≥90%). - Perplexity: Medida de confianza del modelo en sus predicciones. - Response Quality: Evaluación cualitativa de claridad, completitud y adecuación cultural. Internal Benchmark Performance: - Accuracy en contexto mexicano: 80% en el benchmark interno - Grounding score: 80% de respuestas con respaldo verificable ✅ Especialización en contexto mexicano: Comprensión profunda de normativas, trámites y lenguaje coloquial mexicano, significativamente superior a modelos generalistas. Se beneficia de las capacidades mejoradas de su modelo base para seguir instrucciones. ✅ Eficiencia en fine-tuning: Como base para entrenamientos derivados, reduce tiempo y costos comparado con partir de modelos generalistas. ✅ Respuestas culturalmente apropiadas: Manejo de sutilezas del español mexicano y referencias culturales específicas. > Nota: Este modelo está optimizado para casos de uso específicos del contexto mexicano. Benchmarks estándar en inglés (GSM8K, MMLU, etc.) no reflejan adecuadamente su propósito y capacidades especializadas. - Base: mistralai/Mistral-Small-3.2-24B-Instruct-2506 - Longitud de Contexto: 128,000 tokens (prompt + salida totales) - Entrenamiento: Entrenado en un clúster de 8x NVIDIA H100 80GB. - Inferencia: Optimizado para el contexto mexicano. - Requisitos de Memoria: Mínimo ~55 GB de VRAM (bf16). Para contextos largos, se recomienda 1x GPU de 80 GB (ej. A100/H100). Archivos y formato Este checkpoint usa `safetensors` shardeado con `model.safetensors.index.json`. Transformers y vLLM cargan automáticamente todos los shards; no es necesario combinarlos en un solo archivo. > Nota importante: El modelo soporta hasta 128,000 tokens (prompt + salida combinados). Ajusta `maxnewtokens` según el tamaño de tu prompt. Para configuración con 2 GPUs, usa `--tensor-parallel-size 2`. - Single-GPU: 1× A100/H100 80 GB (contextos ≤64k tokens) - Multi-GPU: 2× GPUs de 80 GB con tensor parallelism para contextos completos (128k tokens) - transformers >= 4.57.1 - torch >= 2.2 - accelerate >= 1.0 - mistral-common >= 1.6.2 (tokenizador Mistral 3.x) - Temperature: 0.15 (óptimo para seguimiento de instrucciones) - Context window: 128,000 tokens (prompt + salida combinados) - System prompt: Siempre incluir para mejores resultados Problema: Error de tokenización o plantilla de chat. ✅ Solución: Verifica que mistral-common>=1.6.2 esté instalado: Problema: Respuestas genéricas o fuera de contexto mexicano. ✅ Solución: Asegúrate de incluir un system prompt que especifique el contexto mexicano. ✅ Solución: - Reduce `maxnewtokens` o el tamaño del prompt. - Usa tensor parallelism con múltiples GPUs. Si usas este modelo en tu trabajo, por favor cítalo de la siguiente manera: