mistral-7b-legal-ecuatoriano-v5-gguf

from llama_cpp import Llama

# Cargar modelo
model = Llama(
    model_path="mistral-legal-q4-k-m.gguf",
    n_ctx=4096,
    n_threads=8,
    verbose=False
)

# Prompt según formato de entrenamiento
prompt = '''<s>[INST] Eres un Juez y Auditor Jurídico Experto. Analiza la siguiente sentencia según la metodología de Manuel Atienza (7 puntos).

SENTENCIA:
[Texto de la sentencia aquí]

GENERA el análisis siguiendo EXACTAMENTE este formato:
**1. NARRACIÓN DE HECHOS**
**2. PROBLEMA JURÍDICO**
**3. CUESTIONES Y SUBCUESTIONES**
**4. RESPUESTAS A LAS CUESTIONES**
**5. RATIO DECIDENDI Y OBITER DICTUM**
**6. SOLUCIÓN AL PROBLEMA**
**7. DECISIÓN**
[/INST]'''

# Generar análisis
output = model(prompt, max_tokens=2000, temperature=0.7)
print(output['choices'][0]['text'])

# Sistema completo con RAG
from llama_cpp import Llama
from langchain_community.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings

# 1. Cargar modelo
llm = Llama(model_path="mistral-legal-q4-k-m.gguf", n_ctx=4096)

# 2. Cargar índice RAG (corpus legal)
embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-base")
vectorstore = FAISS.load_local("./indices/legal_corpus", embeddings)

# 3. Buscar contexto relevante
docs = vectorstore.similarity_search(query, k=5)
contexto = "\n".join([doc.page_content for doc in docs])

# 4. Generar análisis con contexto
prompt_con_rag = f'''[INST] ...

CONTEXTO LEGAL RELEVANTE:
{contexto}

SENTENCIA:
{texto_sentencia}
[/INST]'''

analisis = llm(prompt_con_rag, max_tokens=2000)