Hakim-AI

from vllm import LLM, SamplingParams

# Load the model with vLLM
# Setting gpu_memory_utilization to 0.6 leaves room on the GPU for your embedding model
llm = LLM(
    model="Shams03/Hakim-AI", 
    quantization="awq",
    gpu_memory_utilization=0.6, 
    max_model_len=4096
)

# Example RAG Prompt Structure
prompt = """
استخدم المعلومات الطبية التالية للإجابة على سؤال المريض. اذكر اسم المصدر ورقم الصفحة.
المصدر: الدليل العلاجي في الطب الباطني، صفحة 210
النص: حصوات الكلى تسبب ألماً شديداً يبدأ في الظهر ويمتد إلى أسفل الحوض...

السؤال: عندي وجع فظيع في ضهري من ورا ونازل على الحوض، أعمل إيه؟
الإجابة:
"""

sampling_params = SamplingParams(temperature=0.3, top_p=0.9, max_tokens=512)
outputs = llm.generate([prompt], sampling_params)

print(outputs[0].outputs[0].text)