Switch to Zephyr 7B (no gating required)

config.py

@@ -11,16 +11,16 @@ Cambia aquí para elegir entre modelo local o API externa.
 USE_LOCAL_MODEL = True  # 🟢 Cambiar a True para usar modelo local
 
 LOCAL_MODEL_CONFIG = {
-    "model_id": "meta-llama/Llama-2-7b-chat-hf",  # Modelo de HuggingFace
+    "model_id": "HuggingFaceH4/zephyr-7b-beta",  # Zephyr (no requiere aprobación)
     "load_in_8bit": True,  # True = ~7GB RAM, False = ~14GB RAM
     "max_new_tokens": 256,
     "temperature": 0.0,  # 0.0 = determinístico
 }
 
 # Alternativas para modelo local (16GB RAM disponibles):
-# - "meta-llama/Llama-2-7b-chat-hf" (7B, ~7GB en 8-bit) ✅ RECOMENDADO
-# - "meta-llama/Llama-2-13b-chat-hf" (13B, ~13GB en 8-bit) ⚠️ Justo
-# - "HuggingFaceH4/zephyr-7b-beta" (7B, ~7GB en 8-bit) ✅ Alternativa
+# - "HuggingFaceH4/zephyr-7b-beta" (7B, ~7GB en 8-bit) ✅ ACTIVO - Sin aprobación
+# - "meta-llama/Llama-2-7b-chat-hf" (7B, ~7GB en 8-bit) ⚠️ Requiere aprobación
+# - "meta-llama/Llama-2-13b-chat-hf" (13B, ~13GB en 8-bit) ⚠️ Requiere aprobación
 
 
 # Opción 2: MODELO VIA API (Gemini u otros via LiteLLM)

model_llama_local.py

@@ -144,8 +144,11 @@ class LocalHFModel:
     
     def _format_llama_prompt(self, messages: List[Dict[str, str]]) -> str:
         """
-        Formatea mensajes al formato Llama 2 Chat.
-        Formato: <s>[INST] <<SYS>>\\n{system}\\n<</SYS>>\\n\\n{user} [/INST]
+        Formatea mensajes al formato correcto según el modelo.
+        
+        Soporta:
+        - Llama 2: <s>[INST] <<SYS>>...
+        - Zephyr: <|system|>...<|user|>...<|assistant|>
         """
         system_msg = ""
         user_msg = ""
@@ -159,10 +162,19 @@ class LocalHFModel:
             elif role == "user":
                 user_msg = content
         
-        if system_msg:
-            prompt = f"<s>[INST] <<SYS>>\n{system_msg}\n<</SYS>>\n\n{user_msg} [/INST]"
+        # Detectar formato según model_id
+        if "zephyr" in self.model_id.lower():
+            # Formato Zephyr
+            if system_msg:
+                prompt = f"<|system|>\n{system_msg}</s>\n<|user|>\n{user_msg}</s>\n<|assistant|>\n"
+            else:
+                prompt = f"<|user|>\n{user_msg}</s>\n<|assistant|>\n"
         else:
-            prompt = f"<s>[INST] {user_msg} [/INST]"
+            # Formato Llama 2 (default)
+            if system_msg:
+                prompt = f"<s>[INST] <<SYS>>\n{system_msg}\n<</SYS>>\n\n{user_msg} [/INST]"
+            else:
+                prompt = f"<s>[INST] {user_msg} [/INST]"
         
         return prompt