Update app.py

app.py

@@ -2,7 +2,7 @@ import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
-# Cargar el modelo más estable que funcionó bien en pruebas anteriores
+# Cargar el modelo con optimización de memoria
 model_name = "BSC-LT/salamandra-2b"
 
 if "tokenizer" not in globals():
@@ -10,16 +10,14 @@ if "tokenizer" not in globals():
     tokenizer.pad_token = tokenizer.eos_token  
 
 if "model" not in globals():
-    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
+    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="cpu")
     model.eval()  
 
-# Función de humanización con el mejor ajuste probado
+# Función optimizada para mejorar la velocidad
 def humanize_text(input_text):
     system_prompt = (
-        "Reescribe el siguiente texto de manera más clara, natural y atractiva, "
-        "sin cambiar su significado. Reformula frases rígidas y estructuradas para "
-        "que sean más fluidas y conversacionales, pero sin perder precisión. "
-        "Evita tecnicismos y burocracia innecesaria."
+        "Reescribe el siguiente texto de manera más clara y natural. "
+        "Hazlo más conversacional sin cambiar su significado ni omitir información."
     )
 
     prompt = f"{system_prompt}\n\nTexto original: {input_text}\n\nTexto humanizado:"
@@ -29,20 +27,20 @@ def humanize_text(input_text):
     outputs = model.generate(
         inputs.input_ids,
         attention_mask=inputs.attention_mask,
-        max_new_tokens=130,  # 🔹 Equilibrio entre reformulación y velocidad
+        max_new_tokens=100,  # 🔹 Reducimos la cantidad de tokens generados
         min_length=50,  # 🔹 Evita respuestas demasiado cortas
-        do_sample=True,  # 🔹 Mantiene variabilidad sin ralentizar
-        temperature=0.75,  # 🔹 Buen balance entre creatividad y rapidez
+        do_sample=True,  # 🔹 Mantenemos la variabilidad sin ralentizar
+        temperature=0.7,  # 🔹 Balance entre creatividad y rapidez
         top_p=0.9,  # 🔹 Mantiene coherencia en la reescritura
-        repetition_penalty=1.05,  # 🔹 Evita repeticiones sin afectar fluidez
-        num_return_sequences=1,  # 🔹 Genera solo una respuesta bien formulada
+        repetition_penalty=1.02,  # 🔹 Reduce repeticiones sin afectar fluidez
+        num_return_sequences=1,  # 🔹 Solo una respuesta bien formulada
     )
 
     return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
 # Interfaz en Gradio
 with gr.Blocks() as demo:
-    gr.Markdown("# ✍️ Humanización de Texto con ALIA (Versión Óptima)")
+    gr.Markdown("# ✍️ Humanización de Texto con ALIA (Optimización de Velocidad)")
     input_text = gr.Textbox(label="Pega aquí el texto generado por IA para humanizar")
     output_text = gr.Textbox(label="Texto humanizado por ALIA", interactive=False)
     submit_button = gr.Button("Humanizar Texto")