app.py

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar el modelo con optimización de memoria
model_name = "BSC-LT/salamandra-2b"

if "tokenizer" not in globals():
    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
    tokenizer.pad_token = tokenizer.eos_token  

if "model" not in globals():
    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="cpu")
    model.eval()  

# Función optimizada para mejorar la velocidad
def humanize_text(input_text):
    system_prompt = (
        "Reescribe el siguiente texto de manera más clara y natural. "
        "Hazlo más conversacional sin cambiar su significado ni omitir información."
    )

    prompt = f"{system_prompt}\n\nTexto original: {input_text}\n\nTexto humanizado:"
    
    inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True)

    outputs = model.generate(
        inputs.input_ids,
        attention_mask=inputs.attention_mask,
        max_new_tokens=100,  # 🔹 Reducimos la cantidad de tokens generados
        min_length=50,  # 🔹 Evita respuestas demasiado cortas
        do_sample=True,  # 🔹 Mantenemos la variabilidad sin ralentizar
        temperature=0.7,  # 🔹 Balance entre creatividad y rapidez
        top_p=0.9,  # 🔹 Mantiene coherencia en la reescritura
        repetition_penalty=1.02,  # 🔹 Reduce repeticiones sin afectar fluidez
        num_return_sequences=1,  # 🔹 Solo una respuesta bien formulada
    )

    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Interfaz en Gradio
with gr.Blocks() as demo:
    gr.Markdown("# ✍️ Humanización de Texto con ALIA (Optimización de Velocidad)")
    input_text = gr.Textbox(label="Pega aquí el texto generado por IA para humanizar")
    output_text = gr.Textbox(label="Texto humanizado por ALIA", interactive=False)
    submit_button = gr.Button("Humanizar Texto")
    submit_button.click(humanize_text, inputs=input_text, outputs=output_text)

demo.launch()