Update app.py

app.py

@@ -1,23 +1,27 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 
-# Cargar el modelo y el tokenizer desde Hugging Face
-model = AutoModelForCausalLM.from_pretrained("JuanCabs/lapepav0")
+# Cargar el modelo en 8 bits usando bitsandbytes
+model = AutoModelForCausalLM.from_pretrained(
+    "JuanCabs/lapepav0",  # Nombre de tu modelo en Hugging Face
+    load_in_8bit=True,     # Cargar el modelo en 8 bits
+    device_map="auto"      # Asignar automáticamente a la GPU si está disponible
+)
 tokenizer = AutoTokenizer.from_pretrained("JuanCabs/lapepav0")
 
 # Definir la función para generar texto
 def generate_text(prompt):
-    inputs = tokenizer(prompt, return_tensors="pt")  # Tokenizar la entrada
-    outputs = model.generate(**inputs, max_length=100)  # Generar la salida
-    return tokenizer.decode(outputs[0], skip_special_tokens=True)  # Decodificar y devolver el texto
+    inputs = tokenizer(prompt, return_tensors="pt")
+    outputs = model.generate(**inputs, max_length=100)
+    return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
 # Crear la interfaz de Gradio
 interface = gr.Interface(
-    fn=generate_text,  # Función a ejecutar
-    inputs="text",     # Tipo de entrada
-    outputs="text",    # Tipo de salida
-    title="Text Generation Model",  # Título de la app
-    description="Enter a prompt to generate text using a Hugging Face model"  # Descripción de la app
+    fn=generate_text,  # Función que se ejecutará cuando el usuario envíe un prompt
+    inputs="text",     # Entrada de texto
+    outputs="text",    # Salida de texto
+    title="Text Generation with 8-bit Model",  # Título del Space
+    description="Introduce un prompt para generar texto usando un modelo en 8 bits"  # Descripción
 )
 
 # Lanzar la aplicación