Update app.py

app.py

@@ -1,15 +1,19 @@
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
 
-# Modell und Tokenizer von Hugging Face laden
-model_name = "Qwen/Qwen2.5-Math-7B-Instruct"
+# Modellname für die kleinere Variante
+model_name = "Qwen/Qwen2.5-Math-1.5B-Instruct"
+
+# Überprüfen, ob eine GPU verfügbar ist
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
 # Modell und Tokenizer laden
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
     device_map="auto",  # Modell auf verfügbare Geräte verteilen
-    trust_remote_code=True
+    low_cpu_mem_usage=True,  # Versucht, den Speicherverbrauch zu reduzieren
+    trust_remote_code=True,
+    torch_dtype=torch.float16  # Reduziert den Speicherverbrauch
 ).to(device).eval()
 
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
@@ -28,8 +32,7 @@ input_ids = tokenizer.encode(conversation_str, return_tensors="pt", add_special_
 
 # Inferenz durchführen
 with torch.no_grad():
-    outputs = model.generate(input_ids=input_ids, max_length=512, num_return_sequences=1)
+    outputs = model.generate(input_ids=input_ids, max_length=256, num_return_sequences=1)
 
-# Ausgabe dekodieren und anzeigen
-response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-print(response)
+# Ausgabe anzeigen
+print(tokenizer.decode(outputs[0], skip_special_tokens=True))