Update app.py

app.py

@@ -27,12 +27,15 @@ chat = [
 # Vorbereitung des Eingabeformats
 conversation_str = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False)
 
-# Tokenisierung der Eingabe
-input_ids = tokenizer.encode(conversation_str, return_tensors="pt", add_special_tokens=False).to(device)
+# Tokenisierung der Eingabe und Erzeugen der attention_mask
+inputs = tokenizer(conversation_str, return_tensors="pt", padding=True, truncation=True)
 
 # Inferenz durchführen
 with torch.no_grad():
-    outputs = model.generate(input_ids=input_ids, max_length=256, num_return_sequences=1)
+    outputs = model.generate(input_ids=inputs["input_ids"].to(device), 
+                             attention_mask=inputs["attention_mask"].to(device),
+                             max_length=256, 
+                             num_return_sequences=1)
 
 # Ausgabe anzeigen
 print(tokenizer.decode(outputs[0], skip_special_tokens=True))