Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
|
@@ -33,7 +33,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
| 33 |
"somosnlp/NoticIA-7B",
|
| 34 |
torch_dtype=torch.bfloat16,
|
| 35 |
device_map="auto",
|
| 36 |
-
quantization_config=quantization_config,
|
| 37 |
)
|
| 38 |
|
| 39 |
print(f"Model loaded in {model.device}")
|
|
@@ -49,7 +49,7 @@ generation_config = GenerationConfig(
|
|
| 49 |
top_p=0.1,
|
| 50 |
repetition_penalty=1.1, # Ayuda a evitar que el modelo entre en bucles
|
| 51 |
encoder_repetition_penalty=1.1, # Favorecemos que el modelo cite el texto original
|
| 52 |
-
|
| 53 |
)
|
| 54 |
|
| 55 |
# Stop words, para evitar que el modelo genere tokens que no queremos.
|
|
|
|
| 33 |
"somosnlp/NoticIA-7B",
|
| 34 |
torch_dtype=torch.bfloat16,
|
| 35 |
device_map="auto",
|
| 36 |
+
#quantization_config=quantization_config,
|
| 37 |
)
|
| 38 |
|
| 39 |
print(f"Model loaded in {model.device}")
|
|
|
|
| 49 |
top_p=0.1,
|
| 50 |
repetition_penalty=1.1, # Ayuda a evitar que el modelo entre en bucles
|
| 51 |
encoder_repetition_penalty=1.1, # Favorecemos que el modelo cite el texto original
|
| 52 |
+
temperature=0.15, # temperature baja para evitar que el modelo genere texto muy creativo.
|
| 53 |
)
|
| 54 |
|
| 55 |
# Stop words, para evitar que el modelo genere tokens que no queremos.
|