Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -69,14 +69,14 @@ HF_TOKEN = os.getenv("HF_TOKEN")
|
|
| 69 |
#
|
| 70 |
login(token=(HF_TOKEN))
|
| 71 |
|
| 72 |
-
|
| 73 |
|
| 74 |
client = InferenceClient(LLM_NAME)
|
| 75 |
|
| 76 |
# "facebook/blenderbot-400M-distill", facebook/blenderbot-400M-distill, stabilityai/stablelm-zephyr-3b, BAAI/bge-small-en-v1.5
|
| 77 |
Settings.llm = HuggingFaceInferenceAPI(model_name=LLM_NAME,
|
| 78 |
# device_map="auto",
|
| 79 |
-
# system_prompt =
|
| 80 |
context_window=4096,
|
| 81 |
max_new_tokens=3072,
|
| 82 |
# stopping_ids=[50278, 50279, 50277, 1, 0],
|
|
@@ -160,7 +160,7 @@ def rag(input_text, history, jezik): # , file):
|
|
| 160 |
# #where = { "$and": [ {"$and": [ { "$or": [ {"state": self.cs }, { "page": { "$nin": [ -1 ] } } ] } , { "used": False } ] } ,
|
| 161 |
# # {"lang": jezik } ] },
|
| 162 |
#)
|
| 163 |
-
jezik = "N/A"
|
| 164 |
match jezik:
|
| 165 |
case 'hrvatski':
|
| 166 |
o_jezik = 'na hrvatskom jeziku, gramatički točno.'
|
|
@@ -177,12 +177,12 @@ def rag(input_text, history, jezik): # , file):
|
|
| 177 |
case 'Eksperimentalna opcija':
|
| 178 |
o_jezik = 'N/A'
|
| 179 |
system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
|
| 180 |
-
|
| 181 |
system_prompt = system_prompt + " Sledi pitanje ili problem korisnika, sa kojim dalje komuniciraš: "
|
| 182 |
# if (o_jezik!='N/A'):
|
| 183 |
# input_text += " - odgovori " + o_jezik + "."
|
| 184 |
# Settings.llm.system_prompt = system_prompt
|
| 185 |
-
response = query_engine.query(str({"role": "user", "content":
|
| 186 |
# response = chat_engine.chat(input_text).response
|
| 187 |
return response
|
| 188 |
# gr.Textbox(label="Pitanje:", lines=6),
|
|
|
|
| 69 |
#
|
| 70 |
login(token=(HF_TOKEN))
|
| 71 |
|
| 72 |
+
system_prompt = system_sr
|
| 73 |
|
| 74 |
client = InferenceClient(LLM_NAME)
|
| 75 |
|
| 76 |
# "facebook/blenderbot-400M-distill", facebook/blenderbot-400M-distill, stabilityai/stablelm-zephyr-3b, BAAI/bge-small-en-v1.5
|
| 77 |
Settings.llm = HuggingFaceInferenceAPI(model_name=LLM_NAME,
|
| 78 |
# device_map="auto",
|
| 79 |
+
# system_prompt = system_prompt,
|
| 80 |
context_window=4096,
|
| 81 |
max_new_tokens=3072,
|
| 82 |
# stopping_ids=[50278, 50279, 50277, 1, 0],
|
|
|
|
| 160 |
# #where = { "$and": [ {"$and": [ { "$or": [ {"state": self.cs }, { "page": { "$nin": [ -1 ] } } ] } , { "used": False } ] } ,
|
| 161 |
# # {"lang": jezik } ] },
|
| 162 |
#)
|
| 163 |
+
#jezik = "N/A"
|
| 164 |
match jezik:
|
| 165 |
case 'hrvatski':
|
| 166 |
o_jezik = 'na hrvatskom jeziku, gramatički točno.'
|
|
|
|
| 177 |
case 'Eksperimentalna opcija':
|
| 178 |
o_jezik = 'N/A'
|
| 179 |
system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
|
| 180 |
+
#print("jezik: "+jezik)
|
| 181 |
system_prompt = system_prompt + " Sledi pitanje ili problem korisnika, sa kojim dalje komuniciraš: "
|
| 182 |
# if (o_jezik!='N/A'):
|
| 183 |
# input_text += " - odgovori " + o_jezik + "."
|
| 184 |
# Settings.llm.system_prompt = system_prompt
|
| 185 |
+
response = query_engine.query(str({"role": "user", "content": system_prompt + input_text}))
|
| 186 |
# response = chat_engine.chat(input_text).response
|
| 187 |
return response
|
| 188 |
# gr.Textbox(label="Pitanje:", lines=6),
|