shoom013 commited on
Commit
06bc01e
·
verified ·
1 Parent(s): 2722c34

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -5
app.py CHANGED
@@ -69,14 +69,14 @@ HF_TOKEN = os.getenv("HF_TOKEN")
69
  #
70
  login(token=(HF_TOKEN))
71
 
72
- system_propmpt = system_sr
73
 
74
  client = InferenceClient(LLM_NAME)
75
 
76
  # "facebook/blenderbot-400M-distill", facebook/blenderbot-400M-distill, stabilityai/stablelm-zephyr-3b, BAAI/bge-small-en-v1.5
77
  Settings.llm = HuggingFaceInferenceAPI(model_name=LLM_NAME,
78
  # device_map="auto",
79
- # system_prompt = system_propmpt,
80
  context_window=4096,
81
  max_new_tokens=3072,
82
  # stopping_ids=[50278, 50279, 50277, 1, 0],
@@ -160,7 +160,7 @@ def rag(input_text, history, jezik): # , file):
160
  # #where = { "$and": [ {"$and": [ { "$or": [ {"state": self.cs }, { "page": { "$nin": [ -1 ] } } ] } , { "used": False } ] } ,
161
  # # {"lang": jezik } ] },
162
  #)
163
- jezik = "N/A"
164
  match jezik:
165
  case 'hrvatski':
166
  o_jezik = 'na hrvatskom jeziku, gramatički točno.'
@@ -177,12 +177,12 @@ def rag(input_text, history, jezik): # , file):
177
  case 'Eksperimentalna opcija':
178
  o_jezik = 'N/A'
179
  system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
180
-
181
  system_prompt = system_prompt + " Sledi pitanje ili problem korisnika, sa kojim dalje komuniciraš: "
182
  # if (o_jezik!='N/A'):
183
  # input_text += " - odgovori " + o_jezik + "."
184
  # Settings.llm.system_prompt = system_prompt
185
- response = query_engine.query(str({"role": "user", "content": system_propmpt + input_text}))
186
  # response = chat_engine.chat(input_text).response
187
  return response
188
  # gr.Textbox(label="Pitanje:", lines=6),
 
69
  #
70
  login(token=(HF_TOKEN))
71
 
72
+ system_prompt = system_sr
73
 
74
  client = InferenceClient(LLM_NAME)
75
 
76
  # "facebook/blenderbot-400M-distill", facebook/blenderbot-400M-distill, stabilityai/stablelm-zephyr-3b, BAAI/bge-small-en-v1.5
77
  Settings.llm = HuggingFaceInferenceAPI(model_name=LLM_NAME,
78
  # device_map="auto",
79
+ # system_prompt = system_prompt,
80
  context_window=4096,
81
  max_new_tokens=3072,
82
  # stopping_ids=[50278, 50279, 50277, 1, 0],
 
160
  # #where = { "$and": [ {"$and": [ { "$or": [ {"state": self.cs }, { "page": { "$nin": [ -1 ] } } ] } , { "used": False } ] } ,
161
  # # {"lang": jezik } ] },
162
  #)
163
+ #jezik = "N/A"
164
  match jezik:
165
  case 'hrvatski':
166
  o_jezik = 'na hrvatskom jeziku, gramatički točno.'
 
177
  case 'Eksperimentalna opcija':
178
  o_jezik = 'N/A'
179
  system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
180
+ #print("jezik: "+jezik)
181
  system_prompt = system_prompt + " Sledi pitanje ili problem korisnika, sa kojim dalje komuniciraš: "
182
  # if (o_jezik!='N/A'):
183
  # input_text += " - odgovori " + o_jezik + "."
184
  # Settings.llm.system_prompt = system_prompt
185
+ response = query_engine.query(str({"role": "user", "content": system_prompt + input_text}))
186
  # response = chat_engine.chat(input_text).response
187
  return response
188
  # gr.Textbox(label="Pitanje:", lines=6),