Update app.py

app.py

@@ -27,9 +27,10 @@ last = 0
 CHROMA_DATA_PATH = "chroma_data/"
 EMBED_MODEL =  "sentence-transformers/all-MiniLM-L6-v2" # "BAAI/bge-m3"
 #LLM_NAME = "mistralai/Mistral-Nemo-Instruct-2407"
-#LLM_NAME = "swiss-ai/Apertus-8B-Instruct-2509" # provider: publicai
+#LLM_NAME = "sswiss-ai/apertus-70b-instruct" # provider: publicai
 #LLM_NAME = "openai/gpt-oss-20b"
-LLM_NAME = "swiss-ai/Apertus-8B-Instruct-2509"
+#LLM_NAME = "swiss-ai/apertus-8b-instruct"
+LLM_NAME = "aisingapore/Gemma-SEA-LION-v4-27B-IT"
 #LLM_NAME = "W4D/YugoGPT-7B-Instruct-GGUF"
 CHUNK_SIZE = 800
 CHUNK_OVERLAP = 50
@@ -64,9 +65,9 @@ collection = chroma_client.get_or_create_collection(
 last = collection.count()
 
 #
-HF_TOKEN = "wncSKewozDfuZCXCyFbYbAMHgUrfcrumkc"
+HF_TOKEN = os.getenv("HF_TOKEN")
 #
-login(token=("hf_" + HF_TOKEN))
+login(token=(HF_TOKEN))
 
 system_propmpt = system_sr
 
@@ -74,9 +75,9 @@ client = InferenceClient(LLM_NAME)
 
 # "facebook/blenderbot-400M-distill",  facebook/blenderbot-400M-distill, stabilityai/stablelm-zephyr-3b, BAAI/bge-small-en-v1.5
 Settings.llm = HuggingFaceInferenceAPI(model_name=LLM_NAME,
-                              device_map="auto",
-                              system_prompt = system_propmpt,
-                              context_window=5100,
+#                              device_map="auto",
+#                              system_prompt = system_propmpt,
+                              context_window=4096,
                               max_new_tokens=3072,
 #                              stopping_ids=[50278, 50279, 50277, 1, 0],
                               generate_kwargs={"temperature": temperature, "top_p":top_p, "repetition_penalty": repetition_penalty,
@@ -84,15 +85,13 @@ Settings.llm = HuggingFaceInferenceAPI(model_name=LLM_NAME,
                                                "top_k": top_k, "do_sample": False },
 #                              tokenizer_kwargs={"max_length": 4096},
                               tokenizer_name=LLM_NAME,
-                              hf_token = "hf_" + HF_TOKEN,
+                              hf_token = HF_TOKEN,
                               src = "models",
-#                              api_key="zpka_45536f339a3d403e997bac9158f9ebd2_49d2a58e",
-#                              provider="auto",
-#                              task="None"
+                              provider="publicai",
                              )
 # "BAAI/bge-m3"
-Settings.embed_model = HuggingFaceEmbedding(model_name=EMBED_MODEL) # "sentence-transformers/all-MiniLM-L6-v2"
-#documents = [Document(text="Indian parliament elections happened in April-May 2024. BJP Party won."),
+Settings.embed_model = HuggingFaceEmbedding(model_name=EMBED_MODEL)
+#documents = [Document(text="Content ..."),
 #            ]
 #index = VectorStoreIndex.from_documents(
 #    documents,
@@ -165,26 +164,26 @@ def rag(input_text, history, jezik): # , file):
     match jezik:
         case 'hrvatski':
             o_jezik = 'na hrvatskom jeziku, gramatički točno.'
-            Settings.llm.system_prompt = system_sr + "Call centar telefon je 095 1000 444 za privatne i 095 1000 500 za poslovne korisnike. Stranica podrške je <https://tele mach.hr/podrska>." + "Odgovaraj " + o_jezik
+            system_prompt = system_sr + "Call centar telefon je 095 1000 444 za privatne i 095 1000 500 za poslovne korisnike. Stranica podrške je <https://tele mach.hr/podrska>." + "Odgovaraj isključivo " + o_jezik
         case 'slovenski':
             o_jezik = 'v slovenščini, slovnično pravilen.'
-            Settings.llm.system_prompt = system_sr + "Call centar i pomoč za fizične uporabnike: 070 700 700.stran za podporo je <https://telemach.si/pomoc>. " + "Odgovor " + o_jezik
+            system_prompt = system_sr + "Call centar i pomoč za fizične uporabnike: 070 700 700.stran za podporo je <https://telemach.si/pomoc>. " + "Odgovor isključivo " + o_jezik
         case 'srpski':
             o_jezik = 'na srpskom jeziku, gramatički ispravno.'
-            Settings.llm.system_prompt = system_sr + "Call centar telefon je 19900 za sve korisnike. Stranica podrške je <https://sbb.rs/podrska/>. " + "Odgovaraj " + o_jezik
+            ystem_prompt = system_sr + "Call centar telefon je 19900 za sve korisnike. Stranica podrške je <https://sbb.rs/podrska/>. " + "Odgovaraj isključivo " + o_jezik
         case 'makedonski':
             o_jezik = 'на македонски јазикот граматички точно.'
-            Settings.llm.system_prompt = system_sr + "Stranica podrške je https://mn.nettvplus.com/me/podrska/ za NetTV. " + "Oдговори " + o_jezik
+            system_prompt = system_sr + "Stranica podrške je https://mn.nettvplus.com/me/podrska/ za NetTV. " + "Oдговори исклучиво " + o_jezik
         case 'Eksperimentalna opcija':
             o_jezik = 'N/A'
-            Settings.llm.system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
+            system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
+    system_propmpt = system_propmpt + " Sledi pitanje ili problem korisnika, sa kojim dalje komuniciraš: "
 #        if (o_jezik!='N/A'):
 #            input_text += " - odgovori " + o_jezik + "."
-    
-    response = query_engine.query(input_text)
+#    Settings.llm.system_prompt = system_prompt
+    response = query_engine.query(str({"role": "user", "content": system_propmpt + input_text}))
 #    response = chat_engine.chat(input_text).response
     return response
-# Interface
 # gr.Textbox(label="Pitanje:", lines=6),
 # outputs=[gr.Textbox(label="Odgovor:", lines=6)], 
 # ChatMessage(role="assistant", content="Kako Vam mogu pomoći?")