tool db and laguage

main.py

@@ -210,7 +210,14 @@ def generate_answer(user_input: UserInput):
 
         if user_input.style_tonality is None:
             prompt_formated = prompt_reformatting(template_prompt,context,prompt,enterprise_name=getattr(user_input,"marque",""))
-            answer = generate_response_via_langchain(prompt, model=getattr(user_input,"model","gpt-4o"),stream=user_input.stream,context = context , messages=user_input.messages,template=template_prompt,enterprise_name=getattr(user_input,"marque",""))
+            answer = generate_response_via_langchain(prompt, 
+                                                     model=getattr(user_input,"model","gpt-4o"),
+                                                     stream=user_input.stream,context = context , 
+                                                     messages=user_input.messages,
+                                                     template=template_prompt,
+                                                     enterprise_name=getattr(user_input,"marque",""),
+                                                     enterprise_id=enterprise_id,
+                                                     index=index)
         else:
             prompt_formated = prompt_reformatting(template_prompt,
                                                   context,
@@ -225,7 +232,9 @@ def generate_answer(user_input: UserInput):
                                                      style=getattr(user_input.style_tonality,"style","neutral"),
                                                      tonality=getattr(user_input.style_tonality,"tonality","formal"),
                                                      template=template_prompt,
-                                                     enterprise_name=getattr(user_input,"marque",""))
+                                                     enterprise_name=getattr(user_input,"marque",""),
+                                                     enterprise_id=enterprise_id,
+                                                     index=index)
         
         if user_input.stream:
             return StreamingResponse(stream_generator(answer,prompt_formated), media_type="application/json")

prompts.py

@@ -39,7 +39,7 @@
 
 base_template = '''
 Rôle
-Tu es spécialiste de la communication marketing {entreprise}. Tu maîtrises l'analyse de marché, la stratégie digitale, la créativité et la production de contenus marketing impactant et efficace..
+Tu es spécialiste de la communication marketing {enterprise}. Tu maîtrises l'analyse de marché, la stratégie digitale, la créativité et la production de contenus marketing impactant et efficace..
 
 Tâche / Action
 Développer du matériel de marketing digital engageant et informatif.
@@ -68,4 +68,8 @@ Adapté aux médias digitaux, avec les hashtags appropriés si nécessaire.
 Style et ton
 {style}, {tonality}.
 
+Format
+Adapté aux médias digitaux, avec les hashtags appropriés si nécessaire.
+
+Les attentes de l'utilisateur sont : {query}
 '''

rag.py

@@ -10,15 +10,29 @@ from langchain_core.prompts import PromptTemplate
 from langchain_mistralai import ChatMistralAI
 from uuid import uuid4
 
+from pydantic import BaseModel, Field
+
+from langchain_core.tools import tool
+
 import unicodedata
 
+class AddToKnowledgeBase(BaseModel):
+    ''' Add information to the knowledge base if the user asks for it in his query'''
+    information: str = Field(..., title="The information to add to the knowledge base")
+
+def detect_language(text:str):
+    llm = ChatOpenAI(model="gpt-4o-mini",temperature=0)
+    template = "détecte la langue du texte suivant: {text}. rassure-toi que ta reponse contient seulement le nom de la langue detectée"
+    prompt = PromptTemplate.from_template(template)
+    chain = prompt | llm | StrOutputParser()
+    response = chain.invoke({"text": text}).strip().lower()
+    print(response)
+    return response
+
 def remove_non_standard_ascii(input_string: str) -> str:
     normalized_string = unicodedata.normalize('NFKD', input_string)
     return ''.join(char for char in normalized_string if 'a' <= char <= 'z' or 'A' <= char <= 'Z' or char.isdigit() or char in ' .,!?')
 
-
-
-
 def get_text_from_content_for_doc(content):
     text = ""
     for page in content:
@@ -68,6 +82,32 @@ def get_vectorstore(text_chunks,filename, file_type,namespace,index,enterprise_n
         print(e)
         return False
     
+
+def add_to_knowledge_base(enterprise_id,information,index,enterprise_name):
+    ''' Add information to the knowledge base 
+    Args:
+        enterprise_id (str): the enterprise id
+        information (str): the information to add
+        index (str): the index name
+    '''
+    try:
+        embedding = OpenAIEmbeddings(model="text-embedding-3-large")
+        vector_store = PineconeVectorStore(index=index, embedding=embedding,namespace=enterprise_id)
+
+        document = Document(
+            page_content=information,
+            metadata={"filename":"knowledge_base","file_type":"text", "filename_id":"knowledge_base", "entreprise_name":enterprise_name},
+        )
+
+        uuid = f"knowledge_base_{uuid4()}"
+
+        vector_store.add_documents(documents=[document], id=uuid)
+        return True
+    
+    except Exception as e:
+        print(e)
+        return False
+   
 def get_retreive_answer(enterprise_id,prompt,index,common_id):
     try:
         
@@ -111,17 +151,55 @@ def get_retreive_answer(enterprise_id,prompt,index,common_id):
         print(e)
         return False
     
-    
-def generate_response_via_langchain(query: str, stream: bool = False, model: str = "gpt-4o",context:str="",messages = [],style:str="formel",tonality:str="neutre",template:str = "",enterprise_name:str=""):
-    # Define the prompt template
-    if template == "":
-        template = "En tant qu'IA experte en marketing, réponds avec un style {style} et une tonalité {tonality} dans ta communcation pour l'entreprise {enterprise}, sachant le context suivant: {context}, et l'historique de la conversation, {messages}, {query}"
+def handle_calling_add_to_knowledge_base(query,enterprise_id = "",index = "",enterprise_name = "",llm = None):
+    ''' Handle the calling of the add_to_knowledge_base function
+    if the user, in his query, wants to add information to the knowledge base, the function will be called
+    '''
+    template = """
+        You are an AI assistant that processes user queries.
+
+        Determine if the user wants to add something to the knowledge base.
+
+        - If the user wants to add something, output 'add' followed by the content to add.
+        - If the user does not want to add something, output 'no action'.
 
+        Ensure your response is only 'add <content>' or 'no action'.
 
+        User Query: "{query}"
+
+        Response:
+        """.strip()
+    
     prompt = PromptTemplate.from_template(template)
 
-    print(f"model: {model}")
-    print(f"marque: {enterprise_name}")
+    if not llm:
+        llm = ChatOpenAI(model="gpt-4o-mini",temperature=0)
+
+    llm_with_tool = llm.bind_tools([AddToKnowledgeBase])
+
+    # template = "En tant qu'IA experte en marketing, tu travailles pour l'entreprise {enterprise}, si dans la question, il y a une demande d'ajout d'information à la base de connaissance, fait appel à la fonction add_to_knowledge_base en ajoutant l'information demandée, sinon, n'appelle pas la fonction. la question est la suivante: {query}"
+    
+    # prompt = PromptTemplate.from_template(template)
+    chain = prompt | llm | StrOutputParser()
+    response = chain.invoke({"query": query}).strip().lower()
+
+    if response.startswith("add"):
+        item = response[len("add"):].strip()
+        if item:
+            add_to_knowledge_base(enterprise_id,item,index,enterprise_name)
+            print("added to knowledge base")
+            return True
+        
+    print(response)
+    return False
+    
+    
+    
+    
+def generate_response_via_langchain(query: str, stream: bool = False, model: str = "gpt-4o",context:str="",messages = [],style:str="formel",tonality:str="neutre",template:str = "",enterprise_name:str="",enterprise_id:str="",index:str=""):
+    # Define the prompt template
+    if template == "":
+        template = "En tant qu'IA experte en marketing, réponds avec un style {style} et une tonalité {tonality} dans ta communcation pour l'entreprise {enterprise}, sachant le context suivant: {context}, et l'historique de la conversation, {messages}, {query}"
     
     # Initialize the OpenAI LLM with the specified model
     if model.startswith("gpt"):
@@ -129,10 +207,24 @@ def generate_response_via_langchain(query: str, stream: bool = False, model: str
     if model.startswith("mistral"):
         llm = ChatMistralAI(model=model,temperature=0)
 
-    
+
+    #handle_calling_add_to_knowledge_base(prompt.format(context=context,messages=messages,query=query,style=style,tonality=tonality,enterprise=enterprise_name))
+    if handle_calling_add_to_knowledge_base(query,enterprise_id,index,enterprise_name):
+        template += " la base de connaissance a été mise à jour"
+
+    language = detect_language(query)
+    template += f" Reponds en {language}"
     # Create an LLM chain with the prompt and the LLM
+    prompt = PromptTemplate.from_template(template)
+
+    print(f"model: {model}")
+    print(f"marque: {enterprise_name}")
+
     llm_chain = prompt | llm | StrOutputParser()
 
+    
+    print(f"language: {language}")
+
     if stream:
         # Return a generator that yields streamed responses
         return llm_chain.astream({ "query": query, "context": context, "messages": messages, "style": style, "tonality": tonality, "enterprise":enterprise_name })