Update app.py

app.py

@@ -1,47 +1,33 @@
 import gradio as gr
 from huggingface_hub import InferenceClient
 
-# Cliente de inferência com modelo de IA pública
-client = InferenceClient(model="mistralai/Mistral-7B-Instruct-v0.3")  # Modelo gratuito e avançado
+# Substitua por seu token se for necessário: client = InferenceClient(token="seu_token_aqui")
+client = InferenceClient(model="mistralai/Mistral-7B-Instruct-v0.3")
 
 # Função para processar a conversa
 def responder(mensagem, historico):
-    mensagens = []
-    if historico is None:
-        historico = []
+    historico = historico or []
     
-    for item in historico:
-        if isinstance(item, list) and len(item) == 2:
-            user_msg, bot_msg = item
-            mensagens.append({"role": "user", "content": user_msg})
-            if bot_msg:
-                mensagens.append({"role": "assistant", "content": bot_msg})
-    
-    mensagens.append({"role": "user", "content": mensagem})
+    # Formata o histórico como contexto
+    contexto = ""
+    for user_msg, bot_msg in historico:
+        contexto += f"<s>[INST] {user_msg} [/INST] {bot_msg} </s>\n"
+    contexto += f"<s>[INST] {mensagem} [/INST]"
+
     resposta = ""
 
     try:
-        for mensagem in client.chat_completion(
-            mensagens,
-            max_tokens=300,
-            stream=True,
+        for token in client.text_generation_stream(
+            prompt=contexto,
+            max_new_tokens=300,
             temperature=0.4,
             top_p=0.8,
+            stop_sequences=["</s>"],
         ):
-            if not mensagem or not isinstance(mensagem, dict):
-                continue
-            
-            try:
-                conteudo = mensagem["choices"][0]["delta"].get("content", "")
-                if conteudo.strip():
-                    resposta += conteudo
-                    yield resposta
-            except (AttributeError, IndexError, KeyError) as e:
-                print(f"Erro ao processar mensagem: {e}")
-                continue
-    
+            resposta += token
+            yield resposta
     except Exception as e:
-        print(f"Erro inesperado: {e}")
+        print(f"Erro ao gerar resposta: {e}")
         yield "Ocorreu um erro ao gerar a resposta."
 
     if not resposta.strip():
@@ -50,9 +36,12 @@ def responder(mensagem, historico):
 # Interface do chat com labels em português
 demo = gr.ChatInterface(
     responder,
-    title="Benjamin – Assistente Virtual da CEaD - IBC. Tire dúvidas com minha inteligência artificial (minha base de dados vai até 2021)",
+    title="Benjamin – Assistente Virtual da CEaD - IBC",
     textbox=gr.Textbox(placeholder="Digite uma mensagem e depois tecle Enter"),
-    type="messages" 
+    description="Tire dúvidas com minha inteligência artificial (minha base de dados vai até 2021)",
+    retry_btn="Tentar novamente",
+    undo_btn="Desfazer",
+    clear_btn="Limpar",
 )
 
 if __name__ == "__main__":