ceadibc commited on
Commit
b66ed66
·
verified ·
1 Parent(s): 346fea8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +53 -17
app.py CHANGED
@@ -1,23 +1,59 @@
 
1
  from huggingface_hub import InferenceClient
2
- from transformers import AutoTokenizer, AutoModelForCausalLM
3
 
4
- client = InferenceClient(
5
- provider="nebius",
6
- api_key="HUGGING_FACE_HUB_TOKEN",
7
- )
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8
 
9
- # Load model directly
10
- tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V3-0324", trust_remote_code=True)
11
- model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-V3-0324", trust_remote_code=True)
12
 
13
- completion = client.chat.completions.create(
14
- model="deepseek-ai/DeepSeek-V3-0324",
15
- messages=[
16
- {
17
- "role": "user",
18
- "content": "What is the capital of France?"
19
- }
20
- ],
21
  )
22
 
23
- print(completion.choices[0].message)
 
 
1
+ import gradio as gr
2
  from huggingface_hub import InferenceClient
 
3
 
4
+ # Cliente de inferência com modelo de IA pública
5
+ client = InferenceClient(model="mistralai/Mistral-7B-Instruct-v0.3") # Modelo gratuito e avançado
6
+
7
+ # Função para processar a conversa
8
+ def responder(mensagem, historico):
9
+ mensagens = []
10
+ if historico is None:
11
+ historico = []
12
+
13
+ for item in historico:
14
+ if isinstance(item, list) and len(item) == 2:
15
+ user_msg, bot_msg = item
16
+ mensagens.append({"role": "user", "content": user_msg})
17
+ if bot_msg:
18
+ mensagens.append({"role": "assistant", "content": bot_msg})
19
+
20
+ mensagens.append({"role": "user", "content": mensagem})
21
+ resposta = ""
22
+
23
+ try:
24
+ for mensagem in client.chat_completion(
25
+ mensagens,
26
+ max_tokens=250,
27
+ stream=True,
28
+ temperature=0.2,
29
+ top_p=0.7,
30
+ ):
31
+ if not mensagem or not isinstance(mensagem, dict):
32
+ continue
33
+
34
+ try:
35
+ conteudo = mensagem["choices"][0]["delta"].get("content", "")
36
+ if conteudo.strip():
37
+ resposta += conteudo
38
+ yield resposta
39
+ except (AttributeError, IndexError, KeyError) as e:
40
+ print(f"Erro ao processar mensagem: {e}")
41
+ continue
42
+
43
+ except Exception as e:
44
+ print(f"Erro inesperado: {e}")
45
+ yield "Ocorreu um erro ao gerar a resposta."
46
 
47
+ if not resposta.strip():
48
+ yield "Nenhuma resposta gerada. Tente novamente."
 
49
 
50
+ # Interface do chat com labels em português
51
+ demo = gr.ChatInterface(
52
+ responder,
53
+ title="Benjamin – Assistente Virtual da CEaD - IBC. Tire suas dúvidas com a minha inteligência artificial! Minha base de conhecimento vai até 2021, por isso posso não trazer respostas precisas sobre pessoas, conceitos, lugares ou fatos históricos. Se isso acontecer, entre em contato com o mediador do curso para obter ajuda mais adequada.",
54
+ textbox=gr.Textbox(label="Campo de mensagem: Digite uma mensagem e depois tecle Enter para enviar"),
55
+ type="messages"
 
 
56
  )
57
 
58
+ if __name__ == "__main__":
59
+ demo.launch()