v 0.1

- добавлен llama-index

app.py

@@ -1,6 +1,7 @@
 import logging
 
 from fastapi import FastAPI
+from llama_index.core.memory import ChatMemoryBuffer
 from llama_index.llms.llama_cpp import LlamaCPP
 from transformers import AutoTokenizer
 from llama_index.core import set_global_tokenizer
@@ -72,8 +73,19 @@ llm = LlamaCPP(
     verbose=True,
 )
 
+memory = ChatMemoryBuffer.from_defaults(token_limit=3900)
 index = VectorStoreIndex.from_documents(documents, embed_model=embed_model)
-query_engine = index.as_query_engine(llm=llm)
+chat_engine = index.as_chat_engine(
+    chat_mode="condense_plus_context",
+    memory=memory,
+    llm=llm,
+    context_propt=(
+        "Вы - чат-бот, способный нормально взаимодействовать.\n"
+        "Вот соответствующие документы для данного контекста:\n"
+        "{context_str}"
+        "\nInstruction: Используйте предыдущую историю чата или приведенный выше контекст, чтобы взаимодействовать с пользователем и помогать ему."
+    )
+)
 
 def generate_response(completion_response):
     try:
@@ -101,7 +113,7 @@ async def predict(text: str):
     logger.info('ЗАПРОС:')
     logger.info(text)
     # response = llm.complete(text)
-    response = query_engine.query(text)
+    response = chat_engine.chat(text)
     logger.info('ОТВЕТ:')
     logger.info(response)
     # text_response = generate_response(response)