Update app.py

app.py

@@ -2,18 +2,15 @@ import spaces
 import subprocess
 import gradio as gr
 from huggingface_hub import hf_hub_download
-from llama_cpp import Llama
-from llama_cpp_agent import LlamaCppAgent
-from llama_cpp_agent import MessagesFormatterType
-from llama_cpp_agent.providers import LlamaCppPythonProvider
 
-from llama_index.core.llms import ChatMessage, MessageRole
-from llama_index.llms.llama_cpp import LlamaCPP
-from llama_index.llms.llama_cpp.llama_utils import (
-    messages_to_prompt,
-    completion_to_prompt,
-)
-from llama_index.core.memory import ChatMemoryBuffer
+
+# from llama_index.core.llms import ChatMessage, MessageRole
+# from llama_index.llms.llama_cpp import LlamaCPP
+# from llama_index.llms.llama_cpp.llama_utils import (
+#     messages_to_prompt,
+#     completion_to_prompt,
+# )
+# from llama_index.core.memory import ChatMemoryBuffer
 
 subprocess.run('pip install llama-cpp-python==0.2.75 --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu124', shell=True)
 subprocess.run('pip install llama-cpp-agent', shell=True)
@@ -29,6 +26,11 @@ def respond(
     temperature,
     top_p,
 ):
+    from llama_cpp import Llama
+    from llama_cpp_agent import LlamaCppAgent
+    from llama_cpp_agent import MessagesFormatterType
+    from llama_cpp_agent.providers import LlamaCppPythonProvider
+    
     llama_model = Llama(r"models/mistral-7b-instruct-v0.2.Q6_K.gguf", n_batch=1024, n_threads=0, n_gpu_layers=33, n_ctx=8192, verbose=False)
 
     provider = LlamaCppPythonProvider(llama_model)