Update app.py

app.py

@@ -1,9 +1,8 @@
 import gradio as gr
 import requests
 import os
-import json  # json 모듈 임포트 추가
+import json
 
-# 환경 변수에서 Hugging Face API 토큰을 가져옵니다.
 ACCESS_TOKEN = os.getenv("HF_TOKEN")
 
 def respond(message, max_tokens=512, temperature=0.7, top_p=0.95):
@@ -15,19 +14,25 @@ def respond(message, max_tokens=512, temperature=0.7, top_p=0.95):
         "top_p": top_p
     }
 
-    # 외부 API로 요청을 보냄
+    # API 요청
     response = requests.post("http://hugpu.ai:7877/api/generate", json=data)
-    
-    # API 응답을 로그로 출력
-    print("API Response:", response.text)
-    
     try:
-        generated_text = response.json().get('generated_text', '')  # API 응답에서 텍스트 추출
+        # 개별 JSON 객체들을 분리하여 처리
+        responses = []
+        for obj in response.text.strip().split('\n'):
+            # 각 줄을 JSON으로 파싱
+            result = json.loads(obj)
+            if result.get("done", False):
+                break
+            responses.append(result.get('response', ''))
+        
+        # 결과 텍스트를 조합
+        generated_text = ''.join(responses)
     except json.JSONDecodeError as e:
         print("Failed to decode JSON from response:", e)
         generated_text = "An error occurred while processing your request."
-
-    return generated_text  # 생성된 텍스트 반환
+    
+    return generated_text
 
 demo = gr.Interface(
     fn=respond,