Create app.py

app.py

@@ -0,0 +1,221 @@
+import gradio as gr
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+import warnings
+warnings.filterwarnings("ignore")
+
+# Model ve tokenizer'ı global olarak tanımla
+model = None
+tokenizer = None
+
+def load_model():
+    """Modeli yükle"""
+    global model, tokenizer
+    
+    model_name = "Intelligent-Internet/II-Medical-8B"
+    
+    try:
+        # Tokenizer'ı yükle
+        tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+        
+        # GPU kullanılabilir mi kontrol et
+        device = "cuda" if torch.cuda.is_available() else "cpu"
+        
+        if device == "cuda":
+            # 4-bit quantization kullanarak modeli yükle (GPU bellek kullanımını azaltmak için)
+            quantization_config = BitsAndBytesConfig(
+                load_in_4bit=True,
+                bnb_4bit_compute_dtype=torch.float16,
+                bnb_4bit_use_double_quant=True,
+                bnb_4bit_quant_type="nf4"
+            )
+            
+            model = AutoModelForCausalLM.from_pretrained(
+                model_name,
+                quantization_config=quantization_config,
+                device_map="auto",
+                trust_remote_code=True,
+                torch_dtype=torch.float16
+            )
+        else:
+            # CPU için daha hafif yükleme
+            model = AutoModelForCausalLM.from_pretrained(
+                model_name,
+                trust_remote_code=True,
+                torch_dtype=torch.float32,
+                device_map="cpu"
+            )
+        
+        return f"✅ Model başarıyla yüklendi! ({device} üzerinde çalışıyor)"
+    
+    except Exception as e:
+        return f"❌ Model yükleme hatası: {str(e)}"
+
+def generate_response(message, history, max_tokens=512, temperature=0.7, top_p=0.9):
+    """Tıbbi sohbet için yanıt üret"""
+    global model, tokenizer
+    
+    if model is None or tokenizer is None:
+        return "❌ Model henüz yüklenmedi. Lütfen bekleyin..."
+    
+    try:
+        # Sohbet geçmişini formatla
+        conversation = ""
+        for human, assistant in history:
+            conversation += f"Hasta: {human}\nDoktor: {assistant}\n"
+        
+        # Mevcut mesajı ekle
+        conversation += f"Hasta: {message}\nDoktor:"
+        
+        # System prompt ekle
+        system_prompt = """Sen deneyimli bir tıp doktorusun. Hastalara yardımcı olmak, tıbbi sorularını yanıtlamak ve genel sağlık tavsiyeleri vermek için buradaSın. Her zaman:
+1. Empati göster ve sabırlı ol
+2. Karmaşık tıbbi terimleri basit dille açıkla
+3. Acil durumlar için hemen doktora başvurmasını öner
+4. Kesin tanı koymak yerine genel bilgiler ver
+5. Her zaman profesyonel bir doktor muayenesinin önemini vurgula
+
+Lütfen yardımcı ve bilgilendirici bir yanıt ver."""
+        
+        full_prompt = f"{system_prompt}\n\n{conversation}"
+        
+        # Tokenize et
+        inputs = tokenizer.encode(full_prompt, return_tensors="pt")
+        
+        # Cihaza gönder
+        device = next(model.parameters()).device
+        inputs = inputs.to(device)
+        
+        # Yanıt üret
+        with torch.no_grad():
+            outputs = model.generate(
+                inputs,
+                max_new_tokens=max_tokens,
+                temperature=temperature,
+                top_p=top_p,
+                do_sample=True,
+                pad_token_id=tokenizer.eos_token_id,
+                repetition_penalty=1.1
+            )
+        
+        # Yanıtı decode et
+        response = tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True)
+        
+        # Yanıtı temizle
+        response = response.strip()
+        if response.startswith("Doktor:"):
+            response = response[7:].strip()
+        
+        return response
+    
+    except Exception as e:
+        return f"❌ Yanıt üretme hatası: {str(e)}"
+
+def clear_chat():
+    """Sohbeti temizle"""
+    return [], ""
+
+# Model yükleme durumu
+model_status = load_model()
+
+# Gradio arayüzü oluştur
+with gr.Blocks(title="🏥 Tıbbi Asistan - II-Medical-8B", theme=gr.themes.Soft()) as demo:
+    gr.Markdown("""
+    # 🏥 Tıbbi Asistan - II-Medical-8B
+    
+    Bu AI asistan, **II-Medical-8B** modeli kullanılarak geliştirilmiştir. Tıbbi sorularınızı sorabilir ve genel sağlık tavsiyeleri alabilirsiniz.
+    
+    ⚠️ **Önemli Uyarı:** Bu asistan gerçek bir doktor değildir. Verilen bilgiler sadece genel amaçlıdır ve profesyonel tıbbi muayenenin yerini tutmaz.
+    """)
+    
+    # Model durumu gösterge
+    status_display = gr.Markdown(f"**Model Durumu:** {model_status}")
+    
+    with gr.Row():
+        with gr.Column(scale=3):
+            chatbot = gr.Chatbot(
+                label="🩺 Tıbbi Sohbet",
+                height=500,
+                show_copy_button=True
+            )
+            
+            with gr.Row():
+                msg = gr.Textbox(
+                    placeholder="Tıbbi sorunuzu buraya yazın... (örn: 'Baş ağrım var, ne yapmalıyım?')",
+                    label="Mesajınız",
+                    scale=4
+                )
+                send_btn = gr.Button("📨 Gönder", variant="primary", scale=1)
+            
+            with gr.Row():
+                clear_btn = gr.Button("🗑️ Sohbeti Temizle", variant="secondary")
+                retry_btn = gr.Button("🔄 Tekrar Dene", variant="secondary")
+        
+        with gr.Column(scale=1):
+            gr.Markdown("### ⚙️ Ayarlar")
+            
+            max_tokens = gr.Slider(
+                minimum=100,
+                maximum=1000,
+                value=512,
+                step=50,
+                label="Maksimum Token Sayısı"
+            )
+            
+            temperature = gr.Slider(
+                minimum=0.1,
+                maximum=1.5,
+                value=0.7,
+                step=0.1,
+                label="Temperature (Yaratıcılık)"
+            )
+            
+            top_p = gr.Slider(
+                minimum=0.1,
+                maximum=1.0,
+                value=0.9,
+                step=0.05,
+                label="Top-p (Odaklanma)"
+            )
+            
+            gr.Markdown("""
+            ### 📋 Örnek Sorular
+            - "Baş ağrım var, ne yapmalıyım?"
+            - "Grip belirtileri nelerdir?"
+            - "Sağlıklı beslenme için öneriler"
+            - "Egzersiz yaparken dikkat edilecekler"
+            - "Stres yönetimi teknikleri"
+            """)
+    
+    # Event handlers
+    def respond(message, history, max_tokens, temperature, top_p):
+        if not message.strip():
+            return history, ""
+        
+        bot_message = generate_response(message, history, max_tokens, temperature, top_p)
+        history.append((message, bot_message))
+        return history, ""
+    
+    # Mesaj gönderme
+    msg.submit(respond, [msg, chatbot, max_tokens, temperature, top_p], [chatbot, msg])
+    send_btn.click(respond, [msg, chatbot, max_tokens, temperature, top_p], [chatbot, msg])
+    
+    # Sohbeti temizle
+    clear_btn.click(clear_chat, [], [chatbot, msg])
+    
+    # Tekrar dene
+    def retry_last():
+        return chatbot.value[:-1] if chatbot.value else [], ""
+    
+    retry_btn.click(retry_last, [], [chatbot, msg])
+    
+    gr.Markdown("""
+    ---
+    **⚠️ Feragatname:** Bu AI asistan eğitim ve bilgi amaçlıdır. Acil durumlarda 112'yi arayın. 
+    Herhangi bir sağlık sorunu için mutlaka nitelikli bir sağlık profesyoneline başvurun.
+    
+    **Model:** [II-Medical-8B](https://huggingface.co/Intelligent-Internet/II-Medical-8B) | **Geliştirici:** [Intelligent-Internet](https://huggingface.co/Intelligent-Internet)
+    """)
+
+if __name__ == "__main__":
+    demo.launch()