Update app.py

app.py

@@ -1,4 +1,4 @@
-# app.py (Fully updated to V8.1 - VADER News Scoring)
+# app.py (Fully updated to V8.2 - Statistical VADER Scoring)
 import os
 import traceback
 import signal
@@ -260,7 +260,7 @@ async def process_batch_parallel(batch, ml_processor, batch_num, total_batches,
 
 async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
     """
-    (معدل V8.1) - إضافة جلب الأخبار و VADER للـ Top 10
+    (معدل V8.2) - استخدام درجة الأخبار الإحصائية
     """
     layer1_candidates = []
     layer2_candidates = []
@@ -334,9 +334,10 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
                     success_item['layer1_score'] = l1_data.get('layer1_score', 0)
                 
                 success_item['whale_data'] = {'data_available': False, 'reason': 'Not fetched yet'}
-                # (V8.1) إضافة قيم افتراضية للأخبار
+                # (V8.2) إضافة قيم افتراضية للأخبار
                 success_item['news_text'] = ""
-                success_item['news_score'] = 0.0
+                success_item['news_score_raw'] = 0.0 # درجة VADER الخام
+                success_item['statistical_news_pnl'] = 0.0 # الدرجة المتعلمة
                 
                 layer2_candidates.append(success_item)
 
@@ -349,7 +350,7 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
         
         final_layer2_candidates = layer2_candidates[:target_count]
 
-        # 🔴 --- START OF CHANGE (V8.1) --- 🔴
+        # 🔴 --- START OF CHANGE (V8.2) --- 🔴
         print(f"\n🐋📰 Layer 1.4 (Optimized): Fetching Whale Data & News for top {len(final_layer2_candidates)} candidates...")
         
         # (دالة مساعدة لجلب الحيتان)
@@ -370,7 +371,7 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
             symbol = candidate.get('symbol', 'UNKNOWN')
             if not news_fetcher_global or not VADER_ANALYZER:
                 candidate['news_text'] = "News analysis disabled."
-                candidate['news_score'] = 0.0
+                candidate['news_score_raw'] = 0.0
                 return
 
             try:
@@ -378,20 +379,17 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
                 news_text = await news_fetcher_global.get_news_for_symbol(symbol)
                 candidate['news_text'] = news_text
                 
-                # 2. حساب درجة VADER
-                # (سيتم تمرير النص الكامل للـ LLM، ولكننا نستخدم الدرجة للترتيب الداخلي)
+                # 2. حساب درجة VADER الخام
                 if "No specific news found" in news_text or not news_text:
-                    candidate['news_score'] = 0.0 # محايد
+                    candidate['news_score_raw'] = 0.0 # محايد
                 else:
                     vader_score = VADER_ANALYZER.polarity_scores(news_text)
-                    candidate['news_score'] = vader_score.get('compound', 0.0) # النتيجة (-1 إلى +1)
+                    candidate['news_score_raw'] = vader_score.get('compound', 0.0) # النتيجة (-1 إلى +1)
                 
-                # print(f"   ✅ [News Fetch] {symbol} - Score: {candidate['news_score']:.2f}")
-
             except Exception as e:
                 print(f"   ❌ [News Fetch] {symbol} - Error: {e}")
                 candidate['news_text'] = f"Error fetching news: {e}"
-                candidate['news_score'] = 0.0
+                candidate['news_score_raw'] = 0.0
 
         # (تنفيذ المهام بالتوازي)
         tasks = []
@@ -402,18 +400,28 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
         await asyncio.gather(*tasks)
         print("   ✅ Whale data and News data fetched for top candidates.")
 
-        print("   🔄 Re-calculating enhanced scores with new Whale & News data...")
+        print("   🔄 Re-calculating enhanced scores with new Whale & Statistical News data...")
         for candidate in final_layer2_candidates:
             try:
-                # (هذه الدالة في processor.py تم تعديلها لتقبل news_score)
+                # (V8.2) جلب درجة VADER الخام
+                raw_vader_score = candidate.get('news_score_raw', 0.0)
+                
+                # (V8.2) جلب الربح/الخسارة الإحصائي المرتبط بهذه الدرجة من محور التعلم
+                if learning_hub_global:
+                    statistical_pnl = await learning_hub_global.get_statistical_news_score(raw_vader_score)
+                    candidate['statistical_news_pnl'] = statistical_pnl
+                else:
+                    candidate['statistical_news_pnl'] = 0.0 # (الوضع الآمن)
+                
+                # (هذه الدالة في processor.py تم تعديلها لتقبل statistical_news_pnl)
                 new_score = ml_processor._calculate_enhanced_final_score(candidate)
                 candidate['enhanced_final_score'] = new_score
             except Exception as e:
                 print(f"   ❌ [Score Recalc] {candidate.get('symbol')} - Error: {e}")
         
         final_layer2_candidates.sort(key=lambda x: x.get('enhanced_final_score', 0), reverse=True)
-        print("   ✅ Top scores updated (with News+Whale) and re-sorted.")
-        # 🔴 --- END OF CHANGE (V8.1) --- 🔴
+        print("   ✅ Top scores updated (with Stat. News + Whale) and re-sorted.")
+        # 🔴 --- END OF CHANGE (V8.2) --- 🔴
 
 
         print(f"\n🔬 Layer 1.5: Running Advanced MC (GARCH+LGBM) on top {len(final_layer2_candidates)} candidates...")
@@ -463,23 +471,9 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
 
                 candidate['sentiment_data'] = await data_manager_global.get_market_context_async()
 
-                # (V8.1) لا نحتاج لتمرير الأخبار هنا، لأن LLMService
-                # سيستخدم news_fetcher_global لجلبها بنفسه
-                # (تصحيح: llm_service_global.get_trading_decision لا يستخدم news_fetcher)
-                # (يجب أن نمرر الأخبار التي جلبناها)
-                
-                # (تعديل: الدالة في LLM.py تستقبل 'news_text' من الـ payload)
-                # (سير العمل الحالي في LLM.py يعتمد على NewsFetcher الداخلي)
-                
-                # --- (تصحيح المنطق V8.1) ---
-                # سنعتمد على NewsFetcher الداخلي في LLMService لضمان جلب أحدث الأخبار
-                # (لكن LLM.py الحالي لا يفعل ذلك، بل يتوقعها في الـ payload)
-                # (سنقوم بتعديل بسيط هنا لضمان تمريرها)
-                
-                # (سنستخدم الأخبار التي جلبناها بالفعل)
-                # (لا حاجة لاستدعاء llm_service_global.news_fetcher.get_news_for_symbol)
-                
-                llm_analysis = await llm_service_global.get_trading_decision(candidate) # (candidate يحتوي 'news_text')
+                # (V8.2) النموذج الضخم سيحصل على 'news_text' (النص الخام)
+                # ولن يرى 'statistical_news_pnl' (الدرجة المتعلمة)
+                llm_analysis = await llm_service_global.get_trading_decision(candidate) 
 
                 if llm_analysis and llm_analysis.get('action') in ['WATCH']:
                     strategy_to_watch = llm_analysis.get('strategy_to_watch', 'GENERIC')
@@ -550,7 +544,7 @@ async def run_3_layer_analysis_explorer() -> List[Dict[str, Any]]:
 
 
 async def re_analyze_open_trade_async(trade_data):
-    """(V8.1) التأكد من استخدام NewsFetcher المطور"""
+    """(V8.2) إضافة جلب الأخبار ودرجة VADER لـ Reflector"""
     symbol = trade_data.get('symbol')
     try:
         async with state_manager.trade_analysis_lock:
@@ -597,8 +591,25 @@ async def re_analyze_open_trade_async(trade_data):
             processed_data['ohlcv'] = processed_data['raw_ohlcv']
             processed_data['sentiment_data'] = market_context
             
-            # (V8.1) جلب الأخبار للتحليل (LLMService سيستخدم NewsFetcher الخاص به)
-            # (ملاحظة: LLM (19).py يستخدم self.news_fetcher الذي قمنا بتهيئته في initialize_services)
+            # 🔴 --- START OF CHANGE (V8.2) --- 🔴
+            # (جلب الأخبار ودرجة VADER الخام لتمريرها إلى Reflector لاحقاً)
+            if news_fetcher_global and VADER_ANALYZER:
+                try:
+                    news_text = await news_fetcher_global.get_news_for_symbol(symbol)
+                    processed_data['news_text'] = news_text
+                    
+                    vader_score = VADER_ANALYZER.polarity_scores(news_text)
+                    processed_data['news_score'] = vader_score.get('compound', 0.0)
+                except Exception as e:
+                    print(f"   ❌ [Re-Analyze News] {symbol} - Error: {e}")
+                    processed_data['news_text'] = "News analysis failed."
+                    processed_data['news_score'] = 0.0
+            else:
+                processed_data['news_text'] = "News analysis disabled."
+                processed_data['news_score'] = 0.0
+            # 🔴 --- END OF CHANGE --- 🔴
+
+            # (LLMService سيستخدم NewsFetcher الخاص به لجلب أحدث الأخبار لتحليلها)
             re_analysis_decision = await llm_service_global.re_analyze_trade_async(trade_data, processed_data)
 
             if re_analysis_decision: