Update learning_hub/hub_manager.py

learning_hub/hub_manager.py

@@ -1,9 +1,11 @@
 # learning_hub/hub_manager.py
-# (محدث بالكامل - V3 - Whale Learning Loop)
+# (محدث بالكامل - V4 - Adaptive Hybrid Weights Support)
+
 import asyncio
 import traceback
 from typing import Any, Dict, List
 from datetime import datetime, timezone
+from collections import defaultdict
 
 # (استيراد جميع المكونات الداخلية للمركز)
 from .schemas import *
@@ -13,7 +15,7 @@ from .statistical_analyzer import StatisticalAnalyzer
 from .reflector import Reflector
 from .curator import Curator
 
-# 🔴 --- (جديد V3) استيراد لتحليل الارتباط --- 🔴
+# استيراد لتحليل الارتباط (Whale Learning)
 try:
     import numpy as np
     from scipy.stats import pearsonr
@@ -22,17 +24,16 @@ except ImportError:
     print("❌ [HubManager] مكتبة numpy أو scipy غير مثبتة! لن يعمل تعلم الحيتان.")
     NUMPY_AVAILABLE = False
 
-
 class LearningHubManager:
     def __init__(self, r2_service: Any, llm_service: Any, data_manager: Any):
-        print("🚀 Initializing Learning Hub Manager (V3)...")
+        print("🚀 Initializing Learning Hub Manager (V4 - Adaptive)...")
         
-        # 1. الخدمات الأساسية (يتم تمريرها من app.py)
+        # 1. الخدمات الأساسية
         self.r2_service = r2_service
         self.llm_service = llm_service
         self.data_manager = data_manager
 
-        # 2. تهيئة المكونات (بناء النظام)
+        # 2. تهيئة المكونات
         self.policy_engine = PolicyEngine()
         self.memory_store = MemoryStore(
             r2_service=self.r2_service, 
@@ -52,299 +53,168 @@ class LearningHubManager:
             data_manager=self.data_manager
         )
         
-        # 🔴 --- (جديد V3) متغيرات حالة لتعلم الحيتان --- 🔴
+        # متغيرات حالة لتعلم الحيتان
         self.whale_learning_lock = asyncio.Lock()
-        self.optimal_whale_config = {} # (الأوزان المتعلمة)
+        self.optimal_whale_config = {}
         
         self.initialized = False
         print("✅ Learning Hub Manager constructed. Ready for initialization.")
 
     async def initialize(self):
-        """
-        تهيئة جميع الأنظمة الفرعية، وخاصة تحميل الإحصائيات والأوزان.
-        """
-        if self.initialized:
-            return
-            
+        """تهيئة جميع الأنظمة الفرعية"""
+        if self.initialized: return
         print("🔄 [HubManager] Initializing all sub-modules...")
+        
+        # تهيئة المحلل الإحصائي (المسؤول عن الأوزان المتكيفة)
         await self.statistical_analyzer.initialize()
         
-        # 🔴 --- (جديد V3) تحميل إعدادات الحيتان المتعلمة --- 🔴
+        # تحميل إعدادات تعلم الحيتان
         if hasattr(self.r2_service, 'load_whale_learning_config_async'):
             self.optimal_whale_config = await self.r2_service.load_whale_learning_config_async()
             if self.optimal_whale_config:
-                print(f"✅ [HubManager] تم تحميل إعدادات تعلم الحيتان المثلى: {self.optimal_whale_config}")
-            else:
-                print("ℹ️ [HubManager] لم يتم العثور على إعدادات تعلم حيتان سابقة.")
+                print(f"✅ [HubManager] Loaded optimal whale config: {self.optimal_whale_config.get('best_metric', 'N/A')}")
         
         self.initialized = True
         print("✅ [HubManager] All sub-modules initialized. Learning Hub is LIVE.")
 
     async def analyze_trade_and_learn(self, trade_object: Dict[str, Any], close_reason: str):
-        """
-        هذه هي الدالة الرئيسية التي يستدعيها TradeManager.
-        إنها تشغل كلاً من نظام التعلم السريع (Reflector) والبطيء (StatsAnalyzer).
-        """
-        if not self.initialized:
-            print("⚠️ [HubManager] Learning Hub not initialized. Skipping learning.")
-            return
+        """الدالة الرئيسية للتعلم من الصفقات المغلقة"""
+        if not self.initialized: return
 
         print(f"🧠 [HubManager] Learning from trade {trade_object.get('symbol')}...")
 
+        # 1. التعلم السريع (Reflector)
         try:
-            # 1. التعلم السريع (Reflector):
             await self.reflector.analyze_trade_outcome(trade_object, close_reason)
         except Exception as e:
-            print(f"❌ [HubManager] Reflector (Fast-Learner) failed: {e}")
+            print(f"❌ [HubManager] Reflector failed: {e}")
 
+        # 2. التعلم البطيء وتكييف الأوزان (StatisticalAnalyzer)
         try:
-            # 2. التعلم البطيء (StatisticalAnalyzer):
             await self.statistical_analyzer.update_statistics(trade_object, close_reason)
         except Exception as e:
-            print(f"❌ [HubManager] StatisticalAnalyzer (Slow-Learner) failed: {e}")
+            print(f"❌ [HubManager] StatisticalAnalyzer failed: {e}")
             
         print(f"✅ [HubManager] Learning complete for {trade_object.get('symbol')}.")
-        
-    async def get_active_context_for_llm(self, domain: str, query: str) -> str:
+
+    async def get_optimized_weights(self, market_condition: str = None) -> Dict[str, Any]:
         """
-        يُستخدم بواسطة LLMService لجلب "الدفتر" (Playbook) / القواعد (Deltas).
+        جلب الأوزان المحسنة (بما في ذلك الأوزان الهجينة المتكيفة).
+        يستخدمها MLProcessor لتحديث معادلته الهجينة.
         """
         if not self.initialized:
-            return "Learning Hub not initialized."
-            
+             return await self.statistical_analyzer.get_default_strategy_weights()
+
+        # إرجاع قاموس الأوزان الكامل من المحلل الإحصائي
+        return self.statistical_analyzer.weights
+
+    # --- دوال مساعدة أخرى (للـ LLM وغيرها) ---
+    async def get_active_context_for_llm(self, domain: str, query: str) -> str:
+        if not self.initialized: return "Learning Hub not initialized."
         return await self.memory_store.get_active_context(domain, query)
         
     async def get_statistical_feedback_for_llm(self, entry_strategy: str) -> str:
-        """
-        يُستخدم بواسطة LLMService لجلب أفضل ملف خروج (إحصائياً).
-        """
-        if not self.initialized:
-            return "Learning Hub not initialized."
-
+        if not self.initialized: return "Learning Hub not initialized."
         best_profile = await self.statistical_analyzer.get_best_exit_profile(entry_strategy)
-        
         if best_profile != "unknown":
-            # (Prompt in English as requested)
-            feedback = f"Statistical Feedback: For the '{entry_strategy}' strategy, the '{best_profile}' exit profile has historically performed best."
-            return feedback
-        else:
-            return "No statistical feedback available for this strategy yet."
-            
-    # 🔴 --- START OF CHANGE (V2 - VADER Learning) --- 🔴
+            return f"Statistical Feedback: For '{entry_strategy}', '{best_profile}' exit profile performed best."
+        return "No statistical feedback available yet."
+
     async def get_statistical_news_score(self, raw_vader_score: float) -> float:
-        """
-        يحول درجة VADER الخام إلى متوسط الربح/الخسارة التاريخي المتوقع.
-        (يُستخدم بواسطة app.py / MLProcessor للترتيب الداخلي)
-        """
-        if not self.initialized:
-            return 0.0 # محايد
-            
-        # (جلب متوسط الربح/الخسارة الفعلي من المحلل الإحصائي)
-        historical_pnl = await self.statistical_analyzer.get_statistical_vader_pnl(raw_vader_score)
-        
-        # (إرجاع النسبة المئوية للربح/الخسارة مباشرة، مثلاً: 1.1 أو -0.5)
-        return historical_pnl
-    # 🔴 --- END OF CHANGE --- 🔴
+        if not self.initialized: return 0.0
+        return await self.statistical_analyzer.get_statistical_vader_pnl(raw_vader_score)
 
-    # 🔴 --- START OF CHANGE --- 🔴
-    async def get_optimized_weights(self, market_condition: str) -> Dict[str, float]:
-        """
-        يُستخدم بواسطة MLProcessor/StrategyEngine/Sentry لجلب الأوزان المعدلة إحصائياً.
-        """
-        if not self.initialized:
-            # (الحصول على كل الأوزان الافتراضية)
-            return await self.statistical_analyzer.get_default_strategy_weights()
-            
-        # (الحصول على كل الأوزان المحسنة)
-        return await self.statistical_analyzer.get_optimized_weights(market_condition)
-    # 🔴 --- END OF CHANGE --- 🔴
-        
     async def run_distillation_check(self):
-        """
-        (يتم استدعاؤها دورياً من app.py)
-        للتحقق من جميع المجالات وتشغيل التقطير إذا لزم الأمر.
-        """
-        if not self.initialized:
-            return
-            
-        print("ℹ️ [HubManager] Running periodic distillation check...")
+        """تشغيل دوري للتقطير (Curator)"""
+        if not self.initialized: return
+        # print("ℹ️ [HubManager] Running distillation check...")
         for domain in self.memory_store.domain_files.keys():
             await self.curator.check_and_distill_domain(domain)
-        print("✅ [HubManager] Distillation check complete.")
-        
-    # (No change to shutdown function)
+
     async def shutdown(self):
-        """
-        Saves all persistent data from the statistical analyzer.
-        """
-        if not self.initialized:
-            return
-            
-        print("🔄 [HubManager] Shutting down... Saving all learning data.")
+        """حفظ كل البيانات عند الإغلاق"""
+        if not self.initialized: return
+        print("🔄 [HubManager] Shutting down... Saving learning data.")
         try:
+            # المحلل الإحصائي يحفظ الأوزان المتكيفة وسجل الأداء
             await self.statistical_analyzer.save_weights_to_r2()
             await self.statistical_analyzer.save_performance_history()
             await self.statistical_analyzer.save_exit_profile_effectiveness()
-            # 🔴 --- START OF CHANGE (V2 - VADER Learning) --- 🔴
             await self.statistical_analyzer.save_vader_effectiveness()
-            # 🔴 --- END OF CHANGE --- 🔴
-            print("✅ [HubManager] All statistical (slow-learner) data saved.")
+            print("✅ [HubManager] Data saved successfully.")
         except Exception as e:
-            print(f"❌ [HubManager] Failed to save learning data on shutdown: {e}")
-
-    # 🔴 --- START OF CHANGE (V3 - Whale Learning Loop) --- 🔴
+            print(f"❌ [HubManager] Save failed: {e}")
 
+    # --- Whale Learning Loop (كما هي من V3) ---
     async def run_whale_learning_check(self):
-        """
-        (جديد V3 - "المُسجّل" Logger)
-        يعمل في الخلفية لإكمال سجلات تعلم الحيتان المعلقة.
-        """
-        if not self.initialized:
-            await asyncio.sleep(60) # انتظر حتى تتم التهيئة
-        
-        print(f"🧠 [Whale-Logger] بدء تشغيل حلقة تعلم الحيتان (المُسجّل)...")
-        
-        # (الانتظار 10 دقائق عند بدء التشغيل للسماح بجمع بعض البيانات)
+        if not self.initialized: await asyncio.sleep(60)
+        print(f"🧠 [Whale-Logger] Starting background learning loop...")
         await asyncio.sleep(600) 
-        
         while True:
             try:
-                # (1. جلب السجلات المعلقة)
-                pending_records = await self.r2_service.get_pending_whale_learning_records_async()
-                if not pending_records:
-                    # (لا توجد سجلات، انتظر 10 دقائق)
+                pending = await self.r2_service.get_pending_whale_learning_records_async()
+                if not pending:
                     await asyncio.sleep(600)
                     continue
 
-                print(f"🧠 [Whale-Logger] تم العثور على {len(pending_records)} سجل تعلم معلق. بدء المعالجة...")
                 now_utc = datetime.now(timezone.utc)
-                
-                for record in pending_records:
+                for record in pending:
                     try:
-                        target_time_utc = datetime.fromisoformat(record['target_time_utc'])
-                        
-                        # (2. التحقق من الوقت)
-                        if now_utc >= target_time_utc:
-                            print(f"   -> [Whale-Logger] معالجة سجل {record['symbol']} (ID: {record['record_id']})...")
-                            # (حان وقت جلب السعر المستقبلي)
+                        target_time = datetime.fromisoformat(record['target_time_utc'])
+                        if now_utc >= target_time:
                             symbol = record['symbol']
                             target_price = await self.data_manager.get_latest_price_async(symbol)
-                            
                             if target_price and target_price > 0 and record['start_price_usd'] > 0:
-                                # (3. حساب النتيجة)
-                                price_change_pct = ((target_price - record['start_price_usd']) / record['start_price_usd']) * 100
-                                
-                                record['target_price_usd'] = target_price
-                                record['price_change_percentage'] = price_change_pct
-                                record['status'] = "COMPLETED"
-                                
-                                # (4. تحديث السجل في R2)
+                                pct_change = ((target_price - record['start_price_usd']) / record['start_price_usd']) * 100
+                                record.update({'target_price_usd': target_price, 'price_change_percentage': pct_change, 'status': "COMPLETED"})
                                 await self.r2_service.update_completed_whale_learning_record_async(record)
-                            else:
-                                print(f"   ⚠️ [Whale-Logger] فشل جلب السعر المستقبلي لـ {symbol}. سيعاد المحاولة لاحقاً.")
-                        else:
-                            # (لم يحن الوقت بعد)
-                            pass
-                            
-                    except Exception as e_inner:
-                        print(f"❌ [Whale-Logger] فشل معالجة سجل فردي: {e_inner}")
+                    except Exception: pass
                 
-                # (تشغيل "المعلّم" بعد كل دورة تسجيل)
                 await self.update_optimal_whale_window()
-
-                # (الانتظار 5 دقائق قبل التحقق مرة أخرى)
                 await asyncio.sleep(300) 
-                
-            except Exception as e_outer:
-                print(f"❌ [Whale-Logger] خطأ فادح في حلقة تعلم الحيتان: {e_outer}")
-                traceback.print_exc()
-                await asyncio.sleep(600) # (انتظار 10 دقائق عند الفشل الفادح)
+            except Exception as e:
+                print(f"❌ [Whale-Logger] Error: {e}")
+                await asyncio.sleep(600)
 
     async def update_optimal_whale_window(self):
-        """
-        (جديد V3 - "المعلّم" Teacher)
-        يحلل جميع السجلات المكتملة ويجد أفضل "مقياس + نافذة" للارتباط.
-        """
-        if not NUMPY_AVAILABLE:
-            print("⚠️ [Whale-Teacher] لا يمكن تشغيل تحليل الارتباط (numpy/scipy مفقودة).")
-            return
-
+        if not NUMPY_AVAILABLE: return
         async with self.whale_learning_lock:
-            print("👨‍🏫 [Whale-Teacher] بدء تحليل الارتباط الإحصائي...")
             try:
-                # (1. جلب جميع السجلات المكتملة)
                 all_completed = await self.r2_service.get_all_completed_whale_records_async()
-                if len(all_completed) < 20: # (نحتاج 20 عينة على الأقل لبدء التعلم)
-                    print(f"👨‍🏫 [Whale-Teacher] نحتاج 20 سجل مكتمل على الأقل (الحالي: {len(all_completed)}). تخطي التحليل.")
-                    return
+                if len(all_completed) < 20: return
 
-                # (2. استخراج البيانات في مصفوفات Numpy)
                 price_changes = []
                 metrics_data = defaultdict(lambda: defaultdict(list))
-                
-                # (قائمة بجميع المقاييس التي نريد اختبارها)
                 windows = ['30m', '1h', '2h', '4h', '24h']
                 metric_keys = ['relative_net_flow_percent', 'transaction_density', 'net_flow_usd']
                 
-                for record in all_completed:
-                    if record.get('price_change_percentage') is None: continue
-                    
-                    price_changes.append(record['price_change_percentage'])
-                    analysis = record.get('window_analysis', {})
-                    
+                for r in all_completed:
+                    if r.get('price_change_percentage') is None: continue
+                    price_changes.append(r['price_change_percentage'])
+                    analysis = r.get('window_analysis', {})
                     for w in windows:
-                        window_data = analysis.get(w, {})
                         for k in metric_keys:
-                            metrics_data[w][k].append(window_data.get(k, 0.0))
+                            metrics_data[w][k].append(analysis.get(w, {}).get(k, 0.0))
 
-                price_changes_np = np.array(price_changes)
-                if len(price_changes_np) < 20:
-                     print("👨‍🏫 [Whale-Teacher] لا توجد بيانات كافية (NP) للارتباط.")
-                     return
+                price_np = np.array(price_changes)
+                best_corr = 0
+                best_key = None
 
-                # (3. حساب الارتباط)
-                correlation_results = {}
                 for w in windows:
                     for k in metric_keys:
                         metric_np = np.array(metrics_data[w][k])
-                        if len(metric_np) != len(price_changes_np): continue
-                        
-                        # (حساب ارتباط بيرسون)
-                        corr, p_value = pearsonr(metric_np, price_changes_np)
-                        
-                        if not np.isnan(corr) and p_value < 0.1: # (نهتم فقط بالارتباطات ذات الدلالة الإحصائية)
-                            correlation_results[f"{w}_{k}"] = abs(corr) # (نهتم بقوة الارتباط، بغض النظر عن الاتجاه)
-
-                if not correlation_results:
-                    print("👨‍🏫 [Whale-Teacher] لم يتم العثور على ارتباطات إحصائية ذات دلالة.")
-                    return
-
-                # (4. العثور على الفائز وحفظه)
-                best_metric_key = max(correlation_results, key=correlation_results.get)
-                best_correlation = correlation_results[best_metric_key]
-                
-                # (تقسيم المفتاح: '1h_relative_net_flow_percent')
-                best_window, best_metric = best_metric_key.split('_', 1)
-                
-                new_config = {
-                    "best_window": best_window,
-                    "best_metric": best_metric,
-                    "correlation_score": best_correlation,
-                    "total_samples": len(price_changes_np),
-                    "last_updated_utc": datetime.now(timezone.utc).isoformat()
-                }
-                
-                # (حفظ الإعدادات الجديدة ومشاركتها مع النظام)
-                self.optimal_whale_config = new_config
-                await self.r2_service.save_whale_learning_config_async(new_config)
-                
-                print(f"🏆 [Whale-Teacher] تم العثور على أفضل إشارة جديدة!")
-                print(f"   -> المقياس: {best_metric}")
-                print(f"   -> النافذة: {best_window}")
-                print(f"   -> الارتباط: {best_correlation:.4f} (على {len(price_changes_np)} عينة)")
+                        if len(metric_np) == len(price_np):
+                            corr, p_val = pearsonr(metric_np, price_np)
+                            if not np.isnan(corr) and p_val < 0.1 and abs(corr) > best_corr:
+                                best_corr = abs(corr)
+                                best_key = f"{w}_{k}"
+
+                if best_key:
+                    w, m = best_key.split('_', 1)
+                    new_config = {"best_window": w, "best_metric": m, "correlation_score": best_corr, "total_samples": len(price_np), "last_updated_utc": datetime.now(timezone.utc).isoformat()}
+                    self.optimal_whale_config = new_config
+                    await self.r2_service.save_whale_learning_config_async(new_config)
+                    print(f"🏆 [Whale-Teacher] New best signal: {m} on {w} (Corr: {best_corr:.2f})")
 
             except Exception as e:
-                print(f"❌ [Whale-Teacher] فشل تحليل الارتباط: {e}")
-                traceback.print_exc()
-                
-    # 🔴 --- END OF CHANGE --- 🔴
+                print(f"❌ [Whale-Teacher] Error: {e}")