Update data_manager.py

data_manager.py

@@ -199,7 +199,6 @@ class DataManager:
                 sentiment_task = asyncio.wait_for(self.get_sentiment_safe_async(), timeout=10)
                 price_task = asyncio.wait_for(self._get_prices_with_fallback(), timeout=15)
                 
-                # ❌ إزالة مهمة الحيتان العامة
                 results = await asyncio.gather(sentiment_task, price_task, return_exceptions=True)
                 
                 sentiment_data = results[0] if not isinstance(results[0], Exception) else None
@@ -217,7 +216,6 @@ class DataManager:
 
                 market_trend = self._determine_market_trend(bitcoin_price, sentiment_data)
                 
-                # ❌ إزالة تحليل إشارات التداول المعتمدة على الحيتان العامة
                 trading_decision = self._analyze_market_trading_signals(sentiment_data)
                 
                 market_context = {
@@ -226,7 +224,6 @@ class DataManager:
                     'ethereum_price_usd': ethereum_price,
                     'fear_and_greed_index': sentiment_data.get('feargreed_value') if sentiment_data else None,
                     'sentiment_class': sentiment_data.get('feargreed_class') if sentiment_data else 'UNKNOWN',
-                    # ❌ إزالة بيانات الحيتان العامة
                     'general_whale_activity': {
                         'data_available': False,
                         'description': 'نظام الحيتان العام معطل - يركز النظام على تحليل الحيتان للعملات المرشحة فقط',
@@ -240,11 +237,11 @@ class DataManager:
                     'data_sources': {
                         'prices': bitcoin_price is not None and ethereum_price is not None,
                         'sentiment': sentiment_data is not None,
-                        'general_whale_data': False,  # ❌ دائماً false
-                        'netflow_analysis': 'DISABLED'  # ❌ معطل
+                        'general_whale_data': False,
+                        'netflow_analysis': 'DISABLED'
                     },
                     'data_quality': 'HIGH',
-                    'risk_assessment': self._assess_market_risk(sentiment_data)  # ❌ إزالة الحيتان
+                    'risk_assessment': self._assess_market_risk(sentiment_data)
                 }
                 
                 return market_context
@@ -257,7 +254,7 @@ class DataManager:
         return self._get_minimal_market_context()
 
     def _analyze_market_trading_signals(self, sentiment_data):
-        """تحليل إشارات التداول بناءً على مشاعر السوق فقط (بدون حيتان عامة)"""
+        """تحليل إشارات التداول بناءً على مشاعر السوق فقط"""
         if not sentiment_data:
             return {
                 'action': 'HOLD',
@@ -292,7 +289,7 @@ class DataManager:
             }
 
     def _assess_market_risk(self, sentiment_data):
-        """تقييم مخاطر السوق بناءً على المشاعر فقط (بدون حيتان)"""
+        """تقييم مخاطر السوق بناءً على المشاعر فقط"""
         risk_factors = []
         risk_score = 0
         
@@ -472,7 +469,6 @@ class DataManager:
             'last_market_load': self.last_market_load.isoformat() if self.last_market_load else None
         }
         
-        # ❌ إزالة إحصائيات API للحيتان العامة
         stats['api_usage'] = {
             'note': 'نظام الحيتان العام معطل - يتم تحليل الحيتان للعملات المرشحة فقط'
         }
@@ -480,7 +476,7 @@ class DataManager:
         return stats
 
     async def get_symbol_specific_whale_data(self, symbol, contract_address=None):
-        """جلب بيانات الحيتان الخاصة برمز معين (للمرشحين النهائيين فقط)"""
+        """جلب بيانات الحيتان الخاصة برمز معين"""
         if hasattr(self.whale_monitor, 'get_symbol_whale_activity'):
             return await self.whale_monitor.get_symbol_whale_activity(symbol, contract_address)
         else:
@@ -503,6 +499,14 @@ class DataManager:
             }
 
     async def _calculate_technical_score(self, symbol, ohlcv_data):
+        """
+        حساب درجة تقنية شاملة تعتمد على:
+        - الزخم السعري (قصير ومتوسط المدى)
+        - السيولة والحجم
+        - قوة الاتجاه
+        - التقلب
+        - الزخم الحجمي
+        """
         try:
             if not ohlcv_data or '1h' not in ohlcv_data:
                 return 0.0
@@ -515,14 +519,78 @@ class DataManager:
             volumes = np.array([candle[5] for candle in hourly_data])
             highs = np.array([candle[2] for candle in hourly_data])
             lows = np.array([candle[3] for candle in hourly_data])
+            opens = np.array([candle[1] for candle in hourly_data])
             
-            avg_volume = np.mean(volumes[-50:]) * np.mean(closes[-50:])
-            liquidity_score = min(avg_volume / 1000000, 1.0)
+            current_price = closes[-1]
+            
+            # 1. تقييم الزخم السعري (Momentum) - الوزن الأكبر
+            momentum_score = 0.0
             
-            recent_volume = np.mean(volumes[-10:])
+            # زخم قصير المدى (1-4 ساعات)
+            if len(closes) >= 5:
+                price_change_1h = ((closes[-1] - closes[-2]) / closes[-2]) * 100
+                price_change_4h = ((closes[-1] - closes[-5]) / closes[-5]) * 100
+                
+                # نفضل الزخم الإيجابي المعتدل (2%-10%)
+                if 2 <= price_change_1h <= 10:
+                    momentum_score += 0.3
+                elif 2 <= price_change_4h <= 15:
+                    momentum_score += 0.2
+                
+                # زخم متوسط المدى (12-24 ساعة)
+                if len(closes) >= 25:
+                    price_change_12h = ((closes[-1] - closes[-13]) / closes[-13]) * 100
+                    price_change_24h = ((closes[-1] - closes[-25]) / closes[-25]) * 100
+                    
+                    if 5 <= price_change_12h <= 20:
+                        momentum_score += 0.2
+                    if 8 <= price_change_24h <= 25:
+                        momentum_score += 0.2
+            
+            # 2. تقييم السيولة والحجم (Liquidity & Volume)
+            liquidity_score = 0.0
+            
+            # متوسط الحجم بالدولار
+            avg_dollar_volume = np.mean(volumes[-50:]) * np.mean(closes[-50:])
+            if avg_dollar_volume > 1000000:  # أكثر من 1 مليون دولار
+                liquidity_score += 0.4
+            elif avg_dollar_volume > 500000:  # أكثر من 500 ألف دولار
+                liquidity_score += 0.3
+            elif avg_dollar_volume > 100000:  # أكثر من 100 ألف دولار
+                liquidity_score += 0.2
+            
+            # نسبة الحجم الحديث إلى المتوسط
+            recent_volume = np.mean(volumes[-6:])  # آخر 6 ساعات
             avg_volume_50 = np.mean(volumes[-50:])
             volume_ratio = recent_volume / avg_volume_50 if avg_volume_50 > 0 else 1.0
-            volume_score = min(volume_ratio / 3.0, 1.0)
+            
+            if volume_ratio > 1.5:  # حجم مرتفع حديثاً
+                liquidity_score += 0.3
+            elif volume_ratio > 1.2:
+                liquidity_score += 0.2
+            
+            # 3. تقييم قوة الاتجاه (Trend Strength)
+            trend_score = 0.0
+            
+            if len(closes) >= 20:
+                # المتوسطات المتحركة
+                ma_short = np.mean(closes[-5:])   # 5 ساعات
+                ma_medium = np.mean(closes[-13:]) # 13 ساعة
+                ma_long = np.mean(closes[-21:])   # 21 ساعة
+                
+                # تأكيد الاتجاه (جميع المتوسطات في نفس الاتجاه)
+                if ma_short > ma_medium > ma_long:
+                    trend_score += 0.4  # اتجاه صاعد قوي
+                elif ma_short < ma_medium < ma_long:
+                    trend_score += 0.2  # اتجاه هابط
+                
+                # قوة الاتجاه (المسافة بين المتوسطات)
+                trend_strength = (ma_short - ma_long) / ma_long * 100
+                if abs(trend_strength) > 3:  # اتجاه قوي (>3%)
+                    trend_score += 0.2
+            
+            # 4. تقييم التقلب (Volatility) - نفضل التقلب المعتدل
+            volatility_score = 0.0
             
             true_ranges = []
             for i in range(1, len(hourly_data)):
@@ -532,33 +600,91 @@ class DataManager:
                 tr3 = abs(low - prev_close)
                 true_ranges.append(max(tr1, tr2, tr3))
             
-            atr = np.mean(true_ranges[-14:]) if true_ranges else 0
-            current_price = closes[-1]
-            volatility_score = min((atr / current_price) * 100 / 10, 1.0)
+            if true_ranges:
+                atr = np.mean(true_ranges[-14:])
+                atr_percent = (atr / current_price) * 100
+                
+                # نفضل التقلب بين 2% و 8% (فرص تداول جيدة)
+                if 2 <= atr_percent <= 8:
+                    volatility_score = 0.3
+                elif atr_percent > 8:
+                    volatility_score = 0.1  # تقلب عالي خطير
+                else:
+                    volatility_score = 0.1  # تقلب منخفض قليل الفرص
+            
+            # 5. تقييم الزخم الحجمي (Volume Momentum)
+            volume_momentum_score = 0.0
             
-            price_change_1h = ((closes[-1] - closes[-2]) / closes[-2]) * 100 if len(closes) > 1 else 0
-            price_change_4h = ((closes[-1] - closes[-5]) / closes[-5]) * 100 if len(closes) > 5 else 0
-            price_change_24h = ((closes[-1] - closes[-24]) / closes[-24]) * 100 if len(closes) > 24 else 0
+            if len(volumes) >= 10:
+                # تسارع الحجم (الحجم الأخير vs المتوسط)
+                volume_acceleration = (volumes[-1] - np.mean(volumes[-10:])) / np.mean(volumes[-10:])
+                if volume_acceleration > 0.5:  # زيادة حجم بنسبة 50%
+                    volume_momentum_score = 0.2
+                
+                # استمرارية الحجم المرتفع
+                above_avg_volume_count = sum(1 for vol in volumes[-5:] if vol > np.mean(volumes[-20:]))
+                if above_avg_volume_count >= 3:  # 3 من آخر 5 ساعات فوق المتوسط
+                    volume_momentum_score += 0.2
+            
+            # 6. تقييم كفاءة الحركة (Price Efficiency)
+            efficiency_score = 0.0
             
-            momentum_score = (abs(price_change_1h) + abs(price_change_4h) + abs(price_change_24h)) / 30
-            momentum_score = min(momentum_score, 1.0)
+            if len(closes) >= 20:
+                # نسبة الشموع الخضراء
+                green_candles = sum(1 for i in range(1, len(closes)) if closes[i] > opens[i])
+                total_candles = len(closes) - 1
+                green_ratio = green_candles / total_candles if total_candles > 0 else 0
+                
+                if 0.4 <= green_ratio <= 0.7:  # توازن صحي
+                    efficiency_score = 0.2
+                
+                # قوة الشموع (متوسط طول الجسم)
+                candle_bodies = [abs(closes[i] - opens[i]) for i in range(len(closes))]
+                avg_body = np.mean(candle_bodies)
+                body_ratio = avg_body / current_price * 100
+                
+                if 0.5 <= body_ratio <= 2:  # شموع ذات أحجام معقولة
+                    efficiency_score += 0.2
+            
+            # الحساب النهائي مع الأوزان
+            weights = {
+                'momentum': 0.30,      # الزخم السعري
+                'liquidity': 0.25,     # السيولة والحجم
+                'trend': 0.20,         # قوة الاتجاه
+                'volatility': 0.10,    # التقلب
+                'volume_momentum': 0.10, # الزخم الحجمي
+                'efficiency': 0.05     # كفاءة الحركة
+            }
             
             final_score = (
-                liquidity_score * 0.3 +
-                volume_score * 0.25 +
-                volatility_score * 0.2 +
-                momentum_score * 0.25
+                momentum_score * weights['momentum'] +
+                liquidity_score * weights['liquidity'] +
+                trend_score * weights['trend'] +
+                volatility_score * weights['volatility'] +
+                volume_momentum_score * weights['volume_momentum'] +
+                efficiency_score * weights['efficiency']
             )
             
-            return final_score
+            # معامل تصحيح إضافي للرموز ذات الزخم القوي
+            if momentum_score > 0.6 and volume_ratio > 1.8:
+                final_score = min(final_score * 1.2, 1.0)
+            
+            return min(final_score, 1.0)
             
         except Exception as e:
             print(f"❌ خطأ في حساب الدرجة التقنية لـ {symbol}: {e}")
             return 0.0
 
     async def find_high_potential_candidates(self, count=20):
+        """
+        البحث عن عملات ذات إمكانات عالية بناءً على:
+        - الزخم السعري القوي والمستدام
+        - السيولة الجيدة (أحجام تداول عالية)
+        - اتجاهات تقنية واضحة
+        - مؤشرات حجم داعمة
+        """
         try:
-            print(f"🔍 البحث عن {count} رمز ذو إمكانات عالية بناءً على المؤشرات التقنية...")
+            print(f"🔍 البحث عن {count} عملة ذات إمكانات عالية بناءً على الزخم والسيولة...")
             
             if not self.exchange:
                 print("❌ لا يوجد اتصال بـ KuCoin")
@@ -567,6 +693,7 @@ class DataManager:
             if not self.market_cache or not self.last_market_load or (datetime.now() - self.last_market_load).total_seconds() > 3600:
                 await self._load_markets()
 
+            # الحصول على جميع الرموز النشطة مع USDT
             usdt_symbols = [
                 symbol for symbol in self.market_cache.keys() 
                 if symbol.endswith('/USDT') and self.market_cache[symbol].get('active', False)
@@ -574,63 +701,215 @@ class DataManager:
             
             print(f"✅ تم العثور على {len(usdt_symbols)} رمز USDT نشط في KuCoin")
             
+            # المرحلة 1: الفحص السريع بناءً على بيانات Ticker
+            print("📊 المرحلة 1: الفحص السريع بناءً على أحجام التداول والزخم...")
+            initial_candidates = []
+            
+            for i, symbol in enumerate(usdt_symbols):
+                try:
+                    # الحصول على بيانات التداول الأساسية
+                    ticker = await self.exchange.fetch_ticker(symbol)
+                    if not ticker:
+                        continue
+                    
+                    volume_24h = ticker.get('baseVolume', 0)
+                    price_change_24h = ticker.get('percentage', 0)
+                    current_price = ticker.get('last', 0)
+                    
+                    # معايير الفحص الأولي:
+                    # - حجم تداول > 100,000 دولار
+                    # - تغير سعري > 1% (إيجابي أو سلبي)
+                    # - سعر بين 0.001 و 500 دولار (تجنب العملات منخفضة/مرتفعة السعر جداً)
+                    if (volume_24h * current_price > 100000 and  # حجم بالدولار
+                        abs(price_change_24h) > 1.0 and          # زخم سعري
+                        0.001 <= current_price <= 500):          # نطاق سعري معقول
+                        
+                        reasons = []
+                        if price_change_24h > 5:
+                            reasons.append('strong_positive_momentum')
+                        elif price_change_24h > 2:
+                            reasons.append('positive_momentum')
+                        
+                        if volume_24h * current_price > 1000000:
+                            reasons.append('high_liquidity')
+                        elif volume_24h * current_price > 500000:
+                            reasons.append('good_liquidity')
+                        
+                        initial_candidates.append({
+                            'symbol': symbol,
+                            'volume_24h': volume_24h,
+                            'dollar_volume': volume_24h * current_price,
+                            'price_change_24h': price_change_24h,
+                            'current_price': current_price,
+                            'reasons': reasons
+                        })
+                    
+                    # عرض التقدم كل 100 رمز
+                    if i % 100 == 0 and i > 0:
+                        print(f"   🔍 تم فحص {i} رمز، وجدنا {len(initial_candidates)} مرشح أولي")
+                        
+                except Exception as e:
+                    if "rate limit" not in str(e).lower():
+                        continue
+            
+            print(f"✅ انتهت المرحلة 1: تم اختيار {len(initial_candidates)} مرشح أولي")
+            
+            # إذا لم نجد مرشحين كافيين، نخفف المعايير
+            if len(initial_candidates) < count * 2:
+                print("⚠️ عدد المرشحين قليل، نخفف معايير الفحص...")
+                for symbol in usdt_symbols:
+                    if len(initial_candidates) >= count * 3:
+                        break
+                    
+                    if symbol in [c['symbol'] for c in initial_candidates]:
+                        continue
+                    
+                    try:
+                        ticker = await self.exchange.fetch_ticker(symbol)
+                        if not ticker:
+                            continue
+                        
+                        volume_24h = ticker.get('baseVolume', 0)
+                        price_change_24h = ticker.get('percentage', 0)
+                        current_price = ticker.get('last', 0)
+                        
+                        # معايير مخففة
+                        if (volume_24h * current_price > 50000 and  # حجم بالدولار
+                            abs(price_change_24h) > 0.5 and         # زخم سعري
+                            0.0005 <= current_price <= 1000):       # نطاق سعري أوسع
+                            
+                            reasons = ['relaxed_criteria']
+                            if price_change_24h > 0:
+                                reasons.append('positive_trend')
+                            
+                            initial_candidates.append({
+                                'symbol': symbol,
+                                'volume_24h': volume_24h,
+                                'dollar_volume': volume_24h * current_price,
+                                'price_change_24h': price_change_24h,
+                                'current_price': current_price,
+                                'reasons': reasons
+                            })
+                            
+                    except Exception:
+                        continue
+            
+            print(f"📊 بعد التخفيف: {len(initial_candidates)} مرشح")
+            
+            # المرحلة 2: التحليل التقني المتعمق
+            print("📈 المرحلة 2: التحليل التقني المتعمق للمرشحين...")
             candidates_with_scores = []
             analyzed_count = 0
             
-            for symbol in usdt_symbols[:100]:
+            # نرتب المرشحين بحجم التداول (الأكبر أولاً)
+            initial_candidates.sort(key=lambda x: x['dollar_volume'], reverse=True)
+            
+            for candidate in initial_candidates[:100]:  # نأخذ أفضل 100 من حيث الحجم
                 try:
+                    symbol = candidate['symbol']
                     analyzed_count += 1
+                    
                     if analyzed_count % 10 == 0:
-                        print(f"📊 تم تحليل {analyzed_count} رمز من أصل {min(100, len(usdt_symbols))}")
+                        print(f"   🔍 تحليل تقني {analyzed_count} من {min(100, len(initial_candidates))}")
                     
-                    ohlcv_1h = await self.exchange.fetch_ohlcv(symbol, '1h', limit=50)
+                    # جلب بيانات OHLCV للتحليل التقني
+                    ohlcv_1h = await self.exchange.fetch_ohlcv(symbol, '1h', limit=100)
                     
-                    if not ohlcv_1h or len(ohlcv_1h) < 20:
+                    if not ohlcv_1h or len(ohlcv_1h) < 50:
                         continue
                     
                     ohlcv_data = {'1h': ohlcv_1h}
                     
+                    # حساب الدرجة التقنية الشاملة
                     technical_score = await self._calculate_technical_score(symbol, ohlcv_data)
                     
-                    if technical_score > 0.3:
-                        ticker = await self.exchange.fetch_ticker(symbol)
+                    if technical_score > 0.3:  # عتبة مقبولة للجودة
+                        # تحديث أسباب الترشيح بناءً على التحليل التقني
+                        reasons = candidate['reasons']
                         
-                        reasons = []
                         if technical_score > 0.7:
-                            reasons.append('high_technical_score')
-                        if ticker.get('baseVolume', 0) > 1000000:
+                            reasons.append('excellent_technical_score')
+                        elif technical_score > 0.5:
+                            reasons.append('good_technical_score')
+                        
+                        # إضافة أسباب تقنية
+                        if candidate['price_change_24h'] > 8:
+                            reasons.append('strong_daily_momentum')
+                        elif candidate['price_change_24h'] > 3:
+                            reasons.append('moderate_daily_momentum')
+                        
+                        if candidate['dollar_volume'] > 2000000:
+                            reasons.append('very_high_liquidity')
+                        elif candidate['dollar_volume'] > 500000:
                             reasons.append('high_liquidity')
-                        if abs(ticker.get('percentage', 0)) > 5:
-                            reasons.append('significant_momentum')
                         
                         candidates_with_scores.append({
                             'symbol': symbol,
                             'technical_score': technical_score,
                             'reasons': reasons,
-                            'volume': ticker.get('baseVolume', 0),
-                            'price_change': ticker.get('percentage', 0),
-                            'current_price': ticker.get('last', 0)
+                            'volume': candidate['volume_24h'],
+                            'dollar_volume': candidate['dollar_volume'],
+                            'price_change': candidate['price_change_24h'],
+                            'current_price': candidate['current_price'],
+                            'market_cap_category': self._classify_market_cap(candidate['dollar_volume'])
                         })
                     
                 except Exception as e:
                     if "rate limit" not in str(e).lower():
-                        print(f"⚠️ خطأ في تحليل الرمز {symbol}: {e}")
+                        print(f"⚠️ خطأ في التحليل التقني للرمز {symbol}: {e}")
                     continue
             
+            print(f"✅ انتهت المرحلة 2: {len(candidates_with_scores)} مرشح اجتازوا التحليل التقني")
+            
+            # المرحلة 3: الاختيار النهائي مع التنوع
+            if not candidates_with_scores:
+                print("❌ لم يتم العثور على أي مرشح يلبي المعايير")
+                return []
+            
+            # ترتيب المرشحين حسب الدرجة التقنية
             candidates_with_scores.sort(key=lambda x: x['technical_score'], reverse=True)
-            top_candidates = candidates_with_scores[:count]
             
-            print(f"✅ تم العثور على {len(top_candidates)} مرشح عالي الجودة من أصل {analyzed_count} رمز تم تحليله")
+            # نأخذ أفضل المرشحين مع الحفاظ على التنوع
+            final_candidates = []
+            categories_count = {'LARGE': 0, 'MID': 0, 'SMALL': 0}
+            max_per_category = max(1, count // 3)
+            
+            for candidate in candidates_with_scores:
+                category = candidate['market_cap_category']
+                
+                if categories_count[category] < max_per_category:
+                    final_candidates.append(candidate)
+                    categories_count[category] += 1
+                elif len(final_candidates) < count:
+                    final_candidates.append(candidate)
+                
+                if len(final_candidates) >= count:
+                    break
             
-            for candidate in top_candidates[:5]:
-                print(f"   🥇 {candidate['symbol']}: درجة {candidate['technical_score']:.3f}")
+            print(f"🎯 الاختيار النهائي: {len(final_candidates)} مرشح متنوع")
+            print(f"   📊 تصنيف الأحجام: Large({categories_count['LARGE']}), Mid({categories_count['MID']}), Small({categories_count['SMALL']})")
             
-            return top_candidates
+            # عرض أفضل 5 مرشحين
+            for i, candidate in enumerate(final_candidates[:5]):
+                print(f"   🥇 {i+1}. {candidate['symbol']}: درجة {candidate['technical_score']:.3f} - تغير {candidate['price_change']:.1f}% - حجم ${candidate['dollar_volume']:,.0f}")
+            
+            return final_candidates
             
         except Exception as e:
             print(f"❌ خطأ في find_high_potential_candidates: {e}")
+            import traceback
+            traceback.print_exc()
             return []
 
+    def _classify_market_cap(self, dollar_volume):
+        """تصنيف العملات حسب حجم التداول"""
+        if dollar_volume > 5000000:    # أكثر من 5 ملايين دولار
+            return "LARGE"
+        elif dollar_volume > 1000000:  # أكثر من 1 مليون دولار
+            return "MID"
+        else:                          # أقل من 1 مليون دولار
+            return "SMALL"
+
     async def get_fast_pass_data_async(self, candidates):
         try:
             print(f"📊 جلب بيانات OHLCV لـ {len(candidates)} مرشح من KuCoin...")