Update sentiment_news.py

sentiment_news.py

@@ -1,4 +1,4 @@
-# sentiment_news.py (محدث بالكامل)
+# sentiment_news.py (محدث V3.1 - إصلاح 429 بالتخزين المؤقت الذكي)
 import os, asyncio
 import httpx
 from gnews import GNews
@@ -35,6 +35,12 @@ class NewsFetcher:
         )
         # GNews مفلترة مسبقاً لـ 3 ساعات
         self.gnews = GNews(language='en', country='US', period='3h', max_results=8)
+        
+        # 🔴 --- START OF CHANGE (V3.1 - Caching) --- 🔴
+        self.rss_cache = {}
+        self.cache_lock = asyncio.Lock()
+        self.cache_duration = timedelta(seconds=300) # (5 دقائق)
+        # 🔴 --- END OF CHANGE --- 🔴
 
     async def _fetch_from_gnews(self, symbol: str) -> list:
         try:
@@ -64,38 +70,88 @@ class NewsFetcher:
             print(f"Failed to fetch specific news from GNews for {symbol}: {e}")
             return []
 
+    # 🔴 --- START OF CHANGE (V3.1 - Caching Logic) --- 🔴
+    async def _get_cached_rss_feed(self, feed_url: str, source_name: str):
+        """
+        (جديد V3.1)
+        دالة مساعدة لجلب ملف RSS مع تخزين مؤقت (لمدة 5 دقائق).
+        هذا يمنع خطأ 429 عند طلب نفس المصدر لعدة عملات.
+        """
+        async with self.cache_lock:
+            current_time = datetime.now(timezone.utc)
+            
+            # 1. التحقق من الذاكرة المؤقتة
+            if feed_url in self.rss_cache:
+                cached_data, cache_time = self.rss_cache[feed_url]
+                if (current_time - cache_time) < self.cache_duration:
+                    # print(f"   [NewsCache] Using cached data for {source_name}")
+                    return cached_data # (إرجاع البيانات المخزنة)
+
+            # 2. (إذا لم يكن في الذاكرة أو كان قديماً) الجلب من المصدر
+            # print(f"   [NewsCache] Fetching fresh data for {source_name}...")
+            max_redirects = 2
+            current_url = feed_url
+            response_text = None
+            
+            try:
+                for attempt in range(max_redirects):
+                    try:
+                        response = await self.http_client.get(current_url)
+                        response.raise_for_status()
+                        response_text = response.text
+                        break 
+                    except httpx.HTTPStatusError as e:
+                        if e.response.status_code in [301, 302, 307, 308] and 'Location' in e.response.headers:
+                            current_url = e.response.headers['Location']
+                            continue
+                        else:
+                            # (التعامل مع 429 هنا أيضاً، لا تخزن الخطأ)
+                            if e.response.status_code == 429:
+                                print(f"   ⚠️ [NewsCache] Rate limited (429) by {source_name}. Skipping for this cycle.")
+                                # (سنخزن "فارغ" لمنع إعادة المحاولة الفورية)
+                                self.rss_cache[feed_url] = ([], current_time) 
+                                return []
+                            raise
+                
+                if response_text is None:
+                    raise ValueError("Failed to fetch RSS data after redirects")
+
+                feed = feedparser.parse(response_text)
+                entries = feed.entries
+                
+                # 3. تخزين النتيجة الجديدة
+                self.rss_cache[feed_url] = (entries, current_time)
+                return entries
+
+            except Exception as e:
+                print(f"   ❌ [NewsCache] Failed to fetch/parse {source_name}: {e}")
+                # (لا تخزن الخطأ، للسماح بإعادة المحاولة في الدورة القادمة)
+                if feed_url in self.rss_cache:
+                    del self.rss_cache[feed_url] 
+                return []
+    # 🔴 --- END OF CHANGE --- 🔴
+
+
     async def _fetch_from_rss_feed(self, feed_url: str, source_name: str, symbol: str) -> list:
         try:
             base_symbol = symbol.split('/')[0]
-            max_redirects = 2
-            current_url = feed_url
             
-            # منطق معالجة إعادة التوجيه
-            for attempt in range(max_redirects):
-                try:
-                    response = await self.http_client.get(current_url)
-                    response.raise_for_status()
-                    break
-                except httpx.HTTPStatusError as e:
-                    if e.response.status_code in [301, 302, 307, 308] and 'Location' in e.response.headers:
-                        current_url = e.response.headers['Location']
-                        continue
-                    else: 
-                        raise
+            # 🔴 --- START OF CHANGE (V3.1 - Caching Logic) --- 🔴
+            # (الجلب من الذاكرة المؤقتة أو المصدر)
+            feed_entries = await self._get_cached_rss_feed(feed_url, source_name)
+            if not feed_entries:
+                return []
+            # 🔴 --- END OF CHANGE --- 🔴
             
-            feed = feedparser.parse(response.text)
             news_items = []
             search_term = base_symbol.lower()
             
-            # 
-            # 🔴 تم التعديل: حساب الوقت قبل 3 ساعات (باستخدام التوقيت العالمي UTC)
-            #
+            # (حساب الوقت قبل 3 ساعات (باستخدام التوقيت العالمي UTC))
             three_hours_ago = datetime.now(timezone.utc) - timedelta(hours=3)
 
-            # 
-            # 🔴 تم التعديل: إزالة قيد '[:15]' والفلترة حسب الوقت
-            #
-            for entry in feed.entries:
+            # (إزالة قيد '[:15]' والفلترة حسب الوقت)
+            # (نبحث الآن في 'feed_entries' بدلاً من 'feed.entries')
+            for entry in feed_entries:
                 title = entry.title.lower() if hasattr(entry, 'title') else ''
                 summary = entry.summary.lower() if hasattr(entry, 'summary') else entry.description.lower() if hasattr(entry, 'description') else ''
                 
@@ -111,9 +167,7 @@ class NewsFetcher:
                     # في حال فشل التحويل، نفترض أنه قديم
                     continue
 
-                # 
-                # 🔴 تم التعديل: تطبيق الفلتر الزمني (آخر 3 ساعات) وفلتر اسم العملة
-                #
+                # (تطبيق الفلتر الزمني (آخر 3 ساعات) وفلتر اسم العملة)
                 if (search_term in title or search_term in summary) and (published_time >= three_hours_ago):
                     news_items.append({
                         'title': entry.title, 
@@ -124,6 +178,7 @@ class NewsFetcher:
                     
             return news_items
         except Exception as e:
+            # (تم نقل أخطاء 429، لذا هذا للأخطاء غير المتوقعة فقط)
             print(f"Failed to fetch specific news from {source_name} RSS for {symbol}: {e}")
             return []
             
@@ -149,16 +204,12 @@ class NewsFetcher:
                     description = item.get('description', 'No Description')
                     source = item.get('source', 'Unknown Source')
                     
-                    # 
-                    # 🔴 تم التعديل: هذا المنطق سيعمل الآن بفضل التعديلات السابقة
-                    #
+                    # (هذا المنطق سيعمل الآن بفضل التعديلات السابقة)
                     published = item.get('published', '') # الحصول على التاريخ/الوقت
                     
                     news_entry = f"[{source}] {title}. {description}"
                     
-                    # 
-                    # 🔴 تم التعديل: إضافة وقت النشر إلى النص النهائي (تنفيذاً لطلبك)
-                    #
+                    # (إضافة وقت النشر إلى النص النهائي (تنفيذاً لطلبك))
                     if published:
                         news_entry += f" (Published: {published})"
                     
@@ -226,3 +277,5 @@ class SentimentAnalyzer:
             'market_trend': 'UNKNOWN',
             'data_quality': 'LOW'
         }
+
+print("✅ Sentiment News loaded - V3.1 (Intelligent Caching)")