Metriflow – منصة تحليل بيانات قائمة على الأحداث

تطوير خط معالجة وتحليل بيانات (ETL Pipeline) متكامل يستقبل كميات كبيرة من بيانات الأحداث، ويعالجها عبر مراحل غير متزامنة، ثم يوفر النتائج المجمعة من خلال واجهة REST API مؤمنة. • تصميم بنية معمارية قائمة على الأحداث باستخدام RabbitMQ وسبع خدمات خلفية (Background Workers) تشكل خط معالجة تدريجي للبيانات: الخام → المرحلية → الصفحات → اليومية → الفترات الزمنية → الشهرية → السنوية. • معالجة 26 مليون سجل في أقل من 3 دقائق من خلال تطبيق خوارزميات فعالة لمعالجة البيانات، وأنماط Producer-Consumer، وإلغاء التسلسل المتدفق (Streaming Deserialization)، وعمليات الإدخال والتحديث الجماعية على قاعدة البيانات. • تحسين أداء قاعدة البيانات باستخدام Columnstore Indexes والإجراءات المخزنة (Stored Procedures) المدعومة بمعاملات ACID، مع توظيف كل من ADO.NET وEF Core وفقاً لطبيعة كل عبء عمل. • معالجة الأحداث المتأخرة والمكررة من خلال إعادة احتساب التجميعات المتأثرة للحفاظ على اتساق البيانات عبر جميع مراحل خط المعالجة. • استخدام Redis للتخزين المؤقت للاستعلامات ذات النطاقات الزمنية المخصصة التي تقع خارج حدود التقارير المجمعة مسبقاً. • حاوية جميع مكونات النظام (API، خدمات المعالجة الخلفية، SQL Server، RabbitMQ، Redis) باستخدام Docker Compose.