GlowPipe - Skincare Intelligence Platform

منصة متكاملة لهندسة البيانات تجمع بين الـ Batch Processing والـ Real-Time Streaming لتحويل بيانات منتجات العناية بالبشرة إلى توصيات ذكية وتحليلات لحظية. ما الذي تم تنفيذه؟ *بناء Batch ETL Pipeline باستخدام Apache Airflow وPySpark. *تطبيق Medallion Architecture (Bronze - Silver - Gold) على AWS S3. *تصميم Data Warehouse على Snowflake باستخدام Star Schema. *تنفيذ فحوصات جودة البيانات بشكل آلي. *بناء Real-Time Streaming Pipeline باستخدام Apache Kafka وSpark Structured Streaming. *تخزين البيانات اللحظية وتحليلها باستخدام PostgreSQL. *تطوير Recommendation Engine يعتمد على Content-Based Filtering وRule-Based Logic. *إنشاء API باستخدام FastAPI لخدمة نظام التوصيات. *تصميم Dashboards باستخدام Power BI للتحليلات التاريخية. *بناء Grafana Dashboards لمراقبة البيانات اللحظية. *تشغيل جميع مكونات المشروع باستخدام Docker. حجم البيانات أكثر من 24 ألف منتج. أكثر من 3 آلاف علامة تجارية. أكثر من 32 ألف مكون. أكثر من 100 ألف علاقة بين المنتجات والمكونات. الأدوات المستخدمة: Python - PySpark - Apache Airflow - Apache Kafka - Spark Structured Streaming - Snowflake - PostgreSQL - FastAPI - Power BI - Grafana - AWS S3 - Docker مخرجات المشروع: *منصة متكاملة تجمع بين التحليل التاريخي والبيانات اللحظية. *نظام توصيات ذكي لاقتراح المنتجات المناسبة. *لوحات معلومات تفاعلية لمتابعة الأداء والمؤشرات المهمة. *إمكانية اكتشاف المنتجات الرائجة والتنبيه للحساسية ومراقبة سلوك المستخدمين في الوقت الفعلي.