بناء Data Engineering Pipeline بمعمارية Medallion على Databricks مع لوحة تحكم Power BI

وصف المشروع: مشروع هندسة بيانات متكامل من البداية للنهاية مبني على Databricks باستخدام معمارية Medallion الشهيرة (Bronze → Silver → Gold)، يحول بيانات مبيعات خام من CSV إلى تقارير جاهزة للأعمال معروضة في Power BI. طبقات المشروع: طبقة Bronze استيعاب البيانات الخام كما هي من ADLS Volume وحفظها كـ Delta Table بدون أي تعديل (1,000 صف، 15 عمود) طبقة Silver تنظيف البيانات وإثرائها: حذف الأعمدة الزائدة، معالجة القيم الفارغة، حساب Revenue و Profit و Discount Amount، واستخراج بيانات التاريخ (شهر، سنة، يوم الأسبوع) طبقة Gold تجميعات جاهزة للأعمال في 5 جداول: ملخص KPI، المبيعات حسب المنطقة، حسب الفئة، حسب الوقت، وحسب طريقة الدفع أبرز النتائج: إجمالي الإيرادات: 70.33 مليون دولار إجمالي الأرباح: 6.49 مليون دولار إجمالي المعاملات: 1,000 لوحة تحكم Power BI تشمل: بطاقات KPI للإيرادات والأرباح والمعاملات مخطط دائري للإيرادات حسب طريقة الدفع مخططات أعمدة للإيرادات حسب الفئة والمنطقة مخطط زمني لاتجاهات المبيعات التقنيات المستخدمة: Databricks Apache Spark / PySpark Delta Lake Unity Catalog Power BI Python