مشروع خط أنابيب بيانات المبيعات (Sales Data Pipeline)
مشروع متكامل لهندسة البيانات يقوم ببناء Pipeline لمعالجة وتحليل بيانات المبيعات باستخدام أدوات مطلوبة بقوة في سوق العمل مثل PostgreSQL و dbt و Apache Airflow و Docker.
فكرة المشروع
المشروع يقوم بـ:
تحميل بيانات المبيعات من ملفات CSV إلى PostgreSQL
تنفيذ عمليات التحويل والتنظيف باستخدام dbt
إنشاء جداول تحليلية جاهزة للتقارير (Dimensions & Facts)
تشغيل وتنظيم الـ Workflow بالكامل باستخدام Apache Airflow
تشغيل البيئة بالكامل داخل Docker
التقنيات المستخدمة
Python
PostgreSQL
dbt
Apache Airflow
Docker & Docker Compose
Pandas
psycopg2
أهم المميزات
بناء Data Pipeline كامل من البداية للنهاية
تصميم Staging / Dimension / Fact Models
تنفيذ Data Quality Tests داخل dbt
Orchestration باستخدام Airflow DAGs
بيئة Dockerized سهلة التشغيل
النتيجة النهائية
تحويل البيانات الخام إلى بيانات جاهزة للتحليل وإعداد Dashboards وتقارير BI.
