مشروع مستودع البيانات وذكاء الأعمال (DWBI) – بيانات مبيعات تجريبية باستخدام Python وSnowflake
نظرة عامة (Overview)
- يعرض هذا المشروع تنفيذًا متكاملًا لمستودع البيانات وذكاء الأعمال (DWBI)، بدءًا من توليد البيانات، مرورًا بنمذجة البيانات وتحليلها، وصولًا إلى عرضها بصريًا باستخدام Python وSnowflake وSQL وPower BI. يهدف المشروع إلى محاكاة بيئة عمل حقيقية وتطبيق أفضل الممارسات في هندسة البيانات والتحليلات.
مراحل تنفيذ المشروع (Project Workflow)
1- تصميم مخطط الكيانات (ER Diagram)
- تصميم مخطط ER لتمثيل البيانات
- بناء Star Schema وSnowflake Schema لتحسين الأداء
2- توليد بيانات مبيعات باستخدام Python
- توليد بيانات ضخمة تشمل العملاء والمنتجات والمبيعات
- تصدير البيانات إلى ملفات CSV
3- إعداد Snowflake ونمذجة البيانات
- إنشاء قواعد البيانات والمخططات (Schemas)
- تصميم جداول Fact وDimension
- إنشاء Views لتحسين التقارير
- تحسين هيكل البيانات لزيادة الكفاءة
4- تحميل البيانات إلى Snowflake
- استخدام Python وامر COPY INTO لتحميل البيانات
- تطبيق أفضل الممارسات في التحميل ومعالجة الأخطاء
5- كتابة استعلامات SQL تحليلية
- تطوير استعلامات متقدمة لاستخراج الرؤى
- تحليل:
اتجاهات الإيرادات الشهرية
سلوك العملاء
أداء المنتجات
6- تصميم تقارير ذكاء الأعمال
- تحديد KPIs والمؤشرات المهمة
- تصميم هيكل التقارير لضمان وضوح النتائج
7- عرض البيانات باستخدام Power BI
- ربط Power BI بـ Snowflake
- إنشاء داشبورد تفاعلي يعرض:
اتجاهات المبيعات
أفضل العملاء والمنتجات
الأداء حسب المناطق
- التقنيات المستخدمة (Technologies Used)
Python (faker, random, pandas) لتوليد البيانات
Snowflake كمستودع بيانات سحابي
SQL للتحليل والتحويل
Power BI لعرض البيانات وإنشاء التقارير
