مشروع التخرج الخاص بمسار هندسة البيانات في مبادرة رواد مصر الرقمية (DEPI)، وهو عبارة عن خط بيانات آلي (ETL Pipeline) متكامل بيقوم بسحب بيانات الطقس من API عام بشكل دوري، معالجتها، وتخزينها في قاعدة بيانات جاهزة للتحليل.
الهدف من المشروع إنه يوفّر بيانات طقس تاريخية ومحدّثة بشكل مستمر، تقدر تستخدمها الشركات أو الباحثين في التحليلات، التنبؤات، أو التطبيقات المعتمدة على بيانات الطقس.
المراحل الأساسية للمشروع:
- Extract: سحب البيانات من Weather API بشكل دوري عبر DAGs مجدولة على Apache Airflow
- Transform: تنظيف البيانات، معالجة القيم المفقودة، وتحويلها لصيغة جاهزة للتخزين
- Load: تحميل البيانات في قاعدة PostgreSQL بنموذج بيانات مصمم لدعم الاستعلامات الزمنية (Time-Series)
أهم مميزات المشروع:
- جدولة تلقائية للتشغيل اليومي بدون تدخل يدوي
- نظام Retry تلقائي في حالة فشل أي مرحلة
- Logging وتنبيهات الفشل لمراقبة صحة الـ Pipeline
- نموذج بيانات يدعم المقارنات التاريخية والاستعلامات الزمنية بكفاءة
التقنيات المستخدمة:
- Python للبرمجة الأساسية
- Apache Airflow لتنسيق وجدولة الـ Pipeline
- PostgreSQL لتخزين البيانات
- Public Weather API لمصدر البيانات
- Git/GitHub لإدارة الإصدارات
المشروع ده بيعكس فهمي لتصميم خطوط بيانات إنتاجية موثوقة، قابلة للتوسع، ومناسبة لبيئات العمل الحقيقية.
