إنشاء Data Pipeline باستخدام Airflow و dbt لربط ومعالجة البيانات تلقائيًا

قدّم خدمة بناء Data Pipeline لربط ومعالجة البيانات بشكل تلقائي، مع تحديد نطاق واضح للخدمة. نطاق الخدمة (Basic Package): ربط حتى 2 مصدر بيانات (API أو قاعدة بيانات أو ملفات CSV/Excel) استخراج البيانات باستخدام Python و pandas تنظيف البيانات (إزالة القيم الفارغة، توحيد الصيغ، معالجة الأخطاء الأساسية) تحميل البيانات إلى Snowflake (تصميم schema بسيط: staging table واحدة) إنشاء Workflow باستخدام Apache Airflow لتحديث البيانات بشكل يومي تنفيذ transformations أساسية باستخدام dbt (model واحد) إعداد Logging بسيط لمتابعة تشغيل الـ pipeline ما سيتم تسليمه: كود كامل للـ pipeline (Python Airflow dbt) DAG جاهز للتشغيل على Airflow إعداد قاعدة البيانات على Snowflake ملف توثيق بسيط يشرح طريقة التشغيل والتعديل متطلبات من العميل: توفير access لمصادر البيانات (API keys أو database credentials) حساب Snowflake جاهز بيئة تشغيل Airflow (أو أساعد في إعدادها مقابل تكلفة إضافية)