بناء ETL Pipeline باستخدام Azure Data Factory لتحويل ملف CSV إلى JSON

مشروع هندسة بيانات احترافي تم تنفيذه على Azure Data Factory، يقرأ ملف sales.csv خاماً من Azure Data Lake Storage Gen2، يطبق عليه تحويلات تنظيف شاملة باستخدام Mapping Data Flow، ثم يحفظ الناتج النظيف كملف JSON. البيانات التي تم معالجتها: 219 صف بعد إزالة القيم الفارغة مشاكل البيانات التي تم حلها: صفوف بدون order_id تنسيقات تواريخ غير موحدة مثل 1/1/2024 و March 3 2024 قيم category غير متسقة مثل Elec و electronics و Electronics تنسيقات customer_id مختلطة مثل cust002 و CUST001 و C-003 قيم سالبة في quantity و unit_price أخطاء في حساب Total Amount قيم فارغة في أعمدة متعددة مراحل الـ Pipeline: المرحلة 1 Source: قراءة الملف من حاوية input في ADLS Gen2 المرحلة 2 Filter: حذف الصفوف التي لا تحتوي على order_id المرحلة 3 FixDates: توحيد التواريخ والفئات ومعرفات العملاء المرحلة 4 negativevalues: استبدال القيم السالبة والفارغة في الكميات والأسعار وإعادة حساب المجموع المرحلة 5 FillNullValues: ملء باقي القيم الفارغة بقيم افتراضية مناسبة المرحلة 6 SinkJSON: حفظ البيانات النظيفة كـ JSON في حاوية output نتيجة التشغيل: تم التشغيل يدوياً وانتهى بنجاح في 3 دقائق و7 ثواني التقنيات المستخدمة: Azure Data Factory Azure Data Lake Storage Gen2 Mapping Data Flow JSON