تنظيف البيانات ومعالجتها | Data Cleaning and Processing

البيانات هي لغة العصر الحالية ومن أهم الأدوات التي تتيح سهولة اتخاذ القرارات الصحيحة عند النظر إلى البيانات الصحيحة المتوفرة. ونظرا للحاجة إلى الوصول إلى البيانات الصحيحة من صورتها الأساسية المتوفرة؛ فإن ذلك يتطلب العمل المشترك مع مهندس/محلل بيانات (Data Engineer / Data Analyst) وذلك للوصول إلى البيانات المرجوة. نظرا لخلفيتي الهندسية في مجال الـ Planning وما تحتويه من قراءة للبيانات لاتخاذ القرارات السليمة؛ فإني سأعمل معك علي تحسين جودة البيانات وتنظيمها للوصول إلى النتيجة المتوقعة لاستخدامها في التحليل (Analysis). سأقوم بعمل التالي لضمان تنظيف البيانات للوصول إلى البيانات السليمة التي سيتم استخدامها لاحقا في اتخاذ القرارات: • استخدام الـ Python في أعمال تنظيف البيانات (Data Cleaning) عن طريق إزالة القيم المكررة وإزالة القيم غير المنطقية وتصحيح الأخطاء في البيانات. • استخدام المنطق في تعديل القيم المفقودة بما يتناسب مع البيانات المتاحة. • تنظيم الأعمدة وترتيبها. وعن طريق ما سبق فإنه سيتم تسليم التالي: • ملف Spreadsheet بصيغة CSV او Excel منظم بالكامل. • كود Python مكتوب بـ Notebook قابل للتشغيل يوضح ما تم تنفيذه. عن طريق العمل معا فإني سأقوم بالمساعدة في تحويل البيانات الخام إلى بيانات صحيحة وReliable في التحليل وبناء النماذج واتخاذ القرارات المبنية على البيانات. يتم إرسال البيانات المراد العمل عليها في صورة جداول (CSV / XLSX) مع نبذة بسيطة عن الهدف النهائي لإمكانية المراجعة ووضع إطار نهائي لشكل الجداول النهائية قبل العمل. الحد الأقصي للبيانات المقرر العمل عليها يتراوح بين 500 ميجابايت إلي 1 جيجا