تنظيف ومعالحة البيانات باستخدام Python

مشروع متخصص في أحد أهم مراحل تحضير البيانات لأي نموذج تعلم آلة: معالجة البيانات مثل القيم الشاذة (Outliers). خطوات العمل لاكتشاف ومعالجه القيم الشاذة: تحليل واستكشاف البيانات باستخدام Boxplot وDescribe لفهم توزيع القيم. الطريقة الأولى (IQR – Interquartile Range): حساب الربيع الأول والثالث، وتحديد الحدود الدنيا والعليا لاستبعاد القيم الشاذة. الطريقة الثانية (Z-Score): استخدام مكتبة SciPy لحساب الانحراف المعياري لكل قيمة عن المتوسط، واستبعاد القيم التي تتجاوز 3 انحرافات معيارية. الطريقة الثالثة (Capping / Winsorization): استبدال القيم المتطرفة بحد أعلى معين (Percentile Capping) بدلاً من حذفها. تطبيق الطرق الثلاث على بيانات حقيقية (California Housing Dataset) على أعمدة مثل AveRooms وAveOccup. مقارنة بصرية قبل وبعد التنظيف باستخدام Boxplots لكل طريقة لمعرفه افضل طريقه لاستخدامها على هذه البيانات. النتيجة النهائية: بيانات أنظف وأكثر موثوقية جاهزة للاستخدام في أي مرحلة تالية من التحليل أو بناء النماذج.