نظام ذكي لتنظيف وهيكلة بيانات المبيعات باستخدام Python و Regular Expression

قمت بتطوير أداة متكاملة باستخدام لغة Python لمعالجة وتنظيف بيانات المبيعات "غير المنظمة" (Dirty Data). المشروع يتجاوز مجرد التنظيف التقليدي، حيث يعتمد على خوارزميات ذكية لتصحيح الأخطاء الإملائية وتوحيد التنسيقات المتضاربة، مما يحول البيانات الخام إلى قاعدة بيانات احترافية جاهزة للتحليل المباشر أو الاستخدام في أنظمة الـ Business Intelligence. ما قمت بتنفيذه تقنياً (What I Did): 1- معالجة التواريخ المعقدة: بناء دالة تتعرف على التواريخ بصيغها المختلفة (نصوص أو أرقام) وتحويلها إلى تنسيق ISO الموحد. 2- التصحيح الذكي للأخطاء الإملائية: استخدام المكتبات النصية (Regex) لاكتشاف الأخطاء الشائعة في أسماء المنتجات والفئات وتصحيحها آلياً. 3- تحويل النصوص إلى قيم رقمية: تطوير وحدة معالجة لتحويل الأرقام المكتوبة نصاً (مثل "one" أو "two") إلى أرقام صحيحة، مع معالجة القيم السالبة وغير المنطقية. 4- التحقق من صحة البيانات (Validation): فلترة رسائل البريد الإلكتروني غير الصحيحة وتوحيد أسماء المدن والعملاء لضمان التناسق العالي. 5- أتمتة المخرجات: دمج جميع العمليات في سكربت واحد يقوم بتوليد ملف نهائي نظيف ومنظم تلقائياً. الأدوات المستخدمة (Tools Used): 1- Python: لغة البرمجة الأساسية للمشروع. 2- Pandas: لإدارة وهيكلة جداول البيانات الضخمة بفعالية. 3- Regex (Regular Expressions): لتنظيف النصوص المتقدم ومعالجة الأنماط اللغوية المعقدة. 4- NumPy: للتعامل مع البيانات المفقودة (Null Values) والعمليات الحسابية والمنطقية.