BMW Global Sales: Fault-Tolerant Data QA & Prices

BMW Global Sales: Fault-Tolerant Data QA and Predictive AI Pipeline An enterprise-grade Data Engineering and Predictive AI project designed to solve real-world data ingestion issues. In production environments, datasets often suffer from structured corruption, out-of-bounds outliers, and missing features. This framework simulates system noise, executes rigid data sanitization, and measures its impact on Machine Learning models. Key Engineering Implementations: Data Corruption Simulation: Programmatically injected 5% duplication patterns, 1.5% missing value vectors, and heavy structural text noise to benchmark pipeline resilience. Deterministic QA and Sanitization Engine: Implemented dynamic conditional medians and statistical modes for feature imputation, combined with a 3.0 IQR Winsorization filter to isolate and clip extreme price outliers without data loss. Feature Optimization: Executed Log-Transformations to eliminate feature skewness and optimized continuous/categorical dimensions via Standard Normalization and One-Hot Encoding. Predictive AI Deployment: Trained a Scikit-Learn regression model to forecast used car prices and deployed it into an asynchronous Streamlit web app interface. الوصف باللغة العربية: خط معالجة بيانات مقاوم للأعطال والتنبؤ بالذكاء الاصطناعي لمبيعات شركة BMW مشروع هندسة بيانات (Data Engineering) وذكاء اصطناعي تنبؤي (Predictive AI) مصمم بمواصفات الشركات الكبرى لحل مشاكل تدفق البيانات الحقيقية. في بيئات التشغيل الفعلية، غالباً ما تعاني البيانات من الفساد الهيكلي، القيم الشاذة (Outliers)، والفيتشرات المفقودة (Missing Features). يقوم هذا الإطار بمحاكاة نويز النظام، وتنفيذ عملية تطهير صارمة للبيانات، وقياس تأثيرها على موديلات الـ Machine Learning. أهم التنفيذات الهندسية في المشروع: Data Corruption Simulation: بناء سيموليشن يقوم برمجياً بحقن تكرارات بنسبة 5%، وقيم مفقودة بنسبة 1.5%، ونويز نصي حاد لاختبار مدى تحمل وقوة الـ Pipeline. Deterministic QA and Sanitization Engine: تطوير سستم معالجة محلي للتعامل مع البيانات المفقودة باستخدام الـ Conditional Medians والـ Statistical Modes، مع تطبيق فلتر 3.0 IQR Winsorization لعزل وقص القيم الشاذة في الأسعار بدون خسارة السجلات. Feature Optimization: معالجة الالتواء الرياضي في البيانات عبر الـ Log-Transformations، وتحسين الأبعاد الرقمية والنصية باستخدام الـ Standard Normalization والـ One-Hot Encoding. Predictive AI Deployment: تدريب Regression Model باستخدام Scikit-Learn للتنبؤ بأسعار السيارات المستعملة، وربطه بواجهة مستخدم تفاعلية وسريعة عبر Streamlit Web App. لفهم المشروع اكثر و فهم الاستنتجات قم بزيارة الرابط الخاص بالمشروع