Automated Data Pipeline for Web Scraping, API Integration & Data Storage

قمت ببناء end-to-end data pipeline باستخدام Python لاستخراج البيانات من مصادر متعددة، تنظيفها، ثم تخزينها بشكل منظم لاستخدامها في التحليل أو التطبيقات المستقبلية. المشروع شمل: استخدام Selenium لاستخراج بيانات المنتجات من موقع Books to Scrape. جمع بيانات إضافية من API باستخدام مكتبة Requests من DummyJSON. تحويل البيانات إلى DataFrames باستخدام pandas. تنظيف البيانات عبر: تحويل الأسعار إلى format رقمي إزالة الـ duplicates معالجة القيم الفارغة توحيد تنسيق النصوص دمج البيانات القادمة من مصادر مختلفة في dataset واحدة. حفظ البيانات النهائية في ملفات CSV. تحميل البيانات إلى قاعدة بيانات باستخدام SQLite عبر SQLAlchemy. التقنيات المستخدمة: Python, Selenium, pandas, Requests, SQLite, SQLAlchemy الهدف: أتمتة عملية جمع البيانات من مصادر مختلفة وتحويلها إلى بيانات نظيفة ومنظمة جاهزة للتحليل أو التخزين داخل قواعد البيانات.