بناء خط أنابيب بيانات (Data Pipeline) مؤتمت لتجميع وتنظيف البيانات باستخدام Docker و Python
تفاصيل العمل
مشروع تقني يركز على هندسة البيانات وأتمتة العمليات (Automation) لتقليل التدخل البشري وضمان تدفق البيانات بشكل صحيح. يتضمن العمل: تطوير سكربت Python يقوم بسحب البيانات تلقائياً (Web Scraping / API Integration) من مصادر متعددة ومحدثة بشكل دوري. عمل معالجة فورية وتصفية للبيانات وتحويلها إلى صيغة مهيكلة وتخزينها في قاعدة بيانات SQL بشكل منظم. حزم التطبيق بالكامل داخل حاوية Docker لضمان عمل النظام بشكل مستقر وفي أي بيئة تشغيل بدون مشاكل في الاعتماديات البرمجية (Dependencies).
مهارات العمل
