نظام أتمتة وسحب طلبات منصة خمسات لحظياً | Khamsat Web Scraper & Automation System
تفاصيل العمل
تطوير نظام برميجي مؤتمت بالكامل End-to-End System يقوم بسحب وفلترة المشاريع والطلبات فور نشرها في قسم الطلبات غير الموجودة على منصة خمسات يهدف المشروع إلى حل مشكلة تأخر وصول التنبيهات للمستقلين حيث يتيح للمستخدم رؤية أحدث الطلبات المتوافقة مع مهاراته بوضوح وتحديث لحظي، مما يرفع من فرص اقتناص المشاريع والتقديم عليها قبل المنافسين. البنية التقنية والمميزات التي تم تنفيذها في المشروع هيكلية كود نظيفة Modular Architecture تم تصميم المشروع وبناؤه بشكل منظم وفصل المهام Separation of Concerns حيث تم تقسيم النظام إلى مجلدات مخصصة scraper لعمليات السحب frontend لواجهة العرض وdata لإدارة البيانات المخزنة معالجة ذكية وتصفية متقدمة AI Processing دمج وحدة ai_processor.py لفلترة الطلبات التي يتم سحبها بذكاء، للتأكد من مطابقتها لاهتمامات المستخدم وتجنب واجتناب الرسائل العشوائية Spam واجهة مستخدم ويب وسيرفر محلي: بناء خادم محلي server.py مع واجهة مستخدم بسيطة وتفاعلية index.html لتعرض للمستخدم البيانات المفلترة والطلبات الجديدة أولاً بأول بشكل منظم ومريح بدلاً من متابعتها عبر شاشة الكونسول السوداء. الحاويات والتشغيل Dockerization إعداد ملفات الـ Dockerfile و docker-compose.yml لضمان عمل النظام بالكامل داخل حاوية معزولة مما يسهل تشغيله على أي جهاز أو رفعه على سيرفر سحابي VPS دون أي مشاكل في التوافقية أو المكتبيات نظام تتبع الأخطاء Logging System تفعيل ملف scraper.log لمراقبة أداء السكربت بشكل مستمر، وتتبع عمليات السحب الناجحة وتشخيص أي مشكلة تقنية أو حظر IP Block قد يحدث أثناء التشغيل بيئة اختبارات برمجية Unit Testing استخدام مكتبة pytest وإعداد مجلد tests لعمل اختبارات دورية للكود للتأكد من استقراره وعدم تعطل السكربت في حال قامت المنصة بتحديث بنية الـ HTML الخاصة بها. أتمتة التشغيل بنقرة واحدة: إنشاء ملفات باتش تنفذ تلقائياً START_SYSTEM.bat / STOP_SYSTEM.bat لتمكين أي مستخدم عادي من تشغيل وإيقاف النظام بالكامل السكرابر والسيرفر معاً بضغطة زر واحدة دون الحاجة لكتابة أوامر برمجية في الـ Terminal الأدوات والتقنيات المستخدمة لغة البرمجة Python المكتبات الأساسية BeautifulSoup / Scrapy / Requests لعمليات الـ Web Scraping البنية الأساسية والخادم: Python Backend Server.py & HTML5/CSS3 أدوات المطورين Docker, Docker Compose, Pytest, Logging Utilities نظم التشغيل والأتمتة Windows Batch Scripts .bat للتكامل مع نظام التشغيل
مهارات العمل
بطاقة العمل
طلب عمل مماثل
