نظام التعرف المباشر على لغة الإشارة العربية باستخدام MediaPipe وONNX داخل المتصفح

قمت بتطوير نظام للتعرف المباشر على حروف لغة الإشارة العربية (ARSL) باستخدام MediaPipe لاستخراج نقاط اليد وتحويلها إلى بيانات قابلة للتصنيف عبر نماذج Machine Learning خفيفة تعمل بالكامل داخل المتصفح. يعتمد المشروع على استخراج 21 نقطة Landmark لليد ثم تنفيذ عمليات Normalization لتوحيد موضع وحجم اليد قبل تمرير البيانات إلى نماذج التصنيف. تم تدريب نماذج SVM وRandom Forest على البيانات المجمعة مع تطبيق تقنيات Data Augmentation لتحسين قدرة النموذج على التعميم والتعامل مع اختلاف زوايا التصوير ووضعيات اليد. بعد التدريب تم تصدير النموذج إلى صيغة ONNX وتشغيله داخل المتصفح باستخدام onnxruntime-web لتوفير تجربة سريعة وخفيفة بدون الحاجة إلى Backend أثناء الاستخدام، مع إعداد GitHub Actions Workflow لبناء ونشر نسخة Static من المشروع تلقائيًا على GitHub Pages بعد كل تحديث. التقنيات المستخدمة Python MediaPipe Hands Scikit-learn SVM (Support Vector Machine) Random Forest ONNX onnxruntime-web FastAPI GitHub Actions GitHub Pages HTML / CSS / JavaScript JSON Processing طريقة التنفيذ استخراج Hand Landmarks باستخدام MediaPipe تنفيذ Normalization لإزالة اختلاف الحجم والموقع معالجة وتنظيف البيانات قبل التدريب تطبيق Data Augmentation لتحسين جودة النموذج تدريب نماذج SVM وRandom Forest تصدير النموذج إلى ONNX تشغيل النموذج داخل المتصفح باستخدام onnxruntime-web إعداد GitHub Actions Workflow لبناء ونشر الموقع تلقائيًا نشر التطبيق كـ Static Website على GitHub Pages