نظام توصية وبحث ذكي للمنتجات باستخدام الذكاء الاصطناعي وتحليل المراجعات
قمت بتطوير نظام ذكي لتوصية المنتجات والبحث عنها بالاعتماد على تقنيات الذكاء الاصطناعي، ومعالجة اللغات الطبيعية (NLP)، وتحليل المشاعر، وتقييم موثوقية المراجعات بهدف تحسين جودة نتائج البحث والتوصيات المقدمة للمستخدمين.
فكرة المشروع
بدأ المشروع بدمج مجموعتي بيانات تحتويان على معلومات المنتجات وتقييمات المستخدمين ومراجعاتهم النصية. تم ربط البيانات باستخدام معرف المنتج ومعرف المستخدم للحصول على التقييم المرتبط بكل مراجعة بشكل دقيق، مما أدى إلى إنشاء قاعدة بيانات موحدة يمكن الاعتماد عليها في عمليات التحليل والتنبؤ.
المميزات الرئيسية
- التنبؤ بالتقييمات من خلال المراجعات النصية
- استخدام نموذج SBERT لتحليل محتوى المراجعات وفهم معناها الدلالي.
- التنبؤ بالتقييم المتوقع لكل مراجعة اعتمادًا على النص المكتوب فقط.
- مقارنة التقييم المتوقع بالتقييم الفعلي الذي منحه المستخدم.
• حساب درجة الموثوقية (Trust Score)
- تطوير آلية لقياس مدى توافق المراجعة مع التقييم الممنوح.
- إنشاء درجة موثوقية لكل مراجعة تعكس مدى مصداقيتها.
- تطبيع النتائج وتحويلها إلى قيم تتراوح بين 0 و 1 لتسهيل استخدامها داخل النظام.
• معالجة البيانات وتجهيزها (Data Preprocessing)
- تنظيف البيانات وإزالة القيم المفقودة والمكررة.
- معالجة النصوص وتحضير المراجعات للتحليل باستخدام تقنيات NLP.
- توحيد وتنسيق البيانات القادمة من مصادر متعددة.
- دمج مجموعتي البيانات باستخدام معرف المنتج ومعرف المستخدم للحصول على بيانات متكاملة.
- تحويل البيانات إلى الصيغ المناسبة لتدريب نماذج التعلم الآلي وتحليل النتائج.
- إجراء عمليات التطبيع (Normalization) والتجهيز اللازمة لتحسين أداء النماذج.
• تحليل المشاعر (Sentiment Analysis)
- تصنيف المراجعات إلى:
- إيجابية (Positive)
- محايدة (Neutral)
- سلبية (Negative)
- الاستفادة من نتائج تحليل المشاعر لتحسين جودة التوصيات.
- جمع واستخراج بيانات المنتجات
- إنشاء روابط المنتجات تلقائيًا باستخدام معرفات المنتجات.
- تنفيذ عمليات Crawling و Scraping عبر واجهات API للحصول على معلومات المنتجات وتجنب مشكلات الحظر وCAPTCHA.
- استخراج أسماء المنتجات والبيانات اللازمة لعمليات التصنيف والتحليل.
• تصنيف المنتجات
- استخدام أسماء المنتجات والبيانات المستخرجة لتحديد الفئة المناسبة لكل منتج.
- تدريب وتجربة عدة نماذج تعلم آلي، منها:
- Logistic Regression
- Random Forest
- XGBoost
• تقييم أداء النماذج
- تحليل نتائج النماذج باستخدام:
- Confusion Matrix
- Accuracy
- Precision
- Recall
- F1-Score
نظام التوصية النهائي
تم بناء نظام التوصية اعتمادًا على عاملين رئيسيين:
1. التشابه الدلالي والبحث الذكي
يقوم النظام بإيجاد المنتجات الأكثر ارتباطًا بعملية البحث اعتمادًا على تشابه المحتوى والمعنى الدلالي.
2. درجة الموثوقية
يتم إعطاء أولوية للمنتجات التي تحتوي على مراجعات ذات درجة موثوقية مرتفعة، مما يزيد من جودة النتائج ويقلل تأثير التقييمات غير الدقيقة أو المضللة.
النتيجة
نتج عن المشروع محرك بحث وتوصية ذكي قادر على تقديم منتجات أكثر صلة وموثوقية للمستخدمين من خلال الدمج بين تقنيات الذكاء الاصطناعي، وتحليل المراجعات، وتحليل المشاعر، وتقييم الموثوقية، والتعلم الآلي.
