هندسة مسار أتمتة لمزامنة وتغذية قواعد بيانات الذكاء الاصطناعي آلياً (RAG Data Ingestion Pipeline)

هندسة مسار أتمتة لمزامنة وتغذية قواعد بيانات الذكاء الاصطناعي آلياً (RAG Data Ingestion Pipeline) هندسة مسار أتمتة لمزامنة وتغذية قواعد بيانات الذكاء الاصطناعي آلياً (RAG Data Ingestion Pipeline) هندسة مسار أتمتة لمزامنة وتغذية قواعد بيانات الذكاء الاصطناعي آلياً (RAG Data Ingestion Pipeline)
تفاصيل العمل

قمت بهندسة وتطوير مسار عمل (Workflow) آلي متقدم على منصة n8n يعمل بالخلفية لضمان التحديث المستمر لقواعد المعرفة (Knowledge Base) الخاصة بتطبيقات الذكاء الاصطناعي (RAG). النظام يراقب ملفات الشركة على السحابة، يعالج الملفات الجديدة، ويقوم بتضمينها (Embedding) داخل قاعدة البيانات الاتجاهية بدون أي تدخل بشري. أهم خصائص النظام التقنية المبتكرة: مزامنة ذكية ومنع التكرار (State Management): النظام يقرأ الملفات الموجودة في Google Drive ويقارنها بسجل الملفات المعالجة مسبقاً والمحفوظة في Google Sheets، ليقوم فقط بسحب "الملفات الجديدة"، مما يوفر تكلفة استهلاك الـ APIs ويمنع تكرار البيانات. استخراج النصوص الذكي (PDF to Text / OCR): بدلاً من الاعتماد على أدوات خارجية مكلفة، قمت بتوظيف واجهات برمجة Google Drive (APIs) لعمل نسخة مؤقتة من ملفات الـ PDF كملفات نصية، واستخراج النصوص منها بدقة عالية جداً. التنظيف التلقائي (Self-Cleaning): النظام مبرمج ليقوم بحذف الملفات المؤقتة (Temp Docs) فور استخراج النص منها، لضمان عدم استهلاك مساحة التخزين السحابية الخاصة بالعميل. إضافة البيانات الوصفية (Metadata Tagging): قبل رفع النصوص، يقوم النظام بربط كل نص بالبيانات الوصفية الخاصة به (مثل: اسم الملف، والمعرف ID)، مما يسهل على الذكاء الاصطناعي الإشارة لمصدر المعلومة عند الرد على العملاء. الربط بقواعد البيانات الاتجاهية (Vectorization): دمج نماذج التضمين من Google Gemini (Gemini Embeddings) لتحويل النصوص إلى متجهات رياضية وتخزينها في Pinecone Vector Database لتكون جاهزة لعمليات البحث الفوري (Semantic Search). التقنيات المستخدمة في المسار: منصة الأتمتة: n8n (جدولة، هندسة مسارات، ومعالجة بالـ JavaScript). قواعد البيانات الاتجاهية: Pinecone. نماذج التضمين (Embeddings): Google Gemini. التكاملات السحابية: Google Drive APIs (لإدارة الملفات والـ OCR) و Google Sheets (كسجل بيانات مصغر).

شارك
بطاقة العمل
تاريخ النشر
منذ 4 أسابيع
المشاهدات
15
المستقل
طلب عمل مماثل
شارك
مركز المساعدة