تحتاج RAG حين يتعيّن على سير عمل يعتمد على الذكاء الاصطناعي أن يجيب مرارًا من رصيد كبير أو خاص أو متغير من المعرفة المعتمدة لا ينبغي للمستخدمين لصقه في كل طلب. لا تحتاج RAG لمجرد أن المهمة تستخدم مستندات أو لأن عبارة «قاعدة معرفة» تبدو متقدمة.
تبدأ أغلب مشاريع RAG الفاشلة بالمعمارية قبل التشخيص. يشتري الفريق تجهيز المستندات والتضمينات والبحث المتجهي وواجهة المحادثة قبل أن يثبت أن غياب المعرفة هو سبب الفشل فعلًا.
المشكلة الوحيدة التي تعالجها RAG
تمنح RAG النموذج معلومات منتقاة من مصدر خارجي وقت الإجابة. طبقة الاسترجاع تجد المادة المناسبة، والنموذج يستخدمها لإنتاج الرد.
هذا مفيد عندما تعتمد الإجابة على سياسات داخلية، أو وثائق منتجات، أو قواعد خدمة متغيرة، أو عقود، أو أدلة تقنية، أو قاعدة معرفة تشغيلية كبيرة.
لكن RAG لا تصلح مهمة غامضة، ولا مستندات متعارضة، ولا ضعف الملكية، ولا صلاحيات سيئة، ولا غياب عملية المراجعة. وحيث توجد هذه المشكلات، قد يقدّم الاسترجاع الفوضى نفسها بسرعة أكبر.
استخدم أبسط حل ينجح
قبل بناء الاسترجاع، اختبر سير العمل على هذا السلم.
- أمر فقط: المهمة تحتاج تفكيرًا عامًا وموجزًا واضحًا، لا معرفة خاصة.
- أمر مع مستند: يستطيع المستخدم إرفاق الملف الملائم لمهمة تُنجز مرة واحدة أو محدودة النطاق.
- مساعد ثابت أو معرفة مشروع: تعليمات ومراجع مستقرة لعمل متكرر.
- أتمتة بلا استرجاع: المشكلة في نقل المعلومات بين الأنظمة لا في العثور عليها.
- RAG خاضعة للحوكمة: سير العمل يحتاج باستمرار معرفة كبيرة ومتغيرة ومعتمدة وقابلة للبحث.
الاختيار الصحيح هو أول مستوى ينتج عملًا موثوقًا. لا يبرر التعقيد إلا احتياج مثبت.
اختبار جاهزية RAG
قيّم كل عبارة من 0 إلى 2: صفر = لا، 1 = جزئيًا، 2 = نعم بوضوح.
- تعتمد الإجابة على معرفة خاصة أو متغيرة باستمرار.
- المعرفة أكبر أو أكثر تكرارًا من أن تُرفق يدويًا كل مرة.
- تتكرر الفئة نفسها من الأسئلة بما يكفي لتبرير نظام تجري صيانته باستمرار.
- لكل مصدر ونسخة مالك مسؤول.
- يمكن تحديد المصادر المسموحة والمستبعدة.
- للإجابة الخاطئة كلفة تشغيلية حقيقية.
- يمكن إنشاء مجموعة اختبار من أسئلة واقعية وإجابات معتمدة.
- يمكن إظهار المصادر أو توفير أثر كافٍ للمراجعة.
- يمكن ضبط الصلاحيات بحيث تحدد من يحق له استرجاع كل معلومة.
- توجد عملية للصيانة وأخرى للتراجع عن التغييرات.
النتيجة العالية لا تعني بناء النظام تلقائيًا. تعني أن تجربة محدودة قد تكون مبررة. النتيجة المنخفضة تعني أن عليك إصلاح أمر النموذج أو المستندات أو سير العمل أولًا.
شكل تجربة RAG أولية صحيحة
يجب أن تجيب النسخة الأولى عن فئة واحدة ضيقة من الأسئلة من مجموعة مصادر واحدة مضبوطة.
مثال جيد: يستطيع فريق الدعم السؤال عن الإرجاع والإلغاء والضمان باستخدام مجموعة السياسات الحالية المعتمدة فقط.
مثال سيئ: «مساعد يعرف كل شيء عن الشركة».
- اختر مستخدمًا واحدًا وقرارًا واحدًا.
- حدد المصادر المسموحة.
- أزل التكرار والنسخ القديمة والمسودات.
- أنشئ من 25 إلى 40 سؤالًا واقعيًا للاختبار، بينها أسئلة لا إجابة لها.
- حدد قاعدة الرفض عند غياب معلومات معتمدة.
- قس جودة الاسترجاع منفصلة عن جودة الإجابة.
- عيّن مالكًا للمصادر ومالكًا لجودة الإجابة.
- راجع الإخفاقات أسبوعيًا قبل توسيع النطاق.
افصل فشل الاسترجاع عن فشل الإجابة
عندما تكون الإجابة خاطئة، اسأل سؤالين منفصلين.
- هل استرجع النظام المصدر أو القسم الصحيح؟
- هل استخدم النموذج المادة المسترجعة بدقة والتزم بقواعد الإجابة؟
المصدر الخاطئ مشكلة استرجاع. المصدر الصحيح مع إجابة خاطئة مشكلة تعليمات أو توليد. خلطهما ينتج تشخيصًا غامضًا وإعادة بناء مكلفة.
مشكلة حوكمة المصادر
يرث نظام الاسترجاع جودة مكتبته. السياسات المكررة والعناوين الغامضة وغياب تاريخ السريان والتعليمات المتعارضة تتحول إلى التباس مؤتمت.
كل مصدر يحتاج مالكًا وحالة ونسخة وتاريخ سريان وجمهورًا وقاعدة لإخراجه من الاستخدام. المصادر الحساسة تحتاج حدود صلاحية. ولا ينبغي أن تكون المسودات والنسخ المنتهية قابلة للاكتشاف افتراضيًا.
قرار تطبيقي
تريد شركة استشارات أن يصوغ الذكاء الاصطناعي عروضًا من ملاحظات المكالمات الاستكشافية ووصف الخدمات وقواعد التسعير. في البداية يستطيع المستخدم إرفاق الملاحظات وورقة الخدمة المعتمدة، ويستخدم أمرًا منظمًا، ثم يراجع المستشار المسودة.
تصبح RAG مبررة فقط عندما تكبر مكتبة الخدمات، وتتغير الأسعار والاستثناءات، وتحتاج عدة فرق إلى سير العمل هذا، ويكرر المستخدمون إرفاق المستندات نفسها. عندها تعالج RAG احتكاكًا مثبتًا: اختيار المادة الحالية المعتمدة تلقائيًا.
قاعدة الإيقاف
لا تبن RAG حتى تستطيع إكمال هذه الجملة بدليل: «يفشل سير العمل هذا لأن النموذج لا يصل إلى مصدر معرفة معتمد ومحدد وقت الإجابة».
إذا أظهر التشخيص الصريح أن المشكلة في تعليمات غامضة، أو مستندات فوضوية، أو غياب المالك، أو غياب اختبار قبول، فأصلح ذلك أولًا. ولا تعوّض طبقة الاسترجاع غياب الانضباط التشغيلي.
قبل أن تضيف أداة جديدة، يستحق أن تعرف إن كان عملك يعتمد على نظام أم عليك أنت. أعددتُ تقييمًا مجانيًا من دقيقتين يمنحك قراءة واضحة لذلك، وأول خطوة يجب إصلاحها. ابدأ التقييم المجاني.
لست متأكدًا من أين تبدأ؟
فحص ملاءمة الأنظمة المجاني: تسعة أسئلة في نحو 5 دقائق تقترح نظامًا واحدًا تبدأ به، مع خطوة تالية مجانية.
ابدأ فحص الملاءمة المجانيإشارات أوضح. قرارات أذكى.
انضمّ إلى قائمتنا البريدية واحصل على أفضل ما نكتبه عن الذكاء الاصطناعي والأنظمة مباشرةً في بريدك — دون ضجيج.
