اختبار RAG: هل تحتاجه فعلاً أم تبالغ في البناء؟

اقرأ هذه المقالة بالإنجليزية

اقرأ هذه المقالة بالإنجليزية

كثير من مشاريع RAG لا تبدأ لأنها ضرورية؛ تبدأ لأن الفريق لم يصلح طريقة العمل أولاً.

تسمع الفرق مصطلح retrieval-augmented generation، فتقفز مباشرة إلى إدخال الوثائق، وembeddings، وvector search، وواجهة chat مخصصة. أحياناً هذا هو القرار الصحيح. لكن في حالات كثيرة هو شكل تقني جميل فوق workflow غير واضح.

السؤال الحقيقي بسيط وحاسم: هل مهمة الذكاء الاصطناعي تحتاج معرفة خاصة أو متغيرة وقت الإجابة، أم أنها تحتاج تعليمات أفضل وعملية أكثر انضباطاً؟

إذا كانت المهمة كتابة، أو إعادة هيكلة، أو تلخيص مستند مرفق، أو صياغة ردود، أو تحليل transcript ملصق في المحادثة، أو توليد زوايا حملة من brief واضح، فغالباً لا تحتاج RAG الآن. تحتاج prompt تشغيلي أقوى، وworkflow قابل للتكرار، ونقطة فحص للجودة.

أما إذا كانت المهمة يجب أن تجيب من سياسات الشركة، أو وثائق المنتجات، أو العقود، أو تذاكر الدعم، أو SOPs، أو قاعدة معرفة داخلية تتغير باستمرار، فقد يكون RAG هو النظام المناسب.

إبهار الناس سهل. بناء نظام موثوق هو العمل الحقيقي.

1. ما هو RAG بلغة عملية؟

RAG اختصار لـ retrieval-augmented generation. الفكرة أن نموذج الذكاء الاصطناعي لا يجيب فقط من المعرفة التي تعلمها أثناء التدريب. النظام يبحث أولاً عن معلومات ذات صلة من مصدر خارجي، ثم يرسل هذا السياق إلى النموذج ليبني إجابته عليه.

الـ workflow المعتاد في RAG يكون كالتالي:

1. تحدد مصدر المعرفة: مستندات، صفحات، سياسات، أدلة، سجلات، أو أي نصوص أخرى.
2. يقسم النظام المحتوى إلى أجزاء قابلة للبحث.
3. يمثل هذه الأجزاء بطريقة تساعد على البحث حسب المعنى، غالباً باستخدام embeddings مخزنة في vector database.
4. يسأل المستخدم سؤالاً.
5. يبحث retriever عن الأجزاء الأكثر صلة.
6. يستلم النموذج سؤال المستخدم مع السياق الذي تم جلبه.
7. يجيب النموذج اعتماداً على هذا السياق.

القيمة التجارية واضحة: RAG يساعد نظام الذكاء الاصطناعي على الإجابة من معلومات متخصصة أو محدثة دون إعادة تدريب النموذج. ويمكن أيضاً أن يدعم إجابات مرتبطة بمصادر عندما يعرض النظام مراجع للمستندات التي اعتمد عليها.

لكن RAG ليس آلة للحقيقة. النموذج قد يقرأ فقرة بطريقة خاطئة، أو يجلب الجزء غير المناسب، أو يتجاهل قيداً مهماً، أو يجيب بثقة على شيء غير صحيح. RAG يقلل نوعاً واحداً من الفشل: نقص المعرفة أو قدمها. لكنه لا يلغي الحاجة إلى تصميم workflow، وتقييم النتائج، وتحديد المسؤولية.

2. النظرة التشغيلية: RAG للوصول إلى المعرفة، لا لعلاج prompt ضعيف

الخطأ الشائع أن الفرق تستخدم RAG لتعويض ضعف تصميم العمل.

إذا كان الـ prompt يقول: اكتب عرضاً جيداً، فلن يحل RAG المشكلة. قد يجلب النظام عروضاً قديمة، لكن النموذج ما زال يحتاج تعريفاً واضحاً لما يعنيه عرض جيد: بنية العرض، النبرة، التعامل مع الاعتراضات، لغة التسعير، لغة المخاطر، قواعد الإثبات، ومعايير الموافقة.

RAG يجيب عن سؤال واحد: من أين يجب أن يحصل الذكاء الاصطناعي على الحقائق؟

تصميم الـ prompt يجيب عن سؤال آخر: كيف يجب أن يفكر الذكاء الاصطناعي، ويقرر، وينسق، ويفحص المخرجات؟

Automation تجيب عن سؤال ثالث: كيف ينتقل هذا العمل داخل الشركة دون نسخ ولصق يدوي؟

لا تخلط بينها.

المؤسس أو صاحب العمل لا يحتاج أولاً إلى رسم معماري لنظام AI. يحتاج أن يعرف سبب فشل الـ workflow: هل النموذج لا يملك المعلومات؟ أم التعليمات غامضة؟ أم العملية نفسها لا تحتوي نقطة مراجعة؟

ولأن هذه المسائل متداخلة، من المفيد مراجعة أنماط العمل في prompt engineering وAI automation قبل القفز إلى بناء RAG.

3. اختبار قرار RAG

استخدم هذه القائمة قبل أن تبني. إذا لم تستطع الإجابة بوضوح، فأنت غالباً غير جاهز لـ RAG. أنت جاهز لتنظيف الـ workflow أولاً.

ابنِ RAG عندما تكون هذه الشروط صحيحة

• الإجابة تعتمد على معلومات خاصة أو متغيرة. أمثلة: سياسة داخلية، توفر المنتجات، شروط العقود، قواعد الدعم، وثائق onboarding، التوثيق التقني.
• المستخدم لا يجب أن يلصق المصدر كل مرة. إذا كان الفريق يرفع نفس المستندات أو ينسخ من نفس المجلد بشكل متكرر، فقد يقلل retrieval الاحتكاك.
• قاعدة المعرفة لها مالك واضح. يجب أن يوجد شخص يحدّث المصادر، ويحذف القديم، ويوافق على المواد. المعرفة بلا مالك تتحول إلى فوضى آلية.
• الإجابات الخاطئة لها تكلفة حقيقية. الدعم، الامتثال، عروض الأسعار، سياسات الموارد البشرية، الأعمال القريبة من القانون أو المالية أو السلامة تحتاج grounding ومراجعة.
• تستطيع اختبار النظام بأسئلة معروفة. إذا لم تستطع كتابة أسئلة واقعية وإجابات معتمدة، فلن تستطيع الحكم على جودة retrieval.

لا تبنِ RAG الآن عندما تكون هذه الشروط صحيحة

• المهمة تستخدم معلومات يستطيع المستخدم لصقها في الـ prompt. في التحليل لمرة واحدة، أرفق المستند أو الصقه واستخدم prompt قوياً.
• المشكلة الأساسية في النبرة أو البنية أو الحكم. هذه غالباً مشكلة prompt، وأمثلة، ومعايير مراجعة.
• مستنداتك فوضوية أو مكررة أو قديمة أو متناقضة. RAG سيجلب من الفوضى الموجودة. هو لا ينظفها تلقائياً.
• تحتاج فقط مساعداً قابلاً للتكرار بتعليمات ثابتة. قد يكفي custom assistant أو prompt داخلي لكثير من المهام المتكررة.
• لا يوجد مسؤول عن الصيانة. قاعدة معرفة قديمة أسوأ من عدم وجود قاعدة معرفة؛ لأن الناس ستثق بها.

قيّمه خلال 5 دقائق

1. هل يحتاج الذكاء الاصطناعي معرفة خاصة بالشركة؟ إذا كانت الإجابة لا، فلا تبدأ بـ RAG.
2. هل تتغير هذه المعرفة كثيراً؟ إذا كانت الإجابة نعم، يصبح RAG أكثر فائدة.
3. هل المعرفة كبيرة لدرجة لا يمكن لصقها في كل مهمة؟ إذا كانت الإجابة نعم، قد يساعد retrieval.
4. هل يمكن الوثوق بالمستندات المصدرية؟ إذا كانت الإجابة لا، أصلح المصدر أولاً.
5. هل تستطيع تقييم الإجابات مقابل مراجع معتمدة؟ إذا كانت الإجابة لا، ابنِ مجموعة التقييم أولاً.

إذا أجبت بنعم على 4 أسئلة على الأقل، فاستكشاف RAG منطقي. إذا لم تصل لذلك، ابدأ بـ prompts، وقوالب، ووضع المستند داخل السياق، ودورة مراجعة يدوية.

4. ماذا تستخدم قبل RAG؟

لا تجعل RAG أول تطبيق لك. استخدم أبسط نظام قادر على إخراج عمل موثوق.

الخيار 1: prompt أفضل فقط

استخدمه عندما تكون المهمة متكررة ولا تحتاج قاعدة معرفة خاصة. أمثلة: إعادة صياغة إعلانات، تنظيم ملاحظات اجتماع، تحويل transcript إلى مهام تنفيذية، صياغة بريد مبيعات من brief.

النظام هنا بسيط: دور، مهمة، سياق، قواعد، صيغة مخرجات، وفحص جودة.

الخيار 2: prompt مع مستند مرفق

استخدمه عندما تحتاج المهمة مجموعة صغيرة من المستندات المتاحة وقت التنفيذ. أمثلة: تحليل عقد واحد، تلخيص تقرير واحد، مقارنة عرض مع checklist، استخراج مخاطر من سياسة واحدة.

هذا ليس RAG كاملاً. وفي كثير من الحالات يكفي.

الخيار 3: custom assistant بتعليمات ثابتة

استخدمه عندما يحتاج الفريق طريقة قابلة للتكرار لتنفيذ مهمة. أمثلة: مساعد لأسلوب العلامة التجارية، مساعد لصياغة العروض، مساعد لردود الدعم، مساعد لتقييم المرشحين وفق scorecard.

المساعد يحمل قواعد التشغيل. والمستخدمون يزوّدونه بمدخلات الحالة المحددة.

الخيار 4: automation

استخدمه عندما يكون البطء بسبب التسليمات اليدوية لا بسبب التفكير. مثل: تحويل form submission إلى ملاحظة في CRM، أو transcript اجتماع إلى قائمة مهام، أو إيميل دعم إلى مسودة رد، أو استفسار عميل محتمل إلى ملخص تأهيل.

أدوات مثل Zapier وMake وn8n تستطيع نقل البيانات بين الأنظمة واستدعاء AI للكتابة، أو التصنيف، أو الاستخراج، أو التوجيه. الأداة ليست النقطة. النقطة هي تحديد trigger، والمدخلات، ومهمة AI، وخطوة الموافقة، والوجهة.

الخيار 5: RAG

استخدمه عندما يحتاج الـ workflow معرفة داخلية قابلة للبحث، وأسئلة وأجوبة متكررة عبر مصادر كبيرة أو متغيرة.

RAG يأتي لاحقاً في منحنى النضج لأنه يضيف أجزاء متحركة: تجهيز المستندات، جودة retrieval، حوكمة المصادر، قواعد الإجابة، citations، الاختبار، والصيانة.

5. أقل workflow عملي لبناء RAG

إذا كنت تحتاج RAG فعلاً، لا تبدأ بنظام خيالي.

مشروع RAG سيئ كبداية: اصنع AI يعرف كل شيء عن الشركة.

مشروع RAG جيد كبداية: أجب عن أسئلة الدعم حول الإرجاع، والإلغاء، والضمان، وإعداد المنتج باستخدام وثائق السياسات المعتمدة فقط.

استخدم هذا الـ SOP:

1. اختر workflow واحداً. اختر مهمة فيها أسئلة متكررة ومصادر واضحة.
2. حدد المستخدم. موظف دعم، مندوب مبيعات، مدير حساب، مسؤول توظيف، محلل، أو عميل.
3. حدد المصادر المسموحة. مستندات معتمدة فقط. لا مجلدات عشوائية. لا نسخ قديمة.
4. نظّف المصدر. احذف التكرار، والسياسات المنتهية، والنسخ المتعارضة، والعناوين الغامضة، والمسودات القديمة.
5. أنشئ مجموعة اختبار. اكتب أسئلة واقعية، وإجابات مثالية، والمصدر الذي يجب أن تأتي منه كل إجابة.
6. ضع قواعد الإجابة. ألزم الذكاء الاصطناعي بأن يقول بوضوح عندما لا يحتوي المصدر على الإجابة.
7. راجع الإخفاقات أسبوعياً في البداية. فرّق بين فشل retrieval وفشل الاستدلال. هل جلب النظام المصدر الخطأ، أم قرأ النموذج المصدر الصحيح بطريقة خاطئة؟
8. عيّن الملكية. شخص مسؤول عن تحديث المصادر. وشخص مسؤول عن جودة الإجابات.

هنا يتفوق من يدير العمل بجدية على من يكتفي بتجربة الأدوات. الأداة ليست النظام. دورة التشغيل هي النظام.

6. Prompt pack جاهز للنسخ: قرر قبل بناء RAG

استخدم هذه الـ prompts مع ChatGPT أو Claude أو Gemini أو أي مساعد AI آخر للتخطيط. الصق تفاصيل الـ workflow في الخانات المحددة. لا تطلب من النموذج أن يقرر وحده. استخدمه لكشف منطق القرار.

Prompt 1: RAG أم تعليمات أفضل؟

You are an AI systems analyst. Evaluate whether this workflow needs retrieval-augmented generation or better instructions.

Workflow: paste the task here
Users: paste who uses it here
Inputs: paste what the user provides here
Knowledge needed: paste the facts, documents, policies, or examples needed here
Failure cost: paste what happens if the answer is wrong here

Give me:
1. A clear recommendation: RAG, prompt-only, prompt plus document, custom assistant, or automation.
2. The reason in plain business language.
3. The minimum system I should build first.
4. The risks if I overbuild.
5. The risks if I underbuild.

Prompt 2: تدقيق قاعدة المعرفة قبل RAG

You are auditing our knowledge base before an AI retrieval system is built.

Knowledge source list: paste document names, folder structure, policy list, or page list here

Find:
1. Documents likely to be outdated.
2. Topics with duplicate or conflicting sources.
3. Missing documents needed for reliable answers.
4. Documents that should be excluded from AI answers.
5. A clean source structure for version one.

Prompt 3: إنشاء مجموعة تقييم

You are helping create a test set for an AI assistant that answers only from approved source documents.

Workflow: paste workflow here
Approved sources: paste source list here

Create 30 test questions:
- 10 common questions
- 10 edge-case questions
- 5 questions where the answer is not in the sources
- 5 questions that could be confused with another policy

For each question, provide:
1. Ideal answer style.
2. Source document that should support the answer.
3. What a bad answer would look like.

Prompt 4: قاعدة إجابة لمساعد RAG

Use the provided source context to answer the user.

Rules:
1. Answer only from the provided context.
2. If the context does not contain the answer, say: I do not know based on the provided context.

أين يقف عملك فعليًا؟

قبل أن تضيف أداة جديدة، يستحق أن تعرف إن كان عملك يعتمد على نظام أم عليك أنت. أعددتُ تقييمًا مجانيًا من دقيقتين يمنحك قراءة واضحة لذلك، وأول خطوة يجب إصلاحها. ابدأ التقييم المجاني.