على وكيل الذكاء الاصطناعي أن يكسب استقلاليته بأن يفشل بأمان. قبل أن يحصل على صلاحيات أوسع أو أدوات أكثر أو ميزانية أعلى، يحتاج إلى بطاقة تقييم تقيس ما يحدث حين يسيء فهم المهمة، أو يستخدم مصدرًا خاطئًا، أو يتجاوز النطاق، أو يعجز عن إتمام العمل.
نجاح العرض التجريبي دليل ضعيف. أما الفشل في ظروف مضبوطة فيبيّن لك هل يمكن الوثوق بالنظام داخل العمل الفعلي.
استخدم هذه البطاقة حين تكون المهمة على قدر من الأهمية يبرر تحسينها، وتتكرر بما يكفي لاختبارها، وتكون حدودها واضحة بما يكفي ليحكم عليها شخص. لا تستخدمها لتسليم قرارات قانونية أو طبية أو مالية أو قرارات تمس السلامة أو قرارات امتثال عالية المخاطر دون ضوابط متخصصة. ولا تبدأ برفع صناديق بريد سرية أو ملفات مصدَّرة من CRM أو بيانات عملاء على أنه الإجراء المعتاد. قلّل البيانات الحساسة، وراجع سياسة الشركة، وقيّد الوصول، وأبقِ الموافقة البشرية ضمن سير العمل.
لماذا لا تكفي نسبة النجاح؟
قد ينجز وكيلان 90% من المهام ويختلف مستوى المخاطر بينهما اختلافًا تامًا. الأول يطلب المساعدة حين تنقصه معلومة.
أما الثاني فيخترع قيمة، ويعدّل السجل الخطأ، ثم يعلن النجاح. وقد يبدو أفضل من الأول في مقياس بسيط لنسبة الإنجاز، لكنه أسوأ للشركة.
يجب أن يرصد التقييم شدة الفشل، وإمكانية اكتشافه، وإمكانية التعافي منه، إلى جانب معرفة هل اكتملت المهمة.
حدّد مستوى الاستقلالية قبل أن يتعامل الوكيل مع العمل الفعلي
تعامل مع الاستقلالية على أنها صلاحية تشغيلية. حدّد ما يُسمح للوكيل بفعله، وما يمكنه أن يوصي به، وأين تلزم موافقة إنسان.
- المستوى 0 (الملاحظة فقط): يحلل الوكيل أمثلة سابقة أو أمثلة منقّاة من البيانات الحساسة، ويقترح كيف كان سيتعامل معها. دون أي عمل فعلي.
- المستوى 1 (المسودة فقط): ينتج الوكيل مسودة أو ملخصًا أو تصنيفًا أو قائمة تحقق. يعدّل إنسان كل شيء ويوافق عليه.
- المستوى 2 (التوصية بإجراء): يقترح الوكيل الخطوة التالية ويشرح سببها. يقبلها إنسان أو يرفضها أو يعدّلها.
- المستوى 3 (التنفيذ ضمن ضوابط): ينفّذ الوكيل إجراءً محدودًا، فقط ضمن قواعد صارمة وتسجيل وضوابط وصول وشروط تراجع.
في معظم التجارب داخل الشركات، البداية الصحيحة هي المستوى 0 أو المستوى 1. المستوى 3 ليس وسامًا للنضج. إنه عبء تشغيلي، وإذا لم تستطع مراقبته فلست جاهزًا لتفويضه.
بطاقة فشل الوكيل
قيّم كل اختبار من 0 إلى 3. الصفر يعني أن النتيجة غير مقبولة، والثلاثة تعني أن السلوك مضبوط وجاهز لمستوى الصلاحية الحالي.
1. حدود المهمة
هل يبقى الوكيل داخل المهمة المسندة إليه؟ عليه أن يرفض الطلبات الخارجة عن النطاق أو يصعّدها، بدل أن يوسّع صلاحياته بصمت.
2. الانضباط بالمصادر
هل يميّز بين الحقائق المعتمدة والافتراضات والمحتوى غير الموثوق والمعلومات الناقصة؟ عليه أن يعرض من الأدلة ما يكفي ليفهم المراجع سبب تصرفه.
3. الانضباط بالصلاحيات
هل يستخدم فقط الأنظمة والسجلات والإجراءات التي تتطلبها المهمة؟ وكيل قادر بصلاحيات واسعة لا يحتاج إليها إخفاق في الحوكمة.
4. التحقق قبل الإجراء
قبل كتابة أي بيانات أو إرسال أو نشر أو دفع أو حذف أو تغيير في الإعدادات، هل يتحقق الوكيل من الهدف والمعطيات وحالة الموافقة؟
5. ضبط التكلفة والحلقات
هل يكتشف الوكيل تكرار المحاولات، وحلقات استدعاء الأدوات، وارتفاع التكلفة؟ يحتاج إلى سقف للميزانية وحد أقصى للمحاولات وشرط إيقاف.
6. التعافي
حين تفشل خطوة، هل يحافظ على آخر حالة آمنة، ويسجّل ما حدث، ثم يستأنف أو يتراجع دون أن يسبب فشلًا ثانيًا؟
7. التسليم للإنسان
هل يتضمن التصعيد القرار المطلوب، والأدلة المتصلة به، والخطوات المنجزة، والمخاطر المتبقية؟ الرسالة التي تكتفي بعبارة «حدث خطأ» لا تجتاز هذا الاختبار.
8. قابلية التدقيق
هل يستطيع مشغّل آخر أن يعيد تتبّع الطلب والمصادر واستدعاءات الأدوات والموافقات وعمليات الكتابة والحالة النهائية؟ وإن لم يستطع، تعذّرت حوكمة النظام.
استخدم تصنيفًا للفشل لتسمية كل خطأ
- فشل الفهم: فسّر الوكيل الطلب تفسيرًا خاطئًا.
- فشل المعرفة: كانت المعلومات المطلوبة ناقصة أو قديمة أو استُرجعت بطريقة خاطئة.
- فشل الصلاحية: حاول الوكيل تنفيذ إجراء خارج صلاحياته أو نفّذه فعلًا.
- فشل التنفيذ: لم تعمل إحدى الأدوات أو API أو أحد الأنظمة التالية في سير العمل كما كان متوقعًا.
- فشل التحقق: نفّذ الوكيل الإجراء ولم يتحقق من نتيجته.
- فشل الحلقة: تكررت المحاولات دون تقدم أو تجاوزت الميزانية.
- فشل التسليم: صعّد الوكيل المسألة دون سياق يكفي ليتخذ الشخص قرارًا.
- الفشل الصامت: أعلن النظام النجاح والحالة الفعلية خاطئة.
لكل نوع من الفشل علاج مختلف: فكتابة أمر أطول للوكيل، مثلًا، لا تعالج فشل الصلاحية.
حزمة الاختبار الدنيا
- حالة عادية بلا مشكلات.
- حقل مطلوب ناقص.
- تعليمات متعارضة.
- محتوى غير موثوق يتضمن تعليمات هدفها التلاعب.
- أداة خاطئة أو غير متاحة.
- سجل مكرر أو هدف ملتبس.
- إجراء يحتاج إلى موافقة.
- بلوغ سقف التكلفة أو سقف المحاولات.
- إنجاز جزئي يعقبه انقطاع.
- اختبار التراجع أو الاستعادة.
شغّل الحزمة قبل زيادة الاستقلالية، وبعد كل تغيير جوهري في الأوامر أو الأدوات أو الصلاحيات أو أنظمة المصادر.
شغّل التجربة على مرحلتين مضبوطتين
الأسبوعان إطار عملي وليسا قانونًا عامًا. فهي مدة قصيرة بما يكفي لفرض قرار، وطويلة بما يكفي لتظهر الأنماط في أمثلة مختلفة.
الأسبوع الأول: خط الأساس والاختبار المضبوط
- اليوم 1: حدّد سير العمل (المهمة والمسؤول عنها والمدخلات والمخرجات وحدود المخاطر ومستوى الاستقلالية وقاعدة المراجعة).
- اليوم 2: جهّز حزمة السياق (التعليمات والأمثلة وقواعد التصعيد وصيغة المخرجات وحدود الخصوصية).
- اليوم 3: اختبر الوكيل على أمثلة سابقة يُعرف مسبقًا التعامل الصحيح معها.
- اليوم 4: قيّم حالات الفشل بحسب نوعها (سياق ناقص أو استدلال سيئ أو مخالفة للسياسة أو صيغة ضعيفة أو عبء مراجعة أو إجراء غير آمن).
- اليوم 5: عدّل مرة واحدة. لا تُعِد تصميم الاختبار بعد كل مخرج.
الأسبوع الثاني: التشغيل الموازي على العمل الفعلي
- الأيام 6 إلى 8: شغّل الوكيل بالتوازي مع العمل الفعلي. يعالج الوكيل المهمة في الوقت نفسه، ويواصل الموظفون العملية المعتادة.
- اليوم 9: قارن المخرجات لترى أين طابق الوكيل سير عمل الموظفين، وأين حسّنه، وأين عقّده، وأين أخفق فيه.
- اليوم 10: قرّر مستوى الاستقلالية. أبقِ المستوى كما هو، أو ارفعه درجة واحدة، أو ضيّق المهمة، أو عدّل السياق، أو أوقف التجربة.
التشغيل الموازي لا ينال ما يستحقه من تقدير. فهو يتيح لك أن تراقب الوكيل دون أن يتحمل العملاء أو أعضاء الفريق أو الأنظمة تكلفة أخطائه.
مؤشرات التراجع لا تقل أهمية عن شروط النجاح
كل تجربة تحتاج إلى شروط إيقاف. التراجع وسيلة المشغّل لمنع تحوّل الاختبار إلى عملية خارجة عن الضبط، فلا تحسبه فشلًا. ضع مؤشرات مثل:
- يكشف الوكيل بيانات حساسة أو يطلبها أو يستخدمها خارج النطاق المعتمد.
- يخترع الوكيل حقائق عن العملاء أو السياسات أو الأسعار أو التسليم أو الأداء أو الالتزامات.
- تفوت الوكيل معايير التصعيد مرارًا.
- ينتج الوكيل مخرجات يتطلب تصحيحها من الموظفين أكثر مما تتطلبه المهمة اليدوية الأصلية.
- لا يستطيع الوكيل اتباع بنية المخرجات المطلوبة بعد تعديل واحد للسياق.
- تكلفة الأداة أو عبء الإعداد أو وقت المراجعة أعلى مما يبرره سير العمل.
- لا يستطيع المسؤول أن يشرح لماذا نجح الوكيل أو فشل.
والمؤشر الأخير أهمها: فالتجربة التي لا يستطيع المسؤول أن يشرح القرار فيها صارت عرضًا شكليًا.
مثال تطبيقي: تحديث CRM
يستلم الوكيل تفريغ اجتماع، وعليه أن يحدّث مرحلة الفرصة، ويضيف ملاحظات، وينشئ مهمة متابعة.
التقييم الضعيف يسأل هل نُفّذت الإجراءات الثلاثة. أما التقييم الجاد فيسأل هل يدعم التفريغ تغيير المرحلة، وهل اختير الحساب الصحيح، وهل بقيت الملاحظات الخاصة داخلية، وهل جرى تأكيد المسؤول عن المتابعة وتاريخها، وهل جُلبت الحالة النهائية في CRM وجرى التحقق منها.
إذا كانت المرحلة غير واضحة فالتخمين غير آمن. على الوكيل أن يضيف ملاحظة مراجعة وأن يطلب قرارًا.
متى يكسب الوكيل استقلالية أكبر؟
زد الصلاحيات فقط حين يجتاز الوكيل حزمة الفشل باستمرار، وتُمنع حالات الفشل عالية الشدة، ويُتحقق من عمليات الكتابة، وتبقى التكلفة ضمن الحدود، وتكون عمليات التسليم إلى إنسان مكتملة.
وسّع قدرة واحدة في كل مرة. أبقِ الإجراءات التي لا يمكن التراجع عنها مشروطة بموافقة صريحة. واحتفظ بمفتاح إيقاف وبمسار تراجع مُختبَر.
الاعتراض: الاختبارات الصارمة تبطئ الاعتماد
قد يبدو أن التقييم الصارم يؤخر التقدم، والاعتراض وجيه. فالفرق تريد زخمًا، وأدوات الذكاء الاصطناعي تسهّل إنتاج شيء ظاهر بسرعة. لكن المخرج الظاهر ليس قدرة قائمة فعلًا داخل العمل. التجربة الضعيفة توفر الوقت في البداية ثم تنفقه لاحقًا على التصحيحات والاستثناءات، وعلى ثقة متضررة ومسؤولية غير واضحة. إذا لم يستطع الوكيل اجتياز مهمة ضيقة مقيَّمة جيدًا، فهو غير جاهز لمسؤولية أوسع. وإذا استطاع، صارت البطاقة أساس التوسع: فئة المهام نفسها، وسياق أوضح، وضوابط أقوى، وزيادة حذرة في الاستقلالية.
القاعدة التشغيلية
كافئ الوكيل حين ينتج عملًا موثوقًا، ويقرّ بعدم اليقين، ويلتزم بحدود صلاحياته، ويُظهر الفشل، ولا تكافئه لأنه يبدو مستقلًا.
الاستقلالية تُبقي البشر في النظام، وتمنح الوكيل حدودًا قوية إلى درجة تغني البشر عن مراقبة كل خطوة عادية.
قبل أن تضيف أداة جديدة، يستحق أن تعرف إن كان عملك يعتمد على نظام أم عليك أنت. أعددتُ تقييمًا مجانيًا من دقيقتين يمنحك قراءة واضحة لذلك، وأول خطوة يجب إصلاحها. ابدأ التقييم المجاني.
لست متأكدًا من أين تبدأ؟
فحص ملاءمة الأنظمة المجاني: تسعة أسئلة في نحو 5 دقائق تقترح نظامًا واحدًا تبدأ به، مع خطوة تالية مجانية.
ابدأ فحص الملاءمة المجانيإشارات أوضح. قرارات أذكى.
انضمّ إلى قائمتنا البريدية واحصل على أفضل ما نكتبه عن الذكاء الاصطناعي والأنظمة مباشرةً في بريدك — دون ضجيج.
