قياس الظهور في إجابات الذكاء الاصطناعي لا ترتيب الكلمات

عرض عليك أحدهم رقمًا. كتب حفنة أسئلة في مساعد ذكي، والتقط صور الإجابات، وعدّ المرات التي ظهرت فيها علامتك، وسمّى ذلك ظهورك في الذكاء الاصطناعي. الرقم يبدو مطمئنًا، ولا تملك طريقة تعرف بها إن كان يعني شيئًا.

وهذا الإحساس في محله، وسببه أدق من الشكوى المعتادة من أن الذكاء الاصطناعي غير قابل للتنبؤ.

ما الذي تصفه النتيجة

تتبّع الترتيب التقليدي يبدأ من استعلام ثابت، ويرصد الموضع مقابل ذلك الاستعلام. أما الظهور في إجابات الذكاء الاصطناعي فأشد اعتمادًا على السياق: قد تتغير الإجابة بصياغة السؤال، وبالتفاصيل التي يقدّمها المشتري، وبالنظام الذي ينتجها.

فالسؤال المفيد ليس: ما ترتيبنا؟ بل: في أي مواقف شرائية نظهر، وفق بروتوكول قياس محدد، وفي أيها لا نظهر؟

والنتيجة ليست صفة ثابتة في العلامة؛ بل نتيجة لبروتوكول القياس الذي اخترته. والأسئلة قلب هذا البروتوكول، لكنه يحتاج بقيته أيضًا: ما الذي يُعدّ ظهورًا، وأي واجهة أو نموذج يُفحص، وأي لغة وسوق يُختبران، وتكرار التشغيل في ظروف قابلة للمقارنة. غيّر أيًّا من هذه، وقد تحصل للعلامة نفسها على رقم مختلف من دون أن يكون الاختلاف دليلًا على خطأ؛ لأن بروتوكول القياس نفسه تغيّر.

قرر ما الذي تعدّه

قبل أن تشغّل شيئًا، قرر ما الحدث المرصود الذي تقيسه. قد يُذكر اسم العلامة. وقد يُستشهد بصفحتها مصدرًا. وقد تظهر خيارًا بين خيارات. وقد يُوصى بها مباشرة.

هذه أربع نتائج مختلفة، وجمعها في رقم واحد يجعل من غير الواضح ما الذي يقيسه ذلك الرقم فعلًا.

وللمقياس الأساسي البسيط، استخدم ظهور اسم العلامة: هل يظهر اسم العلامة نفسه في الإجابة عن هذا الموقف الشرائي؟ وسجّل الاستشهاد بالمصدر، والظهور بين الخيارات، والتوصية بالعلامة كلًّا على حدة. فالتوصية جديرة بأن تُعرف، وجديرة بأن تُعرف بوصفها توصية، لا نقطة داخل مجموع.

مجموعة أسئلة المشتري

مجموعة أسئلة المشتري هي مجموعة صغيرة ثابتة من المواقف الشرائية والأسئلة الدقيقة التي تعيد فحصها بالطريقة نفسها، بدل أن تجمع أسئلة عامة كثيرة مرة واحدة.

وكل عنصر يحمل ثلاثة أشياء، ورابعًا عند الحاجة:

• حالة المشتري — من يسأل، وتحت أي قيد
• السؤال نفسه — الصياغة التي تُستعمل، دون تغيير بين التشغيلات
• النتيجة المرصودة — هل وقع الحدث المُعرَّف في هذا التشغيل، ومعه أي نتيجة أقوى تسجّلها منفصلة
• الواجهة واللغة — أي مساعد، وبأي لغة، حين يختلف ذلك

وحقل الحالة هو ما يمنع المجموعة من الانزلاق إلى موضوعات. فالموضوع هو «برمجيات إدارة المشاريع». أما الحالة فشركة مقاولات تحتاج فواتير بالعربية، وسبق أن استبعدت أدوات أخرى لأن أسعارها لم تناسبها.

ما الذي يخفيه السؤال العام

ما يلي مثال افتراضي معلَن، كُتب لهذا المقال. لا علامة حقيقية، ولا نتيجة مرصودة.

مكتب محاسبة يعمل بلغتين يفحص كيف يظهر. السؤال العام — «أفضل مكاتب المحاسبة للشركات الصغيرة» — يعيد قائمة، والمكتب فيها. فيذهب الرقم إلى التقرير.

ثم يسأل أحدهم السؤال الذي يطرحه عميل حقيقي: «أي مكتب محاسبة يستطيع التعامل مع شركة مسجَّلة محليًا لها شركة أم أجنبية، وتقاريرها بالعربية والإنجليزية معًا؟» فتذكر الإجابة ثلاثة مكاتب، وتصف ما يتولاه كل منها، وتترك المكتب خارجها.

السؤالان كلاهما عن مكاتب المحاسبة. وواحد فقط يحمل قيود المشتري الفعلية.

ومجموعة مبنية على أسئلة عامة وحدها قد تبالغ في التغطية المفيدة، لأنها تزيل تفاصيل قد تغيّر الإجابة. الحجم، والقطاع، والقيد، واللغة، والموقع — والمبدأ أن تُدخل من هذه التفاصيل ما يغيّر الموقف الشرائي فعلًا.

تشغيل واحد يقول القليل

قد تتغير الإجابات بين تشغيل وآخر، وبين حساب وآخر، وباختلاف ظروف النظام. وهذا يجعل ملاحظة واحدة أساسًا ضعيفًا لاستنتاج ثابت.

وإعادة المجموعة الصغيرة نفسها تحت ظروف قابلة للمقارنة تتيح لك أن ترى إن كانت النتيجة نفسها تتكرر. أما المسح العام مرة واحدة فيعطيك أسئلة أكثر في لحظة واحدة؛ بينما المجموعة المحفوظة تتيح لك مقارنة المواقف الشرائية نفسها عبر تشغيلات مختلفة.

والملاحظات المتكررة قد تكشف نمطًا فيما فحصته. وهي لا تحوّل ذلك النمط إلى احتمال للظهور مستقبلًا.

ماذا تقول الفجوة

حين تُظهر المجموعة غيابك عن موقف يهمّك، فتلك معلومة عن الإجابة، وتستحق الفصل عما قد تفعله بعدها.

وللفجوة شكل. قد تكون غائبًا عن الموقف كليًا. وقد تكون حاضرًا موصوفًا بعبارات لا تطابق تموضعك. وقد تظهر بجانب بدائل دون أن تكون الخيار الذي توصي به الإجابة. وهذه ملاحظات مختلفة، وينبغي أن تبقى منفصلة عند التسجيل.

ولا يستطيع أي قدر من التحسين أن يضمن ظهورًا مستقبليًا في إجابة ينتجها نظام لا تتحكم فيه. ولذلك ينبغي لقياس الظهور أن يبلّغ عما رُصد، لا أن يعد بما ستحمله الإجابة التالية.

ابدأ بمجموعة صغيرة من المواقف الشرائية التي تبيع لها فعلًا. اكتب لكل موقف سؤالًا يحمل قيوده الفعلية، وعرّف ما الذي يُعدّ ظهورًا، ثم أعد الأسئلة نفسها في أوقات مختلفة وتحت ظروف قابلة للمقارنة.

وما تحصل عليه صورة محدودة لمواضع ظهور اسم علامتك في المواقف التي اخترت اختبارها — لا نتيجة ظهور عامة. وهي نتيجة تستطيع تفسيرها لأنك تعرف الأسئلة التي أنتجتها وقواعد القياس التي حددتها.

قبل أن تضيف أداة جديدة، يستحق أن تعرف إن كان عملك يعتمد على نظام أم عليك أنت. أعددتُ تقييمًا مجانيًا من دقيقتين يمنحك قراءة واضحة لذلك، وأول خطوة يجب إصلاحها. ابدأ التقييم المجاني.