لن تزيل أي مجموعة اختبار كل هلوسة من نموذج لغوي، ولذلك تعتمد سلامة الإنتاج على ما تحيط به كل إطلاق: بوابة يجتازها التغيير قبل أن يراه مزيد من المستخدمين، ومراقبة للإجابات التي يتلقاها الناس، وإجراء للحوادث يحتوي الضرر في وقته، ومسار تراجع تدرّب عليه فريقك قبل أن يحتاج إليه. بهذه الضوابط الأربعة يواصل فريقك التحسين دون أن يراهن على الحظ في كل إطلاق.
تفترض الضوابط أدناه أن لديك مجموعة اختبار وتصنيفات ومقاييس جاهزة؛ ويشرح دليلنا عن تقييم هلوسة نماذج اللغة كيف تبنيها.
تضع معظم الفرق بوابات للميزات الجديدة، وتمرّر تغييرات هادئة تغيّر الإجابات بالقدر نفسه: إصدار جديد من النموذج، أو تعديل في تعليمات النظام، أو قاعدة تقسيم أو نموذج تضمين مختلف، أو أداة جديدة، أو دفعة كبيرة من المستندات تُضاف إلى الفهرس، أو تغيير في مزامنة الصلاحيات. كل واحد من هذه يستحق رقم إصدار وملاحظة قصيرة والبوابة نفسها.
وعادتان تبقيان الأمر في المتناول. ثبّت إصدار النموذج حيث يسمح المزوّد بذلك، وسجّل النموذج والتعليمات وإصدار الفهرس الذي أنتج كل إجابة، حتى يستطيع من يحقق لاحقًا إعادة بناء الظروف ومحاولة إعادة إنتاج المشكلة. وأبقِ سجل الإطلاق موجزًا: ما الذي تغيّر، وأي إصدار من مجموعة الاختبار شغّلته، والنتائج لكل شريحة، ومن وافق ولماذا. وهذا السجل نفسه هو الدليل الذي سيطلبه مراجع الحوكمة.
بوابة الإطلاق مجموعة شروط تتفقون عليها قبل التشغيل. فالمعايير التي تُكتب بعد ظهور الدرجات تميل إلى ما حققه الإصدار الجديد أيًّا كان.
والبوابة المفيدة تفصل بين الشروط المانعة والشروط الاسترشادية. في مساعد توضيحي لسياسات الموارد البشرية، قد تكون الشروط المانعة: نجاح كل اختبارات الصلاحيات، وعدم ظهور ادعاءات غير مدعومة جديدة في شريحة الرواتب والإجازات، واستمرار الامتناع عن الإجابة عن الأسئلة التي لا يغطيها أي مستند متاح، ومراجعة الشريحتين العربية والإنجليزية. أما الشروط الاسترشادية فقد تتعلق بطول الإجابة أو زمن الاستجابة. وتعتمد العتبات على كلفة الخطأ في كل شريحة، وهذا قرار عمل، لذا يعتمدها مالك عمل مسمّى، ولا يوقّع عليها فريق الهندسة وحده.
حين يفشل شرط مانع، أصلحه وأعد الاختبار، أو ضيّق نطاق الإطلاق إذا استطعت عزل القدرة المتعثرة وإبقاء الباقي آمنًا. وإخفاق الصلاحيات يمنع الإطلاق بلا استثناء. أما المعايير الاسترشادية فيمكن للمسؤول تسجيل استثناء محدد المدة لها مع الخطر المتبقي وتاريخ المراجعة، ولا يُسقط أي استثناء المتطلبات الأمنية أو القانونية الواجبة. وصمّم الإجراء بحيث لا يستطيع أحد تجاوز البوابة دون أثر مكتوب.
اجتياز البوابة في الاختبار لا يثبت أن النظام سيحسن التصرف مع الاستخدام الحقيقي؛ فالأسئلة الحقيقية تبتعد شيئًا فشيئًا عن أي مجموعة اختبار. وسّع الوصول على مراحل:
- تشغيل ظلّي. يجيب الإصدار الجديد عن الأسئلة الحقيقية بالتوازي بينما يرى المستخدمون الإصدار الحالي، ويقارن المراجعون بين الاثنين على عينة.
- مستخدمون داخليون. يستخدمه موظفون يعرفون المجال، ويبلّغون عن المشكلات عبر قناة واضحة.
- مجموعة صغيرة. عدد محدود من المستخدمين الحقيقيين خلف مفتاح تشغيل (Feature Flag) تطفئه في لحظة.
- إطلاق أوسع. فقط بعد أن تمرّ المراحل السابقة دون نمط إخفاق جديد.
وفي كل مرحلة أبقِ الإصدار السابق وتعليماته وإعدادات نموذجه ونسخة فهرسه جاهزة للاستعادة. وقبل إرجاعها، طبّق الصلاحيات الحالية والحذف الواجب والإصلاحات الأمنية؛ فلا يجوز أن تعيد نسخة قديمة من الفهرس وصولًا سحبه أحد بعدها.
شكل 1: وسّع الوصول على مراحل. احتفظ بمسار استعادة مُختبر.
تعتمد مراقبة تطبيق مبني على نموذج لغوي على العينات والمؤشرات، لأنه لا يوجد مقياس آلي واحد يثبت صحة الإجابات عبر كل أسئلة الإنتاج. لذلك اجمع بين:
- مراجعة بشرية لعينات. يصنّف المراجعون عينة منتظمة من الإجابات الحية بالدليل الذي استخدمتموه في مجموعة الاختبار، موزعة حسب الشرائح والعربية منها.
- فحوص آلية. وجود معرّفات المقاطع المستشهد بها، وأن ذلك المستخدم مخوّل برؤية تلك المقاطع، وتطابق القيم المنقولة ووحداتها مع مصادرها، والتزام المخرجات بالصيغة المطلوبة.
- بلاغات المستخدمين. طريقة ظاهرة للإبلاغ عن مشكلة، يصل بها البلاغ إلى مالك المستند بدل بريد لا يفتحه أحد.
- تغيّر المعدلات. تحوّلات في معدل الامتناع عن الإجابة، أو الاسترجاع الفارغ، أو أخطاء الأدوات، أو التكلفة، أو زمن الاستجابة.
المؤشر المتغيّر يدلّك أين تنظر، ولا يثبت أن الجودة تحسّنت أو تراجعت. وراقب ما يتغيّر خارج فريقك أيضًا: تعديل المستندات، وإعادة تنظيم الصلاحيات، وتحديثات المزوّد لنماذجه قد تغيّر الإجابات دون أي إطلاق من جهتك. وقيّد الوصول إلى سجلات المراقبة، وقلّص محتواها، وحدّد لها مدة احتفاظ.
حين تسبب إجابةٌ ضررًا أو قد تسببه، كسياسة خاطئة وصلت إلى موظفين كثيرين، أو محتوى مقيّد ظهر لشخص غير مخوّل، أو إجراء نفّذته أداة بناءً على معلومة خاطئة، فتعامل معها كأي حادثة إنتاج.
احتوِ الضرر أولًا. جهّز الخيارات قبل الإطلاق: إطفاء الميزة عبر مفتاحها، أو الانتقال إلى وضع أكثر أمانًا مثل عرض نتائج البحث وروابطها دون إجابة مولّدة، أو حذف المستند المعني من الفهرس أو تقييده، أو تعطيل أداة بعينها، أو التراجع إلى الإطلاق السابق.
ثم حقّق. احفظ الأدلة تحت وصول مقيّد: السؤال، ومعرّفات المقاطع المسترجعة والمسموح بها، والإجابة، والإصدارات المعنية. حدّد المرحلة التي أخفقت: المستند، أو الاسترجاع، أو الصلاحيات، أو التعليمات، أو النموذج. أضف الحالة إلى مجموعة الاختبار حتى تلتقطها البوابة في المرة القادمة، وقرّر مع المالك هل يلزم إبلاغ المستخدمين المتأثرين. وحين ينفّذ وكيلٌ إجراءات، تزداد أهمية قواعد الموافقة؛ ويتناولها دليلنا لوكلاء الذكاء الاصطناعي للمديرين التقنيين.
شكل 2: احتوِ الضرر قبل التحقيق. التراجع يحافظ على الصلاحيات الحالية.
لا ينجح التراجع إلا إذا أعطيت كل المكونات التي تغيّر الإجابات أرقام إصدار معًا: إعدادات النموذج، والتعليمات، وإعدادات الاسترجاع، وتعريفات الأدوات، والفهرس. اكتب دليل تشغيل قصيرًا يحدد من يحق له إطلاق التراجع وكيف، ثم جرّبه في بيئة غير إنتاجية قبل الإطلاق.
وكن واضحًا في ما لا يلغيه التراجع: التراجع عن كود التطبيق لا يسحب رسالة أُرسلت، ولا يفتح تذكرة أُغلقت، ولا يعيد سجلًا عدّلته أداة. يمكنك إصلاح بعض التغييرات بإجراء تصحيحي تتحقق منه على حدة، أما الرسائل المرسلة وآثارها فقد تكون خارج الاسترداد. وهذه أقوى حجة لاشتراط موافقة بشرية قبل أن ينفّذ نظام ذكاء اصطناعي إجراءات لها أثر خارجي.
يصف NIST إطاره لإدارة مخاطر الذكاء الاصطناعي بأنه إرشادات طوعية، فهو ليس شهادة ولا قانونًا، ويقوم على أربع وظائف: Govern وMap وMeasure وManage. وفي قراءتنا، تقع بوابات الإطلاق بين Measure وManage، بينما الاستجابة للحوادث والتراجع من عمل Manage، والملكية التي تقف خلفها من عمل Govern. وقد نشر NIST في 26 يوليو 2024 ملحق الذكاء الاصطناعي التوليدي (NIST AI 600-1) امتدادًا للإطار. لا يضمن أيٌّ من المرجعين سلوكًا آمنًا، لكنهما يساعدان على تنظيم الضوابط والأدلة. وللملكية وجرد الأنظمة والنطاق القانوني، راجع دليلنا عن حوكمة الذكاء الاصطناعي بين NIST وقانون الذكاء الاصطناعي الأوروبي.
هذه الممارسات إرشادات من تكنوستاك، لا متطلبات من NIST. وإن كنت تجهّز ميزة ذكاء اصطناعي للإطلاق، فيمكن لفريق خدمة أنظمة الذكاء الاصطناعي أن يساعدك في إعداد البوابات والمراقبة والتراجع حولها.
- المعهد الوطني للمعايير والتقنية الأمريكي (NIST). Generative Artificial Intelligence Profile (NIST AI 600-1)، نُشر في 26 يوليو 2024 امتدادًا لإطار AI RMF.
- المعهد الوطني للمعايير والتقنية الأمريكي (NIST). AI Risk Management Framework: إرشادات طوعية منظمة حول وظائف Govern وMap وMeasure وManage.
