تقييم وسلامة الذكاء الاصطناعي: أوقف الهلوسات قبل الإطلاق

التقييم هو أكبر فجوة بين عرض الذكاء الاصطناعي ومنتج الذكاء الاصطناعي. وفق إطار NIST لإدارة مخاطر الذكاء الاصطناعي، البرنامج الحقيقي يقوم على أربع وظائف: الحوكمة والرسم والقياس والإدارة، والفرق التي تتجاهلها تشحن الهلوسات إلى العملاء خلال أسابيع من الإطلاق. تقييم وسلامة الذكاء الاصطناعي هو ما يفصل بين نموذج خلف Feature Flag ونموذج على الصفحة الرئيسية.

لماذا أصبح تقييم وسلامة الذكاء الاصطناعي بوابة إطلاق لا خطوة تلميع؟

تقييم وسلامة الذكاء الاصطناعي هو الانضباط الهندسي الذي يقيس صحة النظام وأمانته على المصدر وأنماط فشله قبل الإطلاق وبعده، فتُمسك المخرجات الخاطئة أو الضارة بالاختبارات والحَكَم وأسئلة Red Team بدلًا من العملاء. التعريف مهم لأن معظم "تقييم AI" في 2025 كان مطورًا يضرب النموذج بخمسة Prompts ذكية قبل الإطلاق بيوم ويعتبر العمل منجزًا.

كلفة التجاهل ليست نظرية. Anthropic وOpenAI وكل مختبر رائد جاد ينشر أُطر سلامة تربط الإطلاق بعتبات تقييم. سياسة Anthropic للتوسع المسؤول وإطار OpenAI للجاهزية يجعلان ذلك صريحًا. إن كانت المختبرات الرائدة تتعامل مع التقييم كبوابة إطلاق، فلا عذر لأي تجربة مؤسسية لاعتباره اختياريًا.

وظائف NIST AI RMF الأربع لبرنامج حقيقي

• الحوكمة (Govern). السياسة والمساءلة والأدوار قبل أن يلامس أي نموذج بيانات الإنتاج. من يعتمد النموذج، من يملك الحوادث، من يراجع نتائج Red Team.
• الرسم (Map). فهرسة كل سطح AI (كل ميزة، كل Prompt، كل استدعاء نموذج) وأنماط الفشل المهمة لكل منها: إجابة خاطئة، تسريب بيانات، تحيّز، رفض في الموقف الخطأ.
• القياس (Measure). أدوات التقييم: مجموعات بيانات ذهبية، مرجعيات LLM-as-Judge، مجموعات Prompts عدائية، تسجيل أمانة المصدر، تتبّع زمن الاستجابة والتكلفة.
• الإدارة (Manage). مراقبة مستمرة في الإنتاج، اكتشاف الانحراف، خطط استجابة للحوادث، ومسار تقاعد للنموذج عندما يصل بديل أفضل.

منتجات التقييم التي يستطيع مجلسك قراءتها فعلًا

المجلس لا يريد قراءة الـ Prompt. يريد ثلاثة منتجات عند الطلب:

• المجموعة الذهبية. 200–500 صف مُصدَّر، إجابة الحقيقة الأرضية لكل صف، مرتبطة بالحالة الفعلية، يملكها قسم الأعمال لا فريق AI.
• بطاقة النتائج. الدقة، الأمانة، معدّل الرفض، زمن الاستجابة، تكلفة Tokens لكل حالة، تُحدَّث عند كل تغيير Prompt في CI.
• سجل الحوادث. كل فشل إنتاج، مصنَّف، مفروز، مُحَل بتغيير كود أو حاجز.

إن لم يستطع الفريق إنتاج هذه الثلاثة عند الطلب، فالبرنامج ليس برنامجًا، بل مجموعة عروض غير مُدقَّقة.

خط أنابيب التقييم قبل الإطلاق

هذا التسلسل الذي نشغّله قبل أن تلامس أي ميزة LLM خليجية مستخدمًا حقيقيًا:

1. تحديد أنماط الفشل. خاصة بالحالة: اقتباس سياسة خاطئ، تسريب PII، إجابة متحيّزة، رفض حيث ينبغي الإجابة.
2. بناء المجموعة الذهبية. 200–500 صف مأخوذة من تفاعلات تاريخية حقيقية، بإجابات صحيحة مُصنّفة بشريًا.
3. قياس Offline. تشغيل النموذج على المجموعة بحَكَم LLM. ضع عتبات: حد أدنى للدقة، سقف للهلوسة.
4. Red-team Prompts. فريق ثانٍ يكتب Prompts عدائية لكسر النظام. أضف كل كسر ناجح إلى مجموعة التقييم.
5. ربط المراقبة. تكلفة Tokens، زمن الاستجابة، معدّل الرفض، وعينة مخرجات حية لمراجعة بشرية، في الإنتاج.
6. تعريف الرفض والرجوع. ما يقوله النموذج عند انخفاض الثقة، وما يفعله المهندس عندما تتحوّل لوحة المراقبة إلى الأحمر.

أين تفشل برامج التقييم بهدوء؟

ثلاثة أنماط تقتل برامج أكثر من أي تراجع نموذجي: تَقادُم المجموعة الذهبية لأن لا أحد ممَوَّل لتجديدها، انحراف حَكَم LLM لأن لا أحد يعيد التحقق من مرجعيته، ومسار الرفض مُفعَّل في Dev ومُعطَّل في Prod لأن "المستخدمين اشتكوا". كل واحدة منها مشكلة عملية لا مشكلة نموذج، وكل واحدة تظهر في أول مراجعة حادثة.

عند تنفيذها جيدًا، يكون تقييم وسلامة الذكاء الاصطناعي الفرق بين إطلاق تدافع عنه وإطلاق تعتذر عنه. عند تنفيذها سيئًا، يكون الشريحة التي تبدأ بها مراجعة ما بعد الحادثة. وظائف NIST الأربع وخط الست خطوات هما أصغر برنامج يمكن الدفاع عنه.

أسئلة شائعة

ما هو تقييم وسلامة الذكاء الاصطناعي باختصار؟

تقييم وسلامة الذكاء الاصطناعي هو الانضباط الهندسي الذي يقيس صحة نظام AI وأمانته على المصدر وأنماط فشله قبل الإطلاق وبعده باستمرار، فتُمسك المخرجات الخاطئة أو الضارة بالاختبارات والحَكَم وأسئلة Red Team بدلًا من العملاء.

ما هو إطار NIST لإدارة مخاطر الذكاء الاصطناعي؟

إطار NIST لإدارة مخاطر AI هو معيار أمريكي طوعي منظَّم حول أربع وظائف: الحوكمة والرسم والقياس والإدارة. يعطي برنامج الذكاء الاصطناعي المؤسسي قاموسًا مشتركًا للمخاطر والأدوار والضوابط دون فرض حزمة أو نموذج بعينه.

كيف أوقف هلوسة LLM في الإنتاج؟

لا يمكنك إيقاف هلوسة نموذج رائد كليًا، لكن يمكنك إيقاف معظمها قبل وصولها للعميل. أصِّل الإجابات على سياق مسترجَع، شغّل مجموعة تقييم ذهبية في CI عند كل تغيير Prompt، أضف طبقة حَكَم ناقد للمخرجات عالية المخاطر، وعرّف مسار رفض نظيف عند انخفاض الثقة.

كتبته ليلى ناصر، التي بنت خطوط تقييم AI لبنوك وجهات حكومية في الخليج منذ 2020.