قبل أن تختار بين هندسة الأوامر والتوليد المعزّز بالاسترجاع (RAG) والضبط الدقيق (Fine-tuning)، اعرف أولًا لماذا تخفق الإجابات الحالية. فنقص المعرفة أو تقادمها يُعالَج بإيصال الحقائق الصحيحة إلى سياق النموذج لحظة الإجابة، وغالبًا عبر الاسترجاع. والتعليمات الغامضة أو الناقصة تُعالَج بتعليمات أفضل. أما خلل السلوك المتكرر الذي يبقى رغم وضوح التعليمات وجودة الأمثلة وتوافر الحقائق، فهو ما قد يبرر Fine-tuning. اختر أصغر تغيير يعالج الإخفاق المقيس، ثم اختبر من جديد.
اجمع المخرجات الخاطئة من الاختبار أو من تجربة محدودة، وصنّف كلًّا منها بسببه المرجّح. وتكفي ثلاثة أسئلة لفرز معظمها:
- التعليمات: هل قالت التعليمات بوضوح ما المطلوب، بما في ذلك الصيغة واللغة والجمهور وما يفعله النموذج حين لا يكون متأكدًا؟
- المعرفة: هل كانت لدى النموذج المعلومات التي تتطلبها الإجابة، في سياقه أو من تدريبه على نحو موثوق؟
- السلوك: مع تعليمات واضحة ومعلومات صحيحة، هل يخطئ النموذج بالطريقة نفسها مرة بعد مرة؟
افحصها بهذا الترتيب، فإصلاحات التعليمات والمعرفة أرخص اختبارًا في الغالب. وقد يتعلم Fine-tuning السلوك من الأمثلة، لكنه لا يوفّر وحده أدلة حديثة مرشّحة بالصلاحيات. وحتى الاستشهاد الذي يولّده النموذج يحتاج إلى تحقق من مصدر متاح. صنّف الإخفاقات في مجموعة الاختبار لترى أي فئة تغلب؛ ويشرح دليلنا عن تقييم هلوسة نماذج اللغة كيف تُصنَّف وتُقسَّم إلى شرائح.
شكل 1: افحص ثلاثة أسباب محتملة. التعليمات والمعرفة والسلوك.
من علاماته مخرجات يتغير شكلها من تشغيل إلى آخر، وإجابات بلغة غير مطلوبة، وملخصات بطول لا يمكن توقعه، ونموذج يخمّن صيغة لم يحددها أحد. قد تشير هذه العلامات إلى نقص التعليمات، وقد تنتج أيضًا من حدود قدرات النموذج أو قيود متعارضة.
حدّد المهمة والجمهور والغرض، وعرّف بنية المخرجات، مخططًا (Schema) يتحقق منه الكود حيثما أمكن، وقدّم مثالين أو ثلاثة لمخرجات مقبولة، منها مثال عربي إن كان مستخدموك يكتبون بالعربية، واذكر القيود صراحة، وقل ما يجب أن يفعله النموذج حين لا تكفي المعلومات. أعطِ التعليمات أرقام إصدار كالكود، وأعد تشغيل مجموعة الاختبار عند كل تغيير. فتعديلات التعليمات سهلة الاختبار والتراجع غالبًا؛ قِس أثرها قبل الاستثمار في تغييرات أعقد.
من علاماته أسعار قديمة، وتفاصيل سياسات مختلَقة، وإجابات واثقة عن منتجات لم يرها النموذج قط، أو إجابات تصح لشركة أخرى. النموذج تنقصه المعلومات، ولن تصنعها أي تعليمات.
إذا كانت المعرفة قليلة وثابتة، كبضع صفحات نادرًا ما تتغير، فضع الأجزاء المسموح للمستخدم برؤيتها في التعليمات. وإذا كانت كبيرة أو كثيرة التغير أو يجب أن تحترم من يحق له رؤية ماذا، فاستخدم الاسترجاع: ابحث في المصادر المعتمدة لحظة السؤال، ورشّح النتائج حسب صلاحيات المستخدم، واستشهد بما استُخدم. ويتناول دليلنا عن RAG للشركات هذا التصميم. أما Fine-tuning فوسيلة ضعيفة لإضافة حقائق متغيرة، لأن الاعتماد على الأوزان وحدها لحفظ الحقائق يتطلب تحديثها والتحقق منها عند تغير تلك الحقائق. ولا يضمن الاستشهاد المولّد إمكانية تتبّع المعلومة، كما يصعب تقييد المعرفة المكتسبة حسب صلاحيات المستخدم.
ولأسئلة الأرقام في قاعدة بيانات، كمبيعات الربع الماضي حسب المنطقة، استخدم أداة استعلام للقراءة فقط وحسابات حتمية عند الحاجة. افرض صلاحيات العميل والصفوف، وحدود الاستعلام، وأعد مصدر الأرقام؛ فقد لا يكفي استرجاع النصوص للتجميع الدقيق.
شكل 2: قدّم أدلة مسموحًا بها. افحص الاسترجاع قبل التوليد.
إذا كنت تستخدم RAG بالفعل وما زالت الإجابات خاطئة، فتحقق أولًا مما إذا كانت المقاطع الصحيحة قد وصلت إلى النموذج قبل تغيير أي شيء آخر. فإن لم تصل، فالمشكلة في الاسترجاع: تقسيم يفصل البند عن شروطه، أو بيانات وصفية ناقصة، أو إعدادات بحث، أو مرشّحات صلاحيات أشد مما يلزم. وتغيير تعليمات توليد الإجابة وحدها لا يوفّر مقطعًا مفقودًا. أما إعادة صياغة استعلام البحث أو ضبط المسترجع أو إعادة الترتيب فقد تحسّن الاسترجاع نفسه. تحقق من مرشّحات الصلاحيات مقابل سياسة الوصول الفعلية؛ ولا تخفف القيود الصحيحة لتحسين الاستدعاء. وإن وصلت المقاطع الصحيحة وانحرفت الإجابة مع ذلك، فعد إلى سؤالي التعليمات والسلوك.
يعدّل Fine-tuning أوزان النموذج باستخدام أمثلة للمخرجات المطلوبة. وهو يناسب الإخفاقات التي تبقى بعد وضوح التعليمات وتوافر الحقائق: نظام تصنيف خاص بعملك يخلط فيه النموذج باستمرار، أو أسلوب مؤسسي لا يحافظ عليه عبر آلاف المخرجات، أو صيغة مخرجات موجزة مطلوبة بأحجام كبيرة حيث تضيف التعليمات الطويلة المليئة بالأمثلة تكلفة وزمنًا.
وقبل Fine-tuning قارن بديلين قد يغنيان عن مشروع تدريب: نموذج أساس أقدر قد يؤدي المهمة أصلًا ولو ارتفعت تكلفة استدلاله، وتقسيم المهمة إلى خطوات أصغر لكل منها تعليماتها وفحصها، وهو ما يعالج كثيرًا من أخطاء التقدير التي لا يعالجها طلب واحد. وإن بقيت بحاجة إلى Fine-tuning بعد ذلك، فخطط لمتطلباته: مجموعة منتقاة من أمثلة تدريب مسموح بها لها مالك ومراجعة للخصوصية، ومجموعة اختبار محجوزة لا يراها التدريب، وإجراء لإعادة التدريب حين يتغير نموذج الأساس أو متطلباتك، وتقييم كامل قبل إطلاق كل إصدار جديد.
يمكنك الجمع بين هذه الأساليب. فالجمع بين الاسترجاع للمعرفة وتعليمات دقيقة للصيغة شائع ومنطقي، والجمع بين Fine-tuning لسلوك ثابت والاسترجاع لحقائق متغيرة مشروع أيضًا. أما المتاعب فتبدأ حين يضيف فريقك عدة تغييرات دفعة واحدة دون خط أساس: لا تعود تعرف أيها أفاد، ولا تستطيع إزالة أحدها بثقة.
وتوصي إرشادات Anthropic الهندسية لبناء الوكلاء بالبحث عن أبسط حل يعمل، وبزيادة التعقيد فقط عند الحاجة، مع التنبيه إلى أن الأنظمة الأعقد كثيرًا ما تبادل زمن الاستجابة والتكلفة بأداء أفضل في المهمة؛ وتصف الصفحة أمثلتها المنشورة في ديسمبر 2024 بأنها تاريخية. ونطبّق القاعدة نفسها هنا: أضف تغييرًا واحدًا في كل مرة، وقِسه على مجموعة الاختبار نفسها، وأبقِه فقط إذا قلّت الإخفاقات المستهدفة مع استمرار اجتياز متطلبات الجودة والأمن والتكلفة الأخرى. وإن كنت ما زلت تحدد أي مسارات العمل تستحق هذا الجهد، فيساعدك دليلنا عن اختيار حالات استخدام المساعدات الداخلية على تضييق القائمة.
كل تغيير مما سبق يغيّر الإجابات، فعامله كإطلاق جديد: أعد تشغيل مجموعة الاختبار حسب الشرائح، وقارن بالإصدار السابق، وسجّل ما تغيّر ولماذا. وملحق الذكاء الاصطناعي التوليدي من NIST (NIST AI 600-1)، الذي نُشر في 26 يوليو 2024 امتدادًا لإطار إدارة مخاطر الذكاء الاصطناعي، إرشادات طوعية يمكن أن تساعد في تنظيم هذا التوثيق ومراجعة المخاطر، لكنه لا يمنح النظام شهادة ولا يضمن دقة مخرجاته.
هذه التوصيات إرشادات عملية من تكنوستاك، ولا تفرضها Anthropic ولا NIST. وإن غلبت إخفاقات المعرفة على نتائج اختباراتك، فيمكن لفريق خدمة أنظمة RAG أن يساعدك في تصميم الاسترجاع والصلاحيات والتقييم حول مستنداتك.
- Anthropic. Building effective agents: توصي بأبسط حل يعمل وبزيادة التعقيد عند الحاجة فقط، وتصف أمثلتها المنشورة في ديسمبر 2024 بأنها تاريخية.
- المعهد الوطني للمعايير والتقنية الأمريكي (NIST). Generative Artificial Intelligence Profile (NIST AI 600-1)، نُشر في 26 يوليو 2024 ملحقًا لإطار AI RMF.
