لن تجد «أفضل» نموذج لغة عربي في لوحة ترتيب. فـ Falcon وALLaM وJais وFanar عائلات لكل منها إصدارات متعددة، والنموذج المناسب لك يتوقف على لهجات مستخدميك ومهامك ومكان النشر وشروط الترخيص. والمقارنة التي تستحق ثقتك هي التي تجريها بنفسك: تثبّت إصدارات محددة، وتختبرها على مهامك العربية بشروط متقاربة، وتقرأ النتائج شريحةً شريحة. وهذا الدليل يشرح كيف تصمّم ذلك التقييم.
ولا يسمّي فائزًا، وهذا مقصود. أما المفاضلة بين تشغيل نموذج مفتوح الأوزان على بنيتك التحتية واستدعاء نموذج مستضاف متعدد اللغات، فقرار تشغيلي مستقل يتناوله دليلنا عن النماذج المحلية والمستضافة للعربية.
لا يمكنك اختبار اسم عائلة. فكل عائلة تنشر نماذج متعددة مع الوقت، تختلف في الحجم والتدريب وطول السياق والترخيص. افتح جدول مرشحين فيه صف لكل إصدار محدد (Checkpoint)، وسجّل فيه اسمه وتاريخ إصداره وترخيصه وطول سياقه واللغات التي يدعمها والطريقة التي ستشغّله بها في الإنتاج.
وتكشف المصادر الأولية حجم التباين:
- Falcon: أعلن معهد الابتكار التكنولوجي (TII) عن Falcon Arabic في 21 مايو 2025. تحقق من ترخيص الإصدار الذي ستنشره ومواصفاته بدل الاكتفاء بالإعلان.
- ALLaM: تصف بطاقة نموذج ALLaM-7B-Instruct-preview، المنشورة على صفحة HUMAIN في Hugging Face، نموذجًا بسبعة مليارات معامل، وسياقًا طوله 4,096 رمزًا، ودعمًا للعربية والإنجليزية، وترخيص Apache-2.0، وتذكر أن المركز الوطني للذكاء الاصطناعي في سدايا هو من طوّره. وهذه الحقائق تخص إصدارًا تجريبيًا واحدًا، ولا تقول شيئًا عن بقية عائلة ALLaM.
- Jais: أعلنت جامعة محمد بن زايد للذكاء الاصطناعي (MBZUAI) إطلاق Jais 2 مع Inception وCerebras، فلم يعد Jais-13B القديم الخيار الوحيد في هذه العائلة.
- Fanar: نشر Fanar ملاحظات الإصدار 2.0 لمنظومته الموجّهة للعربية. تحقق من شروط الوصول وتفاصيل النماذج من المصدر قبل أن تضيفه إلى الجدول.
فكل إعلان هو وصف مطوّر لنموذجه. اقرأه لتأخذ منه المواصفات، واترك الترتيب لتقييمك أنت.
شكل 1: حدّد إصدار كل نموذج. سجّل الترخيص والسياق وطريقة التشغيل.
يتفوق النموذج في مهام بعينها، وأنت من يحددها. اكتب ثلاث إلى خمس مهام يجب أن يؤديها النظام، ولكل منها مثال مدخلات ووصف للمخرجات الجيدة. ومن المهام العربية الشائعة: الإجابة من مستندات السياسات الداخلية، وتلخيص شكاوى العملاء، وصياغة المراسلات الرسمية، وتصنيف تذاكر الدعم، واستخراج الحقول من الفواتير والنماذج.
ولكل مهمة قواعد تقييم خاصة بها: قيّم الملخص بشموله وأمانته للأصل، والتصنيف بصحة الفئة، والإجابة من المستندات بمدى دعم المصادر لما تدّعيه. وإذا كان الاسترجاع جزءًا من المهمة، فأعطِ كل النماذج المقاطع المسترجعة نفسها، ليبقى البحث ثابتًا وتقارن النماذج وحدها؛ ويشرح دليلنا عن RAG للشركات كيف تقيّم هذا المسار.
مجموعة الاختبار هي التي تقرر إن كان للتقييم معنى. اطلب من متحدثين أصليين كتابة الحالات من الصفر؛ فالمجموعة المترجمة عن الإنجليزية تفوّت السمات التي تجعل العربية صعبة. ثم صنّف كل حالة بتلك السمات:
- المستوى واللهجة: الفصحى، والخليجية، والمصرية، والشامية، والمغاربية، كما يكتبها مستخدموك فعلًا.
- المزج بين اللغتين: جمل تخلط العربية بالإنجليزية، وعربية مكتوبة بحروف لاتينية.
- اختلاف الإملاء: صور الهمزة، والتاء المربوطة، والألف المقصورة، والنص بتشكيل ودونه.
- مصطلحات المجال: أسماء المنتجات، والمفردات القانونية أو الطبية، والاختصارات التي يستخدمها موظفوك.
- الصيغ: الأرقام العربية المشرقية والغربية، والتاريخان الهجري والميلادي، ومخرجات من اليمين إلى اليسار تتضمن نصًا لاتينيًا.
استخدم مدخلات حقيقية بعد إزالة ما يحدد هوية أصحابها حيثما أمكن. ويتناول دليلنا عن تقييم هلوسة نماذج اللغة قواعد التصنيف وكيف تفكر في حجم كل شريحة.
المقارنة المنضبطة تغيّر النموذج وتثبّت كل ما عداه قدر الإمكان. أبقِ التعليمات والسياق المسترجع وحدود طول المخرجات وإعدادات التوليد كما هي حيثما سمحت النماذج، واستخدم صيغة المحادثة الموثّقة لكل نموذج حتى لا تحسب خطأ التنسيق ضعفًا في العربية. وسجّل في كل تشغيل الإصدار المحدد وطريقة التشغيل والتاريخ.
وتعامل مع طول السياق هنا بوصفه قيدًا صريحًا أكثر منه درجة. فإذا احتاجت مهمة إلى مستندات طويلة داخل الطلب، فلن يستوعب إصدار بسياق 4,096 رمزًا، مثل إصدار ALLaM التجريبي المذكور أعلاه، المدخلات نفسها حتى تغيّر طريقة التقسيم. سجّل ذلك مسألة ملاءمة، واختبر عند الحاجة صيغة من المهمة يستطيع كل المرشحين تشغيلها.
وحين تسمح قيود البيانات، أضف نموذجًا مستضافًا متعدد اللغات خطَّ أساس، لترى هل يستحق النموذج المتخصص في العربية مكانه في مهامك. وإن كان الوصول المستضاف ممنوعًا، فقارن بإصدار متعدد اللغات يُسمح لك بتشغيله.
تختلف أدوات تقسيم الرموز وخيارات التوليد بين النماذج؛ فسجّل الفروق التي لا تستطيع إزالتها، واعتمد حدود مخرجات متقاربة؛ فتطابق القيم لا يضمن تطابق السلوك. وكرّر التوليد عند استخدام أخذ العينات واعرض التباين، فقد لا يعني فرق صغير في مجموعة اختبار صغيرة شيئًا.
شكل 2: وحّد شروط المقارنة قدر الإمكان. راجع المخرجات دون معرفة النموذج.
استعن بمراجعين متحدثين أصليين لا يعرفون أي نموذج أنتج كل إجابة، وأعطهم معايير تفصل بين الصحة، والأمانة للمصادر المقدّمة، والطلاقة والمستوى اللغوي، والمصطلحات، والامتناع عن الإجابة عند الحاجة. والمستوى اللغوي يستحق بندًا مستقلًا: الرد باللهجة العامية قد يكون خطأً في خطاب رسمي، والفصحى المتكلفة قد تكون خطأً في رد محادثة.
اعرض النتائج لكل شريحة مع عدد الحالات، لترى هل يتعامل إصدار ما جيدًا مع أسئلة اللهجة الخليجية ويتعثر في الأسئلة الممزوجة بالإنجليزية. ثم اقرأ المخرجات الفاشلة نفسها؛ فستتعلم من نمط متكرر، كسوء فهم النفي أو أخطاء التذكير والتأنيث أو اختلاق المصطلحات، أكثر مما تتعلمه من نسبة واحدة. وإن استخدمت نموذجًا لتقييم الإجابات، فتحقق منه أولًا مقابل تصنيفات بشرية عربية.
درجات الجودة تجيب عن جزء من السؤال. سجّل الحقائق التشغيلية بجانبها في أعمدة مستقلة بدل دمجها في درجة واحدة: هل يسمح الترخيص باستخدامك التجاري، وهل تستطيع استضافة الإصدار حيث يجب أن تبقى بياناتك، وما زمن الاستجابة وتكلفة التشغيل المتوقعان على بنيتك، وكم مرة يحدّث المطوّر النموذج. فالنموذج الذي يحقق نتائج جيدة ولا تستطيع نشره ضمن قيودك يخرج من القائمة مهما حسنت أرقامه. واحتفظ بسجل قرار قصير يذكر الإصدار المختار والأدلة والقيود والتاريخ، ليعود إليه فريقك حين تظهر إصدارات جديدة.
الترتيبات لا تصمد طويلًا: تظهر إصدارات جديدة، وتتغير التراخيص وشروط الوصول، وتتوقف النتائج على المهمة ومجموعة الاختبار. وجدول درجات من تقييم أجراه غيرك يقول القليل عن مستخدميك، فلذلك يعطيك هذا المقال منهجًا بدل الجدول. وحين تطلق إحدى العائلات نموذجًا جديدًا، أضفه صفًا جديدًا وأعد التقييم نفسه.
هذا المنهج إرشاد من تكنوستاك، ولا يفرضه أي مطوّر للنماذج. وإن كنت تختار نموذجًا يدعم العربية لنظام إنتاجي، فيستطيع فريق خدمة أنظمة الذكاء الاصطناعي أن يصمّم المقارنة وينفّذها معك.
- معهد الابتكار التكنولوجي (TII). إعلان إطلاق Falcon Arabic، 21 مايو 2025.
- HUMAIN. بطاقة نموذج ALLaM-7B-Instruct-preview: عدد المعاملات وطول السياق واللغات والترخيص لهذا الإصدار.
- جامعة محمد بن زايد للذكاء الاصطناعي (MBZUAI). إعلان إطلاق Jais 2 مع Inception وCerebras.
- Fanar. ملاحظات إصدار Fanar 2.0.
