ورقة بحثية في ArabicNLP 2026 عن موثوقية كشف الهلوسة في النصوص العربية

شارك نائب رئيسة النادي حسن برمندة، مع باحثين آخرين، بورقة بعنوان "NAMAA Community at HalluScoring-2026: Beyond Predictive Performance: Reliability and Generalization in Arabic Hallucination Detection" في المؤتمر الرابع لمعالجة اللغة العربية (ArabicNLP 2026) المنعقد مع EMNLP 2026 في بودابست.

تذهب الورقة إلى أن كشف الهلوسة في النصوص العربية يحتاج إلى أكثر من درجة ترتيب مرتفعة. فيلزم أيضًا أن يصمد النظام أمام تغيّر البيانات، وأن تكون احتمالاته معايَرة، وأن يعرف متى يؤجّل القرار. يعتمد النظام على نموذج CAMeLBERT يقرأ السؤال والإجابة المولّدة معًا، وبلغت نتيجته 0.7596 في مقياس ROC-AUC. وفي تجارب لاحقة رفع تغيير صياغة المدخل هذا المقياس على الأسئلة غير المرئية من 0.8713 إلى 0.9272، وخفّضت معايرة الحرارة خطأ المعايرة من 0.0993 إلى 0.0562. وتعرض الصورة مخططات الموثوقية قبل المعايرة وبعدها.

الشيفرة المصدرية: https://github.com/NAMAA-ORG/HalluScoring-Arabic-Hallucination-Detection