تشخیص خطا و انتخاب پاسخ درست
گزارش HalluScoring ارزیابی پاسخ‌های عربی مدل‌های زبانی را در دو مسیر بررسی می‌کند: تشخیص پاسخ نادرست در پرسش‌ها و مدل‌های دیده‌نشده، و انتخاب پاسخ صحیح از شش گزینه در دانش اسلامی و عمومی.
آزمون بر داده‌های HalluScore و HalluTruthQA انجام شده؛ سیزده تیم شرکت کردند و ده تیم مقاله شرح سامانه ارائه دادند. در نسخه دوم، بهترین امتیازهای AUC-ROC مسیر نخست ۰٫۷۷۱۷ و ۰٫۷۶۷۰ و امتیازهای ترکیبی مسیر دوم، با ارزیابی کمکی، ۰٫۸۸۲۴ و ۰٫۸۵۶۵ گزارش شده‌اند.
وضعیت انتشار
پیش‌چاپ در ۷ مهر ۱۴۰۵ (۲۹ سپتامبر ۲۰۲۶) ثبت و ۹ مهر (۱ اکتبر) اصلاح شده است. این اعداد ارزیابی یک مجموعه‌آزمون‌اند و تضمین صحت پاسخ‌های دینی نیستند.