حين يخترع الذكاء الاصطناعي أشياء (وكيف نمنعه)

تسأل ذكاءً اصطناعياً عن بند في عقدك، فيجيب بثقة ويذكر مادة… لا وجود لها. ليس هذا خللاً نادراً: إنها سمة في طريقة عمل هذه النماذج.

لماذا يحدث ذلك

يُدرَّب نموذج اللغة على إنتاج النص الأكثر احتمالاً، لا على التحقق من صحته. وحين لا يعرف، قد يكتب مع ذلك شيئاً يبدو صحيحاً. وهذا ما يسمّى «الهلوسة».

كيف نقلّل المخاطر

1. أعطه مستنداتك: بربطه بملفاتك (مبدأ RAG) يجيب انطلاقاً من مصادرك بدل ذاكرته.
2. اطلب المصادر: إجابة بلا مقطع مستشهَد به يجب أن تثير انتباهك.
3. اسمح له بقول «لا أعرف»: اطلب منه صراحةً الامتناع حين تنقص المعلومة.
4. اختبره بأسئلة تعرف إجاباتها قبل أن تثق به.
5. أبقِ إنساناً في الحلقة في كل ما يهمّ.

الحدود

لا توجد ضمانة تُنزل الخطر إلى الصفر. وفي القرارات الحسّاسة (القانون، المال، الصحة) يحضّر الذكاء الاصطناعي ويتحقّق المختصّ.