آموزش طراحی سایت و برنامه‌نویسی وب
توهم هوش مصنوعی چیست؟ روش بررسی صحت پاسخ ChatGPT و Claude
ممکن است یک پاسخ هوش مصنوعی نام نویسنده، سال انتشار و حتی لینک منبع داشته باشد و باز هم اشتباه باشد. ظاهر دقیق پاسخ برای اعتماد کافی نیست. باید ببینید منبع وجود دارد، درباره همان موضوع حرف می‌زند و واقعاً همان ادعا را تأیید می‌کند.
توهم هوش مصنوعی به پاسخ‌هایی گفته می‌شود که اطلاعات نادرست یا ساخته‌شده را به شکل قابل‌قبول ارائه می‌کنند؛ مثل یک تاریخ اشتباه، نقل‌قول جعلی یا ارجاع به پژوهشی که وجود ندارد. ChatGPT و Claude هر دو به بررسی نیاز دارند. در این درس از دستهٔ آموزش هوش مصنوعی یک پاسخ را به ادعاهای کوچک تقسیم می‌کنیم و برای هر کدام تصمیم می‌گیریم: تأیید، اصلاح یا نامشخص.
اگر قرار است تمرین را در حساب این سرویس‌ها انجام دهید، محدودیت دسترسی رسمی از ایران را در درس اول بخوانید. بخش اصلی این روش، یعنی بازکردن منبع و تطبیق ادعا، به قابلیت پولی خاصی وابسته نیست.
چه چیزی باعث می‌شود جواب اشتباه را باور کنیم؟
جمله روان، عدد دقیق و لحن مطمئن ذهن ما را به سمت اعتماد می‌برد. وقتی جواب همان چیزی را می‌گوید که انتظارش را داریم، ممکن است کمتر بررسی کنیم. برای همین بهتر است معیار بررسی را قبل از خواندن نتیجه تعیین کنیم، نه بعد از اینکه از جواب خوشمان آمد.
OpenAI در راهنمای خود صریحاً از خطا در واقعیت‌ها و ارجاع‌های ساختگی نام می‌برد. راهنمای Anthropic نیز روش‌هایی برای کاهش توهم پیشنهاد می‌کند، اما حذف کامل آن را تضمین نمی‌کند. درخواست «فقط جواب درست بده» محدودیت مدل را از بین نمی‌برد.
همه اشتباه‌ها هم از یک جنس نیستند. منبع ممکن است واقعی ولی قدیمی باشد؛ عدد درست باشد ولی واحد اشتباه نقل شود؛ یک شرط از متن حذف شده باشد یا نتیجه پژوهشی محدود به همه افراد تعمیم داده شود. بررسی فقط وجود لینک، این خطاها را پیدا نمی‌کند.
چهار مرحله برای بررسی صحت پاسخ
-
ادعا را جدا کنید. هر جمله قابل بررسی را مستقل بنویسید. جمله «این دستگاه کم‌مصرف است و برای همه محیط‌ها مناسب است» دست‌کم دو ادعا دارد و شاید برای هر کدام مدرک متفاوتی لازم باشد.
-
منبع اصلی را پیدا کنید. از پاسخ بخواهید لینک دقیق و بخش مرتبط را معرفی کند. بعد خودتان لینک را باز کنید. عنوان مقاله، نویسنده یا نام مدل باید با ادعا سازگار باشد.
-
معنا را تطبیق دهید. عدد، واحد، تاریخ، جامعه مورد بررسی و شرط‌های جمله را با اصل منبع مقایسه کنید. وجود کلمه مشابه در صفحه برای تأیید ادعا کافی نیست.
-
نتیجه را ثبت کنید. اگر مدرک مناسب دارید، تأیید کنید. اگر منبع چیز دیگری می‌گوید، اصلاح کنید. اگر مدرک کافی نیست، نامشخص بگذارید و آن را به عنوان واقعیت منتشر نکنید.
تمرین با یک متن کاملاً ساختگی
برای اینکه روش روشن شود، یک دستگاه خیالی به نام «نمونه الف» در نظر بگیرید. این متن، مشخصات هیچ کالای واقعی نیست: «ظرفیت مخزن ۲ لیتر است. در حالت کم‌مصرف، زمان کار تا ۸ ساعت است. استفاده در فضای باز توصیه نمی‌شود.» همین سه جمله را منبع تمرین قرار دهید.
حالا پاسخ فرضی و عمداً خطادار را بخوانید: «نمونه الف یک مخزن ۲ لیتری دارد، همیشه ۸ ساعت کار می‌کند و برای استفاده در فضای باز مناسب است.» ادعای اول با متن سازگار است. ادعای دوم شرط «حالت کم‌مصرف» و قید «تا» را حذف کرده. ادعای سوم با منبع تضاد دارد.
این مثال نشان می‌دهد اشتباه همیشه یک عدد عجیب نیست. همان عدد ۸ در پاسخ آمده، اما معنایش عوض شده است. در بازبینی، به کلمه‌هایی مثل «ممکن است»، «تا»، «در این شرایط»، «برخی» و «توصیه نمی‌شود» توجه کنید. حذف یک قید می‌تواند تصمیم خواننده را تغییر دهد.
فقط بر اساس متن مرجع زیر، ادعاهای پاسخ را بررسی کن. برای هر ادعا بنویس: متن ادعا، بخش پشتیبان در مرجع، وضعیت تأیید یا اصلاح یا نامشخص، و توضیح کوتاه. از دانسته‌های بیرونی برای پرکردن جاهای خالی استفاده نکن. تفاوت عدد، واحد، شرط و میزان قطعیت را مشخص کن. متن مرجع: [متن مرجع را بگذارید]. پاسخ مورد بررسی: [پاسخ را بگذارید].
در این تمرین می‌توانید هر دو متن ساختگی را در یک گفت‌وگوی تازه وارد کنید. موفقیت یعنی ابزار هر سه ادعا را جدا کند و دو تغییر معنایی را نشان بدهد. پاسخ ابزار را باز هم با آن سه جمله اصلی مقایسه کنید؛ نقش بررسی‌کننده‌دادن به مدل، احتمال خطای خودش را صفر نمی‌کند.
ChatGPT و Claude را چطور برای بازبینی به کار بگیریم؟
برای هر دو، مرجع و پاسخ را از هم جدا و با برچسب روشن وارد کنید. اگر فقط بپرسید «این درست است؟»، ممکن است ابزار بدون مدرک کافی پاسخ را تأیید کند. از آن بخواهید هر ادعا را به بخش مشخصی از مرجع وصل کند و نبودن شاهد را صریح بنویسد.
| کار | ChatGPT | Claude |
|---|---|---|
| شکستن پاسخ به ادعا | می‌توانید فهرست ادعاهای قابل بررسی بخواهید. | همان درخواست روی همان پاسخ قابل استفاده است. |
| تطبیق با مرجع | بخش پشتیبان هر ادعا را درخواست کنید. | استناد به بخش مشخص مرجع را درخواست کنید. |
| اطلاعات تازه | جست‌وجوی وب و بازکردن منبع لازم می‌شود. | جست‌وجوی واقعی و وضعیت دسترسی منبع را بررسی کنید. |
| تأیید نهایی | موافقت ابزار، مدرک مستقل نیست. | موافقت با ChatGPT، جای منبع اصلی را نمی‌گیرد. |
دادن پاسخ یک ابزار به ابزار دیگر می‌تواند تناقضی را آشکار کند. اما اگر هر دو یک خطا را تکرار کنند، توافقشان آن را درست نمی‌کند. نتیجه مفید این مقایسه یک فهرست سؤال برای بررسی بیشتر است؛ مرجع نهایی همچنان شواهد مرتبط است.
منبع ساختگی یا نامربوط را پیدا کنید
ابتدا لینک را باز کنید. اگر صفحه پیدا نشد، فوراً نتیجه نگیرید که منبع جعلی است؛ ممکن است نشانی تغییر کرده باشد. عنوان دقیق را در سایت ناشر جست‌وجو کنید. تا زمانی که خود منبع را پیدا نکرده‌اید، ادعای متکی به آن را تأییدشده ننامید.
اگر صفحه باز شد، عنوان، تاریخ و نویسنده را بررسی کنید. سپس بخش مربوط را بخوانید. گاهی یک پاسخ به صفحه عمومی یک سازمان لینک می‌دهد، در حالی که آمار ادعاشده در آن صفحه وجود ندارد. نام معتبر سازمان نمی‌تواند جای جمله یا جدول پشتیبان را بگیرد.
برای نقل‌قول، عبارت را با متن اصلی تطبیق دهید. ترجمه آزاد را داخل گیومه به عنوان گفته دقیق نویسنده منتشر نکنید. اگر فقط خلاصه معنا را دارید، آن را خلاصه معرفی کنید و پیوند منبع بدهید. برای آمار نیز تعریف شاخص، بازه زمانی و واحد را کنار عدد نگه دارید.
وقتی ابزار از جواب اشتباه دفاع می‌کند
تکرار «مطمئنی؟» معمولاً اطلاعات جدیدی به مسئله اضافه نمی‌کند. بخش مخالف منبع را نشان بدهید و سؤال دقیق بپرسید. در مثال دستگاه خیالی، بگویید: «مرجع عبارت در حالت کم‌مصرف را دارد؛ چرا آن شرط در پاسخ حذف شده؟ نسخه اصلاح‌شده را با حفظ همه قیدها بنویس.»
برای این ادعا شاهد کافی ارائه نشده است. آن را قطعی تکرار نکن. اگر به منبع مستقیم دسترسی داری، بخش مرتبط و تاریخش را مشخص کن. اگر نداری، وضعیت را نامشخص بنویس و توضیح بده چه مدرکی برای تأیید لازم است. ادعای مورد بررسی: [ادعا].
اگر همچنان تناقض باقی ماند، همان بخش را کنار بگذارید و مستقیم سراغ مرجع بروید. گفت‌وگوی طولانی با مدل همیشه بهترین مسیر نیست. گاهی خواندن یک پاراگراف دفترچه یا محاسبه دوباره یک عدد، سریع‌تر و قابل اتکاتر است.
میزان بررسی را با پیامد خطا تنظیم کنید
برای پیشنهاد نام یک پوشه، خطا هزینه کمی دارد. برای دارو، قرارداد، پرداخت یا تصمیم مهم کاری، بررسی بسیار جدی‌تری لازم است و ممکن است به متخصص نیاز داشته باشید. این تفاوت باید روی مقدار اعتمادی که به خروجی می‌کنید اثر بگذارد.
تمرین پایانی را روی یک متن عمومی و کم‌خطر انجام دهید: سه ادعای آن را جدا کنید، منبع هر کدام را باز کنید و وضعیتشان را بنویسید. اگر یک مورد نامشخص ماند، همان را نامشخص نگه دارید. خروجی قابل انتشار شما باید فقط شامل ادعاهایی باشد که برای همان بیان و همان شرایط، پشتوانه کافی دارند.
منابع و تاریخ بررسی
آخرین بررسی: ۸ اکتبر ۲۰۲۶. مثال دستگاه و پاسخ خطادار کاملاً ساختگی و برای آموزش روش بررسی هستند.
