هوش مصنوعی خودآگاه نشد؛ محموله هسته‌ای را توهم کرد و نزدیک بود آمریکا و چین را درگیر کند
به گفته CNN، یک گزارش اطلاعاتی نادرست آمریکا که با کمک هوش مصنوعی تهیه شده بود، کشتی چینی را به اجزای یک برنامه تسلیحات هسته‌ای مرتبط کرد و ارتش را به سمت توقیف آن سوق داد. خطر واقعی، ماشینی خودآگاه نبود؛ انسان‌هایی بودند که به نتیجه تولیدشده توسط ماشین اعتماد کردند، بی‌آنکه به‌درستی راستی‌آزمایی شده باشد.
هوش مصنوعی از خواب بیدار نشد، به خودآگاهی نرسید و تصمیم نگرفت با چین جنگ به راه بیندازد.
بنا بر گزارش‌ها، اتفاقی بسیار کمتر سینمایی رخ داد که شاید فهمیدن آن بسیار مفیدتر باشد.
به گزارش CNN به نقل از چهار منبع ناشناس آشنا با حادثه، در جریان جنگ با ایران گزارشی از اطلاعات نظامی آمریکا منتشر شد که مدعی بود یک کشتی چینی در خاورمیانه در حال حمل «اجزای یک برنامه تسلیحات هسته‌ای» است.
ارتش آمریکا آماده‌سازی برای توقیف کشتی را آغاز کرد. دو منبع به CNN گفتند نیروهای مسلح در حال آماده‌شدن برای ورود به کشتی بودند. دو منبع نیز گفتند هواپیماهای نظامی از قبل به پرواز درآمده بودند.
سپس مقام‌ها اطلاعات را دقیق‌تر بررسی کردند.
گزارش با کمک یک چت‌بات هوش مصنوعی تهیه شده بود و بنا بر گزارش‌ها، چت‌بات محموله کشتی را اشتباه تشخیص داده بود. عملیات پیش از ورود نیروها به کشتی متوقف شد.
یکی از منابع ناشناس CNN گزارش را «کاملا نادرست» توصیف کرد و گفت این ماجرا «نزدیک بود جنگی به راه بیندازد».
این توصیف آخر، ارزیابی آن منبع است، نه نتیجه‌گیری رسمی پنتاگون.
و یک قید مهم وجود دارد: اصل این حادثه به‌طور عمومی از سوی پنتاگون، چین یا منبع مستقل دیگری تأیید نشده است. تا ۱۹ سپتامبر، گزارش‌های پیگیری که Israel News Pulse یافته بود، عمدتا به گزارش اولیه CNN بازمی‌گشتند.
کشتی پر از سلاح هسته‌ای نبود
عبارت «محموله هسته‌ای» نیاز به توضیح دارد.
CNN گزارش داد که ارزیابی اطلاعاتی، محموله را به اجزای یک برنامه تسلیحات هسته‌ای مرتبط کرده بود.
این با گفتن اینکه کشتی حامل بمب هسته‌ای، اورانیوم غنی‌شده، پلوتونیوم یا مواد رادیواکتیو بوده، یکسان نیست.
در واقع، محموله واقعی همچنان برای عموم نامعلوم است.
هویت کشتی، مقصد، پرچم، مالک آن و حتی اینکه اجزای ادعایی ظاهرا به برنامه هسته‌ای کدام کشور مربوط بوده‌اند نیز نامعلوم است.
گزارش‌هایی که القا می‌کنند کشتی قطعا راهی ایران بوده یا واقعا مواد هسته‌ای حمل می‌کرده، فراتر از آن چیزی می‌روند که به‌طور عمومی احراز شده است.
آیا هوش مصنوعی واقعا توهم کرد؟
احتمالا به معنای روزمره این واژه. از نظر فنی، هنوز نمی‌دانیم.
CNN گزارش داد که یک تحلیلگر درباره اطلاعات مربوط به فهرست بار کشتی از چت‌بات پرسیده بود. بنا بر گزارش‌ها، سامانه اطلاعات منابع باز را با اطلاعات طبقه‌بندی‌شده شنود و سیگنال ترکیب کرد و به نتیجه نادرست رسید.
سپس، طبق گزارش، تحلیلگر بار دیگر از هوش مصنوعی استفاده کرد تا یافته‌ها را در قالب یک گزارش اطلاعاتی متعارف تنظیم کند.
این مرحله دوم شاید یکی از مهم‌ترین جزئیات کل ماجرا باشد.
یک نتیجه مشکوک تولیدشده توسط ماشین دیگر فقط در پنجره چت‌بات قرار نداشت. ظاهرا به چیزی تبدیل شده بود که شبیه یک محصول اطلاعاتی معمولی به نظر می‌رسید.
این می‌تواند توهم خطرناکی از اعتبار و مرجعیت ایجاد کند.
اما بدون دیدن دستور ورودی، مواد منبع، خروجی مدل، سامانه بازیابی و محموله واقعی، هیچ‌کس خارج از تحقیق نمی‌تواند بداند که آیا این صرفا توهم هوش مصنوعی بوده، یا تلفیق نادرست منابع، اطلاعات پایه معیوب، دستور ضعیف، استفاده نادرست تحلیلگر یا ترکیبی از آنها.
آنچه از روایت CNN روشن به نظر می‌رسد این است که راستی‌آزمایی انسانی تا مرحله بسیار پایانی فرایند ناکام مانده بود.
پنتاگون از قبل می‌دانست چنین اتفاقی ممکن است
هیچ‌یک از اینها ضعف تازه‌کشف‌شده هوش مصنوعی مولد نیست.
وزارت دفاع رسما اصولی برای هوش مصنوعی پذیرفته است که سامانه‌هایش را ملزم به مسئولانه‌بودن، ردیابی‌پذیری، قابلیت اعتماد و کنترل‌پذیری می‌کند. تعریف آن از «ردیابی‌پذیری» مشخصا می‌خواهد کارکنان شیوه کار سامانه‌های هوش مصنوعی را بفهمند و به روش‌ها، منابع داده و مستندات قابل حسابرسی دسترسی داشته باشند.
چارچوب اخلاق هوش مصنوعی جامعه اطلاعاتی آمریکا از این هم فراتر می‌رود. این چارچوب می‌گوید هوش مصنوعی باید قضاوت انسانی و پاسخ‌گویی را در خود داشته باشد، متناسب با خطرات آزمایش شود، محدودیت‌هایش مستند شود و در موارد مقتضی به‌طور مستقل راستی‌آزمایی شود.
کارگروه لیما، ابتکار پنتاگون که مشخصا برای بررسی هوش مصنوعی مولد ایجاد شد، نیز صریحا درباره توهم، توضیح‌پذیری محدود و روش‌های آزمون نابالغ هشدار داده بود. این کارگروه گفت کاربران باید پیش از به‌کارگیری هوش مصنوعی مولد در محیط‌هایی که ایمنی یا امنیت در آنها حیاتی است، این محدودیت‌ها را درک کنند.
هم‌زمان، پنتاگون از طریق ابتکارهایی از جمله «هسته قابلیت‌های سریع هوش مصنوعی» یا AI Rapid Capabilities Cell، با سرعت به دنبال گسترش هوش مصنوعی در فرماندهی و کنترل، برنامه‌ریزی عملیاتی، پشتیبانی تصمیم و فعالیت‌های اطلاعاتی بوده است.
پس مسئله هرگز این نبود که هیچ‌کس نمی‌دانست هوش مصنوعی می‌تواند با اطمینان اشتباه کند.
مسئله این است که وقتی سازمانی این را می‌داند و باز هم اجازه می‌دهد نتیجه تولیدشده توسط هوش مصنوعی پیش از بررسی، بیش از حد در مسیر تصمیم‌گیری پیش برود، چه اتفاقی می‌افتد.
این خطر هوش مصنوعی ارزش توجه دارد
مفیدترین درس این ماجرا تقریبا هیچ ارتباطی با خودآگاهی ماشین ندارد.
هیچ گزارش علنی‌ای نشان نمی‌دهد که چت‌بات می‌فهمیده کشتی چینی چیست، جنگ چیست، می‌خواسته اتفاقی برای کشتی بیفتد یا مستقلا اقدام نظامی آغاز کرده است.
به یک پرسش پاسخ داد.
بنا بر گزارش، انسان‌ها پاسخ را پذیرفتند.
یک انسان آن را به محصول اطلاعاتی تبدیل کرد.
انسان‌های دیگری آماده‌سازی یک عملیات را آغاز کردند.
و سرانجام، انسان‌ها اطلاعات پایه را بررسی و عملیات را متوقف کردند.
این خطری بسیار واقعی‌تر از سناریوی آشنای علمی‌تخیلی است که در آن ماشین ناگهان خواسته‌هایی پیدا می‌کند و تصمیم می‌گیرد بشریت باید از میان برود.
سامانه‌های کنونی هوش مصنوعی مولد می‌توانند پاسخ‌هایی روان، متقاعدکننده و ظاهرا معتبر تولید کنند که نادرست‌اند.
بخش خطرناک از جایی آغاز می‌شود که خواننده پاسخ این نکته را فراموش کند.
بزرگ‌ترین پرسش‌ها هنوز بی‌پاسخ‌اند
هنوز نمی‌دانیم از کدام سامانه هوش مصنوعی استفاده شده است.
کشتی را نمی‌شناسیم.
مقصدش را نمی‌دانیم.
نمی‌دانیم واقعا چه حمل می‌کرده است.
دستور دقیق ورودی را نمی‌دانیم.
نمی‌دانیم کدام فرماندهی آماده‌سازی عملیاتی را تأیید کرده است.
نمی‌دانیم چه کسی اشتباه را کشف کرده است.
و نمی‌دانیم آیا گزارش اطلاعاتی به خوانندگانش گفته بود که هوش مصنوعی در تولید نتیجه آن نقش داشته است یا نه.
این پرسش‌ها مهم‌تر از این هستند که آیا چت‌بات به معنای دقیق فنی واژه «توهم» کرده است.
زیرا اگر روایت CNN دقیق باشد، بخش نگران‌کننده این نیست که سامانه هوش مصنوعی اشتباه کرده است.
سامانه‌های هوش مصنوعی اشتباه می‌کنند.
بخش نگران‌کننده این است که ظاهرا یک اشتباه آن‌قدر اعتبار سازمانی یافته بود که هواپیماها به پرواز درآیند و نیروهای مسلح برای توقیف آماده شوند، پیش از آنکه کسی شواهد بهتری بخواهد.
هیچ خودآگاهی‌ای لازم نبود.
