הבינה המלאכותית לא פיתחה תודעה. היא הזתה מטען גרעיני וכמעט הציתה עימות בין ארה״ב לסין

לפי CNN, דוח מודיעין אמריקאי שגוי שנוצר בסיוע בינה מלאכותית קשר אונייה סינית לרכיבים של תוכנית נשק גרעיני ודחף את הצבא לקראת עצירתה. הסכנה האמיתית לא הייתה מכונה בעלת תודעה. היא הייתה בני אדם שסמכו על מסקנה שיצרה מכונה ושלא אומתה כראוי.

הבינה המלאכותית לא התעוררה, פיתחה מודעות עצמית והחליטה לפתוח במלחמה עם סין.

לפי הדיווח, התרחש דבר הרבה פחות קולנועי, וככל הנראה מועיל הרבה יותר להבנה.

לפי CNN, שציטטה ארבעה מקורות אנונימיים המכירים את האירוע, במהלך המלחמה עם איראן הופץ דוח מודיעין צבאי אמריקאי שטען כי אונייה סינית במזרח התיכון מובילה ״רכיבים של תוכנית נשק גרעיני״.

צבא ארה״ב החל להיערך לעצירת האונייה. שני מקורות אמרו ל-CNN שאנשי צוות חמושים התכוננו לעלות עליה. שני מקורות אמרו שמטוסים צבאיים כבר היו באוויר.

אז בחנו גורמים רשמיים את המודיעין מקרוב יותר.

הדוח הוכן בסיוע צ׳אטבוט של בינה מלאכותית, ולפי הדיווח הצ׳אטבוט זיהה באופן שגוי את המטען שהאונייה נשאה. המבצע נעצר לפני שאנשי הצוות עלו על כלי השיט.

אחד המקורות האנונימיים של CNN תיאר את הדוח כ״שגוי לחלוטין״ ואמר שהאירוע ״כמעט התחיל מלחמה״.

התיאור האחרון הוא הערכת המקור, ולא מסקנה רשמית של הפנטגון.

ויש הסתייגות חשובה: האירוע עצמו לא אושר בפומבי בידי הפנטגון, סין או מקור עצמאי אחר. נכון ל-19 בספטמבר, דיווחי ההמשך שאיתר Israel News Pulse מסתמכים ברובם על הדיווח המקורי של CNN.

זו לא הייתה אונייה מלאה בנשק גרעיני

הביטוי ״מטען גרעיני״ דורש הבהרה.

CNN דיווחה שההערכה המודיעינית קשרה את המטען לרכיבים של תוכנית נשק גרעיני.

אין פירוש הדבר שנאמר כי האונייה נשאה פצצה גרעינית, אורניום מועשר, פלוטוניום או חומר רדיואקטיבי.

למעשה, תוכן המטען האמיתי עדיין אינו ידוע לציבור.

כך גם זהות האונייה, יעדה, הדגל שהיא נושאת, בעליה ואפילו תוכנית הגרעין של איזו מדינה נקשרה לכאורה לרכיבים הנטענים.

דיווחים שלפיהם האונייה בוודאות הפליגה לאיראן או נשאה בפועל חומר גרעיני חורגים ממה שהוכח בפומבי.

האם הבינה המלאכותית באמת הזתה?

כנראה במובן היומיומי של המילה. במובן הטכני, אנחנו עדיין לא יודעים.

CNN דיווחה שאנליסט שאל צ׳אטבוט על מידע מודיעיני הנוגע למצהר המטען של האונייה. לפי הדיווח, המערכת שילבה מידע ממקורות גלויים עם מודיעין אותות מסווג והפיקה את המסקנה השגויה.

לפי הדיווח, האנליסט השתמש לאחר מכן שוב בבינה מלאכותית כדי לארוז את הממצאים בדוח מודיעיני במתכונת רגילה.

השלב השני הזה עשוי להיות אחד הפרטים החשובים ביותר בסיפור כולו.

מסקנה מפוקפקת שיצרה מכונה כבר לא נשארה בחלון של צ׳אטבוט. נראה שהיא הפכה למשהו שנראה כמו תוצר מודיעיני רגיל.

כך עלולה להיווצר אשליה מסוכנת של סמכות.

אבל בלי לראות את ההנחיה שניתנה, חומרי המקור, פלט המודל, מערכת אחזור המידע והמטען האמיתי, איש מחוץ לחקירה אינו יכול לדעת אם זו הייתה הזיה של בינה מלאכותית בלבד, מיזוג לקוי של מקורות, מודיעין בסיסי שגוי, הנחיה גרועה, שימוש לא נכון של האנליסט או שילוב ביניהם.

מה שכן נראה ברור מהדיווח של CNN הוא שהאימות האנושי כשל עד שלב מאוחר מאוד בתהליך.

הפנטגון כבר ידע שזה עלול לקרות

שום דבר מכל זה אינו חולשה חדשה שהתגלתה בבינה מלאכותית יוצרת.

משרד ההגנה אימץ רשמית עקרונות לבינה מלאכותית המחייבים את מערכותיו להיות אחראיות, ניתנות למעקב, אמינות ונתונות לשליטה. ההגדרה שלו ל״ניתנות למעקב״ דורשת במפורש מאנשי הצוות להבין כיצד מערכות בינה מלאכותית פועלות, ולקבל גישה לשיטות עבודה, למקורות נתונים ולתיעוד שניתן לבקר.

המסגרת האתית לבינה מלאכותית של קהילת המודיעין האמריקאית מרחיקה לכת עוד יותר. היא קובעת שיש לשלב בבינה מלאכותית שיקול דעת אנושי ואחריותיות, לבחון אותה בהתאם לסיכונים, לתעד את מגבלותיה ולאמת אותה באופן עצמאי כשמתאים.

וכוח המשימה לימה, יוזמת הפנטגון שהוקמה במיוחד לבחינת בינה מלאכותית יוצרת, הזהיר במפורש מפני הזיות, יכולת מוגבלת להסביר את פעולת המערכת ושיטות בדיקה לא בשלות. הוא קבע שמשתמשים חייבים להבין את המגבלות האלה לפני הפעלת בינה מלאכותית יוצרת בסביבות שבהן הבטיחות או הביטחון קריטיים.

במקביל, הפנטגון פעל במהירות להרחבת השימוש בבינה מלאכותית בפיקוד ושליטה, בתכנון מבצעי, בתמיכה בקבלת החלטות ובפעילות מודיעינית, באמצעות יוזמות ובהן תא היכולות המהירות לבינה מלאכותית, AI Rapid Capabilities Cell.

לכן הבעיה מעולם לא הייתה שאיש לא ידע שבינה מלאכותית יכולה לטעות בביטחון רב.

הבעיה היא מה קורה כשארגון יודע זאת ובכל זאת מאפשר למסקנה שיצרה בינה מלאכותית להתקדם רחוק מדי לפני שמישהו בודק אותה.

זה סיכון הבינה המלאכותית שכדאי לשים לב אליו

הלקח המועיל ביותר מהאירוע כמעט שאינו קשור לתודעה של מכונה.

שום דבר שדווח בפומבי אינו מצביע על כך שהצ׳אטבוט הבין מהי אונייה סינית, הבין מהי מלחמה, רצה שמשהו יקרה לכלי השיט או יזם בעצמו פעולה צבאית.

הוא ענה על שאלה.

לפי הדיווח, בני אדם קיבלו את התשובה.

אדם הפך אותה לתוצר מודיעיני.

בני אדם אחרים החלו להכין מבצע.

ולבסוף, בני אדם בדקו את המידע שבבסיסו ועצרו אותו.

זו סכנה מציאותית הרבה יותר של בינה מלאכותית מהתרחיש המוכר של המדע הבדיוני, שבו מכונה מפתחת פתאום רצונות ומחליטה שהאנושות צריכה להיעלם.

מערכות הבינה המלאכותית היוצרת של היום יכולות להפיק תשובות שוטפות, משכנעות וסמכותיות למראה, שהן שגויות.

החלק המסוכן מתחיל כשהאדם שקורא את התשובה שוכח זאת.

השאלות הגדולות עדיין לא נענו

אנחנו עדיין לא יודעים באיזו מערכת בינה מלאכותית השתמשו.

אנחנו לא יודעים מהי האונייה.

אנחנו לא יודעים מה היה יעדה.

אנחנו לא יודעים מה היא נשאה בפועל.

אנחנו לא יודעים מה הייתה ההנחיה המדויקת.

אנחנו לא יודעים איזה פיקוד אישר את ההכנות המבצעיות.

אנחנו לא יודעים מי גילה את הטעות.

ואנחנו לא יודעים אם הדוח המודיעיני הבהיר לקוראיו שבינה מלאכותית הייתה מעורבת בהפקת המסקנה שלו.

השאלות האלה חשובות יותר מהשאלה אם הצ׳אטבוט ״הזה״ במובן הטכני המדויק של המילה.

כי אם הדיווח של CNN מדויק, החלק המטריד אינו שמערכת בינה מלאכותית טעתה.

מערכות בינה מלאכותית טועות.

החלק המטריד הוא שטעות צברה כנראה די אמינות מוסדית כדי שמטוסים ימריאו ואנשי צוות חמושים יתכוננו לעצירת אונייה, לפני שמישהו דרש ראיות טובות יותר.

אין צורך בתודעה.