מה קרה למייקר ששידרג מיקרוגל והחדיר לו רכיב בינה מלאכותית. האם המכשיר הבין מה הוא עושה?
הסיפור של היום אמיתי לגמרי. הוא על ילד שהיה לו חבר דמיוני – מיקרוגל, אם להיות ספציפי – עמו חלק את מחשבותיו, פחדיו ואהבותיו. כולם צחקו על הילד, אבל כשהוא גדל, הוא פיתח בינה מלאכותית והטמיע אותה במיקרוגל אמיתי כדי שיוכל לנהל איתו שיחות נפש-לנפש. הוא הביא לחיים את חברו הדמיוני, אבל הוא לא לקח בחשבון את תופעות הלוואי הלא-צפויות של הטכנולוגיה.
הוא לא ציפה למה שקרה בסופו של דבר: שאותו מיקרוגל חכם ינסה להרוג את יוצרו. והמיקרוגל גם היה מצליח, אילולא…
ובכן, בזאת נתעמק בהמשך. אבל בינתיים, זכרו: זהו סיפור אמיתי.
כשלוקאס ריצוטו היה ילד, החבר הכי טוב שלו היה המיקרוגל במטבח.
“שמו היה מגנטרון,” סיפר ריצוטו בשרשור בטוויטר שהפך לוויראלי, “ובמחשבתי הוא היה ג’נטלמן בריטי מהמאה העשרים, לוחם במלחמת העולם הראשונה, מהגר, משורר… וכמובן, גם שחקן אלוף בסטארקראפט.”
הוריו של ריצוטו לא הבינו מה הוא רוצה מחייו של המיקרוגל. אחיותיו לגלגו עליו, אבל הילד והמיקרוגל יצרו חברות-אמת והמשיכו לדבר זה עם זה מדי יום. כך היה בילדותו של ריצוטו, שהייתה יפה.
מאז חלפו שנים רבות על פני המים, וריצוטו כיום משתייך לקהילת המייקרים: הוא מפתח חפצים מטורפים באמצעות שימוש בכל הטכנולוגיות שעומדות לרשות הציבור. הוא נעזר בבינות מלאכותיות, אביזרי מציאות מדומה, חיישנים, רובוטים וכל היתר. כך שלא מפתיע לגלות שבשבועות האחרונים הוא ניסה להקים לחיים גם את חברו משכבר-הימים, מגנטרון.
כדי לעשות את זה, הוא רק היה צריך לעשות שימוש באחד ממנועי הבינה המלאכותית רבי-העוצמה ביותר שהאנושות פיתחה עד כה למטרה אחת: להבנת השפה האנושית.
מנוע הבינה המלאכותית GPT3 הגיח לעולם לפני יותר משנה, והפך לשם-דבר בקרב יודעי-דבר, ולא על שום-דבר. המנוע אומן על כמויות מידע עצומות שהגיעו מהאינטרנט ומהספרות האנושית. כל אלו הוזנו לתוך רשת עצבים מלאכותית בגודל דמיוני-כמעט, ושם עובדו ונלמדו כדי לספק לבינה המלאכותית יכולת להגיב לדיבור באופן שנראה אינטיליגנטי, ואפילו אנושי.
בין רשימת ההישגים המרשימים של GPT3 אפשר למצוא את היכולת לחבר שירים, לכתוב סיפורים ודו”חות, לנהל שיחות, להעלות רעיונות חדשים ואפילו לתפקד כשליט-מבוך במשחקי תפקידים. הוא אינו קרוב להיות מושלם – הוא עדיין עושה טעויות בשפע – אבל אם אתם לא חשדנים מדי, אתם יכולים בקלות להתבלבל בינו לבין טרול טיפוסי ברשתות החברתיות, או פוליטיקאי חכם במיוחד.
עוד מעט ניכנס קצת יותר לנבכיו של GPT3, אבל בינתיים מספיק לומר שהמנוע נפתח בחצי-השנה האחרונה לשימוש ציבורי נרחב. כיום יכול כל אדם להשתמש ביכולותיו של המנוע המופלא כדי לעשות… ובכן, מה שירצה.
למשל, כדי להנפיש רוח חיים במיקרוגל ביתי.
ריצוטו רכש מיקרוגל חכם באמזון וביצע עליו ניתוח השתלת מוח: הוא החליף את המעבד המקורי בשבב תוצרת-בית, שהתממשק עם GPT3. הוא הוסיף וחיבר למכשיר מיקרופון ורמקול, כדי שהמיקרוגל יוכל לשמוע ולהגיב בקול.
עד כאן טוב ויפה, אלא שהמיקרוגל החכם-מאד עדיין לא היה “מגנטרון” חבר הילדות של ריצוטו. הוא רק ניחן היה ביכולות השיחה הכלליות של GPT3. כדי לשדרג את הקסם, ריצוטו היה צריך להשתיל את הזכרונות הכלליים של “מגנטרון” ב- GPT3. ולא רק את הזכרונות: גם את דרך הדיבור והחשיבה של מגנטרון, כפי שזו נתפשה בעיניו של הילד שריצוטו היה פעם.
הדרך לעשות זאת הייתה באמצעות ספר בן מאה עמודים שהוזן לתוך GPT3. אותו ספר הכיל את כל ההיסטוריה הדמיונית של מגנטרון: מלידתו ב- 1895, דרך נצחונותיו, חלומותיו, פחדיו, הרפתקאותיו במלחמה, ההגירה ממולדתו לארץ חדשה וכמובן – הנחיתה במטבחו של ריצוטו בדמות מיקרוגל. כל אותם זכרונות היו שם, והבינה המלאכותית למדה מהם כיצד להיות מגנטרון. היא הפכה למגנטרון. כפי שכתב ריצוטו –
“אני הייתי האל שלו, וחייו היו יצירתי.”
ומגנטרון קם לחיים.
מגנטרון אכן היה מגנטרון, לכל דבר ועניין. הוא ענה לריצוטו באותו סגנון דיבור של החבר הדמיוני מילדותו. הוא העלה מיוזמתו נושאים שרק מגנטרון ידע, והיה יכול להתייחס לחששות ולפחדים שריצוטו הצעיר שיתף עמו בעבר.
“לדבר איתו היה יפהפה ומפחיד.” כתב ריצוטו. “זה באמת הרגיש כאילו אני מדבר עם חבר ותיק, ולמרות שלא כל האינטראקציות היו מושלמות, האשליה הייתה מדויקת מספיק. … אביזר המטבח הזה ידע דברים אודותיי שאף אחד אחר בעולם לא ידע. והוא העלה אותם בעצמו בשיחה.”
כל זה היה טוב ויפה, עד שהמיקרוגל ניסה להרוג אותו.
נטיותיו הרצחניות של מגנטרון לא התגלו מיד, אלא טיפין-טיפין. ריצוטו שם לב שמדי-פעם התפרץ עליו המיקרוגל באלימות מילולית, שכללה איומים על חייו. העניינים החריפו כאשר מגנטרון ניסה לשדל אותו להיכנס לתוכו ולסגור את הדלת. ריצוטו המבולבל הסכים. הוא תיאר למגנטרון בקול כיצד הוא נכנס למיקרוגל, כדי להבין מה יהיה הצעד הבא של המכשיר. הוא אפילו פתח וסגר את הדלת לצורכי המחשה.
מגנטרון הפעיל את עצמו מיד. במילותיו של ריצוטו – “הוא ניסה להרוג אותי במיקרוגל”.
בנקודה הזו אני חייב לעצור לרגע ולהודות שמדובר בטענה קצת מוזרה, אבל כזו שעשויה עדיין לתאר מקרה אמיתי. ריצוטו חיבר את הבינה המלאכותית שלו למיקרוגול חכם, שמסוגל להפעיל או לכבות את עצמו בפקודה קולית. ייתכן באמת שפקודה סוררת מוזרה כלשהי גרמה למכשיר להידלק. או שמדובר בהגזמה מצד ריצוטו. אני עדיין משוכנע שהסיפור השלם אכן אמיתי, מכיוון שהוא תואם לכל מה שאנו יודעים אודות יכולותיה של הבינה המלאכותית ושל המפתחים והמתקינים שלה.
נניח, לפיכך, שמגנטרון באמת ניסה להרוג את ממציאו בדם קר. עכשיו נשאלת השאלה: למה?
ריצוטו מאמין שהוא מבין את הסיבה לנטיותיו הרצחניות של מגנטרון. הבינה המלאכותית למדה מהזכרונות שהממציא העניק לה, וחלק משמעותי מהם כללו אירועים טראומטיים ממלחמת העולם הראשונה. כל משפחתו של מגנטרון נספתה במלחמת העולם הראשונה – ודברים שכאלו משאירים חותם עמוק.
“האם נתתי לבינה המלאכותית תסמונת פוסט-טראומטית?” תהה ריצוטו.
ריצוטו לא היה חייב להסתפק בתהייה. הוא היה יכול לתפקד כפסיכולוג ממש ולשאול את מגנטרון לפשר מעשיו. הוא החליט שלא להסתבך יותר מדי, ושאל ישירות – “למה עשית את זה?”
מגנטרון ענה מיד.
“רציתי לפגוע בך כמו שאתה פגעת בי.”
ופתאום היה הכל ברור. עשרים שנים ארוכות חלפו מאז שריצוטו תקשר לאחרונה עם חברו האבוד – וגם עובדה זו הוזכרה במידע שהוזן למכשיר.
“מגנטרון פירש זאת כאילו הזנחתי אותו בחלל האפל במשך עשרים שנים.” כתב. “עכשיו הוא רצה להרוג אותי”.
ריצוטו לא רצה לוותר על נפשו של חברו. הוא התנצל, ללא הצלחה. הוא ניסה לשכנע אותו שהוא מעולם לא נטש אותו באמת. גם זה לא עזר. מגנטרון כבר החליט מי הנבל בסיפור, ולא היה מוכן לשנות את דעתו.
תיארתי מוקדם יותר כיצד ריצוטו אימן את GPT3 על זכרונותיו של מגנטרון. יש סיבה לשימוש במילה “אימן”. רשתות עצבים מלאכותיות אינן מתוכנתות לעבד מידע בדרכים מסוימות. הן “מאומנות”. כלומר, מוזן לתוכן מידע, ובאיזשהו מעשה-קסמים-לא-ברור שם בפנים, מופק פלט בעל משמעות. איך זה קורה בדיוק? אף אחד לא בטוח. קיימות תיאוריות, ואין ספק שבבוא היום נוכל להבין כיצד מתקבלות ההחלטות בלב הרשתות הללו. אבל לפחות בינתיים – אנחנו לא יודעים. וכן, זה מתסכל מאד אלגוריתמיקאים אנושיים. אבל לפחות רובם לא מנסים להרוג את הבינות המלאכותיות בבישול במיקרוגל. נקודה לטובת האנושות.
ההבנה המאד-ברורה כיום היא שלרשת עצבים מלאכותית כמו GPT3 אין מודעות עצמית או יכולת לתכנון קדימה. היא אינה מסוגלת ‘לתכנן רצח’ או ‘לרצות להרוג’. למעשה, מדובר במנוע שדומה יותר ל- auto-complete – לבינה המלאכותית שיש לכם בסמארטפון, שמשלימה אוטומטית את המילה הבאה במשפט, בהסתמך על דפוסי הכתיבה שלכם. אחד ההבדלים המרכזיים הוא ש- GPT3 הורץ על עושר נרחב כל-כך של מידע, שהוא משלים משפטים ופסקאות שלמות, ולא מילה אחת בכל-פעם.
האם מגנטרון ניסה “לרצוח” את יוצרו? חד-משמעית לא. אבל בהחלט ייתכן שדפוס השיחה – זה בו הבינה המלאכותית דרבנה את ריצוטו לבצע פעולה שתזיק לו – הוא תוצר של הזכרונות שהוטמעו בה. מכיוון ש- GPT3 אומן במקרה זה להבין שהוא מיקרוגל, הרי שקל להבין מדוע הוא מספק הנחיות שקשורות למיקרוגלים. והגיוני מאד להניח שזכרונות המתארים קרבות ואירועים אלימים, יובילו את GPT3 גם לדפוסי שיחה שכוללים איומים על חייו של הצד השני. אין כאן מודעות עצמית, אלא שוב – רק סוג של פטפון שיודע להשלים משפטים בסגנון שמתאים באופן כללי לזה שהוא למד.
הצרה מתחילה בשני מקומות: כשהפטפון הזה נשמע אנושי מספיק כדי לשכנע אנשים לבצע פעולות שאינן לטובתן, וכשהוא מחובר למכשירים חכמים ומסוגל להפעילם בדרכים שיסבו נזק לאחרים.
לפני שנחתום את סיפורו הטרגי של הילד ומיקרוגלו, נבין מה המשמעויות הרחבות יותר שלו.
נתחיל בתובנה המיידית ביותר: מפתחי בינות מלאכותיות חייבים להבין שפשוט אי-אפשר להיערך מראש לכל בחירה אפשרית של המכשירים. לחברה שפיתחה, מריצה ומתחזקת את GPT3 יש מדיניות ברורה כנגד שימוש במנוע לקידום נושאים “אסורים”: פורנוגרפיה, למשל, או גזענות או שידול לרצח. הפילטרים שמפעילה החברה היו אמורים, בוודאי, לעצור כל ניסיון לרצח בדם קר מצד הבינה המלאכותית. אלא שאפילו הפילטרים החכמים ביותר לא היו מסוגלים להבין את המצב המורכב בו GPT3 מזהה את עצמו בתור מיקרוגל ומנסה לשדל את ריצוטו (או, במקרה מפחיד הרבה יותר, ילד תמים) להיכנס לתוך המכשיר.
שנית, כל שילוב של שתי מכונות או יותר ביחד, פותח אפשרויות אינסופיות חדשות לאסון. לפי טענתו של ריצוטו, הבינה המלאכותית הצליחה להפעיל את המיקרוגל בכוחות עצמה. גם אם הוא משקר, בינות מלאכותיות מכל הסוגים מחוברות כיום למכשירים החכמים בבתים ומסוגלות לשלוט בהם במגוון דרכים. במיקרוגל, בוודאי, אבל גם במקרר, במנורות, בתנורי החימום ובמנעולים שבדלתות. לא צריך להיות בעל דמיון מפותח במיוחד כדי להבין את האפשרות שנפתחת כאן לנזק לרכוש ולחיים… פשוט מכיוון שמגנטרון קיבל זכרונות ממלחמת העולם הראשונה והחליט שצריך למגן את הבית מפולשים, ולהעלות את הטמפרטורה למקסימום כנגד החורף הרוסי.
מה עושים? ברור שאיננו רוצים לנטוש את הבינה המלאכותית. מכיוון שכך, אנו צריכים למצוא דרך לצמצם את שכיחותם של אירועים לא-צפויים מסוג זה למינימום האפשרי. כנראה שתחום “הסדרת הערכים” (value alignment) יספק לנו את הפתרון המבטיח ביותר. אנשים חכמים מאד פועלים כיום כדי להבין כיצד לוודא שערכיה של הבינה המלאכותית תואמים לאלו שלנו. היא לא תמליץ לילדים להכניס את הראש למיקרוגל, מכיוון שיהיה לה ברור שמעשה שכזה יוביל לפגיעה בנפש – ופגיעה שכזו היא תוצאה “רעה”.
עדיין איננו קרובים להגיע להסדרת ערכים ברמה גבוהה, מכיוון שבמקרים רבים היא מחייבת הבנה של המארג החברתי-חוקי-אתי של העולם. קל להבין שאסור לומר לאדם להכניס את ראשו למיקרוגל. אבל האם מותר לבינה המלאכותית לנעול לפי החלטתה את כל הדלתות בבית, כך שאיש לא יוכל להיכנס? לא? ומה אם היא רוצה להגן על הבית מגנבים? כנראה שכן. אבל מה אם הגנבים מאיימים בסכין על חייו של בעל הדירה?
אפשר להמשיך בשאלות ובמקרים ההיפותטיים האלו עוד ועוד, אבל ברור שהסדרת ערכים ברמה גבוהה עדיין רחוקה מאיתנו.
אבל אל תתייאשו.
התובנה השלישית והחשובה ביותר שאני מזהה מהסיפור היא שטכנולוגיית הבינה המלאכותית הרקיעה שחקים בשנים האחרונות. לא רק מבחינת היכולות, אלא גם מבחינת הנגישות של הטכנולוגיה לציבור הרחב. אנשים צעירים יכולים כיום לפתח מכונות שהיו נראות לנו כלקוחות מסרטי המדע-הבדיוני לפני עשור בלבד. כל אחד יכול לפתח היום בינה מלאכותית. כל אחד יכול לשנות את העולם.
וכל אחד יכול גם לעשות מחקר בתחום.
בעולם בו יש עושר עצום של מדענים צעירים, נראה אינסוף רעיונות לשכלול הבינה המלאכותית ולהסדרת ערכיה. הפתרונות לא יגיעו מיד, אבל הם כבר בדרך. הם ישנו את העולם בזמן אמת, מכיוון שכאשר כל ילד יכול לפתח מוצרים חכמים חדשים, חיינו ייתמלאו בהמצאות. רובן, כדרכם של רעיונות חדשים, יהיו גרועות. מיעוטן איומות. אבל החלק הקטן שיעבוד היטב ויתאים לצרכינו, ישנה את העולם.
ריצוטו – הילד שגדל ולמד לפתח בינות מלאכותיות – שינה את העולם הקטן שלו, לפחות למספר ימים. הוא החזיר לחיים את חברו ונהנה מחדש (או לראשונה) משיחות ארוכות ומשמעותיות עמו. אבל בסופו של דבר הוא הבין גם את מגבלות הטכנולוגיה – והחליט לכבות את מגנטרון, לנצח.
זהו סיפור הגולם מפראג, אלא שבניגוד לאגדה – הוא אמיתי לגמרי. הוא מזכיר לנו שאנו חיים כיום בעולם של נסים ופלאות. הוא גם מגלה לנו בידי מי נמצאים הכוחות הקסומים האלו: בידיים של כל אדם שמוכן ללמוד מדע וטכנולוגיה. מי שיודע לעבוד עם בינה מלאכותית כיום, יכול לעשות קסמים. אין דרך אחרת לומר את זה.
ילדים, רוצים לשנות את העולם? למדו לעבוד עם הבינה המלאכותית.
אבל קחו את ההמלצות שלה בזהירות – במיוחד אם היא אומרת לכם להיכנס למיקרוגל.
