אני משתדל לעסוק בבלוג זה בנושאים שברומו של עולם: תרופות לסרטן, בינות מלאכותיות שמשתלטות על העולם, עתיד העבודה וכן הלאה. אלא שמדי פעם מגיע לתשומת לבי סיפור מיוחד כל-כך, שאיני יכול אלא לעצור הכל ולכתוב עליו. כזה הוא סיפורו של הרובוט ש(לא) חשב שהוא יכול.
סיפורנו מתחיל בסוף ינואר 2017, כאשר כלי-טיס בלתי-מאויש (כטב”ם) שוגר מאריזונה שבארצות הברית במשימת אימונים פשוטה. שמו של הרובוט? צל (Shadow) RQ-7Bv22. נקרא לו בקיצור, צילי. רובוטים מסוגו של צילי משמשים לניטור אחר מטרות צבאיות לרוב, ואינם אמורים להתרחק יותר ממאה ועשרים קילומטרים מהתחנה השולטת בהם. אבל לצילי היו תכניות אחרות: מיד לאחר השיגור התנתק הקשר בינו לבין תחנת השליטה.
כלים פשוטים יותר היו בוודאי מתרסקים כמה דקות לאחר אובדן התקשורת, אך צילי היה מיוחד. כטב”מים מסוג Shadow נהנים מרמה גבוהה של אוטונומיות. או במילים פשוטות, הם מסוגלים להישאר באוויר ולהמשיך למלא את המשימה גם אם הם מאבדים את הקשר עם המפעיל. מסיבה זו אני מרשה לעצמי לקרוא להם רובוטים אוטונומיים. אלא שצילי לא ידע מה המשימה שלו. וכפי שהבינו לפתע בני-האדם שנותרו על הקרקע מתחת לצלו של צילי, אף אחד בעצם לא ידע מה המשימה שלו.
כלי טיס בלתי-מאוישים מתוכנתים להתנהג בצורות שונות כאשר הם מאבדים תקשורת עם הקרקע. חלקם חגים באוויר מעל נקודה מסוימת עד לחידוש הקשר. אחרים מנמיכים רום ומנסים לנחות, או שמנסים לחזור לנקודה ממנה שוגרו במקור. מערכות חירום מופעלות ברגע שהכטב”ם מבין שהוא בודד עתה בשמים. אבל עבור צילי, נראה שהמערכות הללו לא הופעלו. סברה אחרת היא שצילי זכר בשוגג את הקואורדינטות של ביתו הקודם בבסיס צבאי במדינת וושינגטון, וניסה בגבורה לחזור לשם. או שאולי מערכות החירום לא הופעלו כלל, וצילי פשוט המשיך לשייט בשמים, במסעו אל הלא-נודע.
כך או כך, צילי הותיר מאחוריו את החיילים והמהנדסים המתוסכלים, והחל לטוס צפונה. צפונה, צפונה, צפונה, תוך שהוא מתעלם מכל ניסיון לחדש עמו קשר. הוא התרומם באוויר על גבי הרוחות החזקות, ונעזר בהן כדי לשייט מעל ליערות ושמורות אינדיאנים. כל אותו זמן, עקבו אחריו הרשויות באמצעות מערכות רדאר, אך לאחר חמש שעות הגיע צילי להרי הרוקי. הוא לא היה אמור להיות מסוגל לעבור אותם, ואנשי הצבא איבדו את חתימת הרדאר שלו באותה נקודה והניחו שהוא התרסק.
הוא לא התרסק. הוא רק התרומם עוד יותר גבוה, לרום של 4,000 מטרים, והפליג אל מעל ומעבר להרי הרוקי, לגבהים שלא תוכנן עבורם, למרחקים שלא נועד לגמוע. הוא המשיך צפונה, בלתי-נלאה, במסע בן אלף קילומטרים , עד שהתרסק בסמוך לדנוור. עדיין איננו יודעים מה היתה הסיבה להתרסקות, אך קשה להאמין שצילי היה יכול להמשיך עוד זמן רב, מאחר והדלק שלו בוודאי נגמר כבר, או היה קרוב להיגמר, באותו הזמן.
וזהו סיפורו של צילי, הרובוט שלא חשב שהוא יכול – מכיוון שאין לו כלל יכולת חשיבה – אבל שבדרך-לא-דרך גמע מרחקים שלא היה אמור לעבור, בפרק זמן שלא היה אמור לשרוד בשמים, ובניגוד להנחיות שהיה אמור לקבל.
יומם של הרובוטים האוטונומיים
צילי הוא רק חלק מדור חדש של רובוטים – כאלו הנהנים מאוטונומיות מוגבלת, ומסוגלים להוציא לפועל משימה המוגדרת להם, עם מעורבות מינימלית של מפעיל אנושי. הפרשה של צילי משקפת, למעשה, באג במערכת התפעול של הרובוט. לפעמים אנו מגלים באגים בתוכנות בהן אנו משתמשים: הוורד עשוי להיתקע פתאום או להתחיל למחוק אותיות ומילים בעצמו, או שמערכת ההפעלה של המחשב עשויה ליפול ולהפסיק לפעול. אלו באגים מעצבנים, אבל אנו מצפים להם ומבינים שהם כמעט בלתי-נמנעים במערכות מחשוב מורכבות כל-כך.
ובכן, גם לצילי היה באג. ההבדל היחיד הוא שצילי הוא כטב”ם צבאי בשווי של מיליון וחצי דולרים, והבאג גרם לו לחצות בטיסה שלוש מדינות ואת הרי הרוקי. אפשר לומר בצדק רב שהיה לנו מזל שצילי משמש למטרות ניטור בלבד, ולכן אינו חמוש. אבל בן-דודו הפרדטור (Predatorr) משמש גם הוא למטרות ניטור וריגול, וחמוש – רק ליתר ביטחון – בשני טילי הלפייר (Hellfire) נגד-טנקים ובשישה טילי גריפין (Griffinn) אוויר-קרקע.
אני חושד שהיינו משועשעים פחות מכל הפרשיה אילו היה אחד מהפרדטורים החמושים תופס את מקומו של צילי ויוצא למסע דומה ברחבי אמריקה, מבלי שנבין לאן הוא טס או מה יכולותיו המדויקות.
הרצון שמאחורי הרובוט
הכתיבה הרגשנית בחלקה הראשון של הרשומה העלתה בוודאי גיחוך על פיותיהם של רובוטיקאים מומחים, ומסיבה טובה. לרובוטים אין רצונות משלהם. אין להם מחשבות או מודעות עצמית. אבל הרובוטים המשוכללים של היום מתחילים לזכות במה שאפשר לקרוא לו בצדק – “דחפים”. המתכנתים מטמיעים ברובוטים האוטונומיים את הדחפים להגיב למצבים שונים בדרכים מסוימות שהוגדרו עבורם מראש. מבחינה זו, הרובוטים האוטונומיים מזכירים חרקים, שיכולים להגיב לאותו מצב פעם אחר פעם באותה הדרך בדיוק – גם אם דרך זו הוכחה כהרת אסון עבורם. ואף על פי כן, הם ניחנים בדחף לפעול כך.
חרקים הם יצורים משוכללים למדי, אך גם הם חושפים ‘באגים’ כאשר הם נתקלים במצבים לא-צפויים. זו הסיבה שיתושים ממשיכים לקבל זרמים חשמליים כשהם עפים אל האור המהפנט שבמלכודת החשמלית, או שזבובים ממשיכים להיכנס למלכודת זבובים מכנית פשוטה, למרות שהם רואים את כל חבריהם לכודים בתוכה. הדחפים הפשוטים המתוכנתים במערכת העצבים שלהם אינם יכולים להתמודד עם הסביבה המודרנית המורכבת החדשה.
ואם החרקים יכולים לחוות באגים כשהם נקלעים לסביבה לא-צפויה, על אחת כמה וכמה הדבר נכון לרובוטים אוטונומיים. סיפורו של צילי ממחיש מה קורה כאשר הרובוט מציית לדחפים שגויים, או כאשר מתרחש כשל במערכת שנועדה ‘לדחוף’ אותו לחזור הביתה. באגים כאלו הינם בלתי-נמנעים בכל מערכת מורכבת, אך השלכותיהם יכולות להיות הרות-אסון כשמדובר ברובוטים אוטונומיים, ובמיוחד רובוטים חמושים מהסוג שניתן למצוא בשדה הקרב.
אם גם אתכם זה מפחיד…
אם גם אתכם מפחיד תרחיש בו מתגלים באגים לא-צפויים ברובוטים אוטונומיים, ייתכן שתרצו לחתום על המכתב הפתוח ששחרר לפני שנה וחצי המכון לעתיד החיים (The Future of Life Institutee), כנגד שימוש בכלי-נשק אוטונומיים בשדה הקרב. לא תהיו לבד בחתימה עליו: יותר מאלף מומחים וחוקרים בתחום הבינה המלאכותית חתמו כבר על המכתב הקורא להטיל איסור על השימוש בכלי נשק אוטונומיים.
האם המכתב יצליח להניא ממשלות מהקניית יכולות אוטונומיות לרובוטים בשדה הקרב? אני בספק. אם לא הצלחנו לעצור את החימוש הגרעיני, קשה להאמין שנוכל לעצור את חימוש הרובוטים. אבל לפחות כשצילי או פרדי הפרדטור ילכו לאיבוד בפעם הבאה, תוכלו לצקצק בלשונותיכם באכזבה ולציין שידעתם שזה יקרה.
בקיצור, תוכלו להיות עתידנים.
17 תגובות
הטעות חשובה להתניה אופרנטית. בתנאי שהיא מביאה לעונש (תחושה או רגש של כאב). תוכנות שהוגדרו מראש למשימות ספציפיות לא יטעו. בינה מלאכותית כן טועה, אם כי עדיין אין לה יכולת למידה עצמאית, אלא על בסיס משוב שהיא מקבלת מבני אדם בעקבות הטעות.
מייק
לא רק שאנחנו לא מתקרבים למטח של שימפנזה, אנחנו לא מתקרבים ליכולות של המוח של זבוב.
יש משהו מאד חשוב בהדמיית בינה שאוהבים להתעלם ממנה. מכונה לא טועה, אבל בינה ביולוגית כן טועה. היא חייבת לטעות!
ביכולות מסוימות רשתות נוירונים לא נופלות או כמעט ולא נופלות מהמקור. כמכלול הבינה המלאכותית עדיין לא מתקרבת למוח של שימפנזה.
“מחשבים היום חזקים כמו המחשבה של שימפנזה?”…
…הממ… האם משאית חזקה כמו ברזל?! how do you come up with those questions?
מייק
אני מסכים. אז לדעתך מחשבים היום חזקים כמו המחשבה של שימפנזה?
הגמישות המחשבתית של שימפנזה דומה לזו של בו אדם. לא מבחינת האיכות אלא מבחינת העיקרון.
מייק
יש עוד אינספור הבדלים בין אדם למכונה.
האם לדעתך לשימפנזה יש “גמישות מחשבתית”? בכלל – האם אתה יכול לספר לי מה מבדיל בין מחשבה של אדם למחשבה של שימפנזה?
יפה שאתה מסכים איתי:) שהגמישות המחשבתית היא זו שמבדילה בין האדם למכונה. הגמישות נובעת מהיכולת לדמות דבר לדבר.
הן האדם והן המכונה יודעים לקבל קלט, להחליט האם להתייחס אליו, וגם כיצד להתייחס אליו.
ההבדל הוא שהמכונה לא יודעת לטפל בקלטים שלא תוכנתו לה מראש. האדם לעומת זאת יודע לקבל קלט שמעולם לא ראה, לחבר בינו לבין משהו שדומה לו ובהתאם להחליט האם מדובר בקלט משמעותי כגון בעיה שצריך לטפל בה, כמו כן הוא מסוגל לפתור את הבעיה על בסיס דמיון.
אסייג שכוונתי לאנושיות של מכונה מתייחסת לתחום קבלת ההחלטות, ולא לאנושי במובן הכולל. וכן התייחסתי לאנושיות במובן של סיוע למערכת קבלת ההחלטות באמצעות אסוציאציה, מערכת קבלת ההחלטות כשלעצמה גם היא עדיין לדעתי לפחות לא מגיעה לרמה אנושית, למרות ההתקדמות של ההבנה בתחום, ראה “תורת הערך”.
מייק
אז חבל שזה לא בדיחה, כי אחרת זה עצוב. מה שאתה אומר זה, שכל מה שחסר למחשב להיות אנושי זה להיות אנושי.
מאד עמוק…..
לא
מייק
זו הייתה בדיחה?
ניסים
היכולת לנתח בעיות ופתרונות על בסיס אסוציאטיבי, או בקיצור הדמיון, זה פחות או יותר מה שחסר למחשב כדי לקבל החלטות באופן דומה לזה של בני אדם.
מעבר לדרמטיזציה, זה נשמע כמו טעות תפעול.
מערכת בקרת הטיסה ומערכות המדידה עבדו בצורה תקינה. אחרת המטוס היה נופל מיד מהשמיים.
אני לא מכיר את הלוגיקה הפנימית של המערכת הספציפית, אבל לרוב במצב של “ללא קשר”, בתלות בהגדרת המפעיל מראש, המטוס ימשיך במשימתו או ינסה לחזור הביתה בנתיב עם נק’ מתוכננות מראש לחידוש קשר. הוא ימשיך כך עד לנק’ בה הוא הוא בקשר עין עם התחנה הקרקעית או במערכות מסוימות עד לנחיתה סופית.
מהתיאור הקצר נשמע שמפעיל לא בדק את תקפות הנתיב. התקלה היא עדיין טעות אנוש ולא קשורה ל”דאוס אקס מאכינה ” או “רצונות” של המכונה.
מייק
מטוס קרב כמעט ולא משתמש בטייס האוטומטי. יש לו מעט שימוש בטיסות לילה בגובה, אבל מעבר לזה לא נוגעים בו הרבה.
על סמך מה אתה אומר שמחשב יהיה אנושי? זה הדבר האחרון שאנחנו רוצים! מי רוצה מחשב שיעשה טעויות??
לא בהכרח באג. נשמע יותר שהמערכת האוטונומית פשוט קרסה. וכלי הטייס המשיך על הטייס האוטומטי. נניח שהיה טייס אנושי על מטוס חמוש והוא מת באוויר, המטוס ממשיך על הטייס האוטומטי. האם המצב יהיה פחות קטסטרופלי במידה וייפול באזור מיושב?
בכלל כל המאמר מסתמך על ההנחה שהמחשב לעולם לא יוכל להיות אנושי, אבל זה נכון רק לקטני אמונה.
מישהו באמת חושב שהצבא יפסיק לפתח כלי נשק אוטונומיים מפחד באגים? נשמע לי די הזוי. מכתבים פתוחים מסוג זה נועדו לפרסם את המכון שיזם אותם ולא באמת להשפיע על המציאות.