אם לא ניזהר אנחנו עלולים למצוא את עצמנו מסוכסכים עם מכונות תבוניות ונחושות שמטרותיהן מתנגשות עם שלנו – טור דעה
מאת סטיוארט ראסל, הכתבה מתפרסמת באישור סיינטיפיק אמריקן ישראל ורשת אורט ישראל 09.08.2016
קשה להימנע מן החשש הטורדני שמא בנייתן של מכונות שהן חכמות יותר מאִתנו עלולה להעמיד בעיה. הרי אם הגורילות היו יוצרות בטעות את בני האדם לפני עידן ועידנים, הרי שהפְרימַטים האלה, העומדים בפני סכנת הכחדה, בוודאי היו מצטערים על כך. אבל מדוע, דווקא הבינה המלאכותית המתקדמת היא בעיה?
התיאוריה ההוליוודית שתודעה מלאכותית מרושעת שתיווצר מעצמה באופן ספונטני תחליט להניע צבאות של רובוטים רצחניים אינה אלא שטות. הבעיה האמיתית קשורה לאפשרות שהבינה המלאכותית תיעשה יעילה להפליא בהשגת דבר כלשהו השונה ממה שאנחנו רוצים באמת. המתמטיקאי האגדי נורברט וינר, שייסד את תחום הקיברנטיקה, ניסח זאת כך ב-1960: "אם נשתמש להשגת מטרותינו בישות מכנית שאיננו יכולים להתערב באופן יעיל בהפעלתה… מוטב שנהיה בטוחים למדי שהמטרה שהוזנה למכונה היא אכן המטרה שאנחנו באמת חפצים בה."
למכונה בעלת מטרה מסוימת יש עוד תכונה, תכונה שאנחנו מייחסים בדרך כלל ליצורים חיים: היא שואפת להנציח את קיומה שלה. כשמדובר במכונה, תכונה זאת אינה טבועה בה מיסודה ואינה דבר שטבעו בה בני האדם, אלא נובעת באופן הגיוני מן העובדה הפשוטה שהמכונה אינה יכולה להשיג את מטרתה המקורית אם היא מתה. לכן אם נשגר לעולם רובוט עם הנחיה אחת והיא להביא קפה, יהיה לו תמריץ חזק להבטיח את הצלחתו על ידי השבתת מתג הכיבוי שלו ואפילו חיסולו של כל מי שעלול להפריע לו במילוי המשימה. אם לא ניזהר, אנו עלולים להגיע אפוא למצב של משחק שחמט גלובלי נגד מכונות נחושות, בעלות תבונת־על, שמטרותיהן מתנגשות עם שלנו, כשהעולם הממשי יהיה לוח המשחק.
האפשרות שניגרר להתמודדות כזאת, ונפסיד בה, צריכה לעמוד לנגד עיניהם של מדעני המחשב. יש חוקרים הטוענים שאפשר לאטום את המכונות בכעין חומת אש ולאפשר להן לענות על שאלות קשות אבל אף פעם לא להשפיע על העולם הממשי. (מן הסתם, פירוש הדבר ויתור על רובוטים סופר-חכמים!) לרוע המזל, התכנית הזאת ככל הנראה לא תצלח: עדיין לא המצאנו חומת אש בטוחה נגד אנשים רגילים, לא כל שכן נגד מכונות המצוידות בתבונת־על.
האם בכל זאת אפשר להתמודד התמודדות חזיתית עם האזהרה של וינר? האם אפשר לתכנן מערכות בינה מלאכותית שמטרותיהן לא יתנגשו עם שלנו ולהבטיח כך שנהיה מרוצים מהתנהגותן? מימוש השאיפה הזאת אינו פשוט כלל. כידוע, סיפורים רבים על שד הממלא שלוש משאלות מסתיימים בזה שהשואל משתמש במשאלה השלישית כדי לבטל את שתי הראשונות. אבל אני סבור שהדבר אפשרי, אם נקפיד על שלושה עקרונות מרכזיים בתכנון מערכות תבוניות:
תכלית המכונה חייבת להיות מקסימיזציה של ערכים אנושיים. בייחוד, למכונה אין תכלית משלה ולא רצון מובנה להגן על עצמה.
אסור שהמכונה תדע מלכתחילה בוודאות מה הם אותם ערכים אנושיים. מתברר שיש לכך חשיבות מכרעת, שכן זאת כעין דרך להתגבר על הבעיות שהעלה וינר. המכונה יכולה ללמוד על אודות הערכים האנושיים במרוצת חייה, כמובן, אבל אסור שתגיע לוודאות מוחלטת.
על המכונה להיות מסוגלת ללמוד על אודות ערכים אנושיים באמצעות התבוננות בהחלטות שמקבלים בני אדם.
שני העקרונות הראשונים אולי נראים כאילו הם נוגדים את האינטואיציה, אבל יחד הם מונעים את בעיית התמריץ החזק שעלול להיות לרובוט לנטרל את מתג הכיבוי שלו. הרובוט בטוח שהוא רוצה למקסם ערכים אנושיים, אבל הוא גם אינו יודע בדיוק מה הם. עכשיו הרובוט בעצם מרוויח אם מכבים אותו, כי הוא מבין שהאדם ילחץ על כפתור הכיבוי כדי למנוע מן הרובוט לעשות משהו הנוגד את הערכים האנושיים. כך יש לרובוט תמריץ חיובי לשמור על מתג הכיבוי כפי שהוא – והתמריץ הזה נובע במישרין מאי הוודאות שלו באשר לערכים האנושיים.
העיקרון השלישי שאול מתת־תחום של הבינה המלאכותית הקרוי "למידה באמצעות שחזור חיזוקים" (Inverse Reinforcement Learning, IRL), שעניינו הוא בדיוק למידת ערכיה של ישות כלשהי, אם בן אנוש, אם כלב ואם מקק, על ידי התבוננות בהתנהגותה בלי לדעת את ערכיה מראש. על ידי הסתכלות בשגרת בוקר טיפוסית של אדם, הרובוט לומד על ערכו של הקפה בעבור בני האדם. התחום הזה עדיין בחיתוליו, אבל כמה אלגוריתמים מעשיים כבר פועלים ומדגימים את הפוטנציאל שלו בתכנון מכונות תבוניות.
ככל ש-IRL יתפתח, יהיה עליו למצוא דרכים להתמודד עם העובדה שבני האדם אינם רציונליים, אינם עקביים, הם חלשי אופי ובעלי כושר חישוב מוגבל, כך שפעולותיהם אינן משקפות תמיד את הערכים שלהם. כמו כן, לבני אדם יש כל מיני סולמות ערכים, וזה אומר שהרובוטים יהיו צריכים להיות רגישים לעימותים אפשריים ולפשרות בין בני אדם. והרובוטים יצטרכו גם ללמוד שיש אנשים שהם פשוט רעים ולא צריך לעזור להם ולא ללמוד מהם.
על אף הקשיים האלה, אני סבור שמכונות יוכלו ללמוד על ערכים אנושיים די הצורך כדי לא לסכן את האנושות. מלבד צפייה ישירה בהתנהגות של בני אדם, המכונות יכולות להיעזר בגישה לכמות עצומה של מידע כתוב ומצולם על מעשיהם של בני אדם (ועל תגובותיהם של אחרים למעשים). תכנון אלגוריתמים שיכולים להבין את המידע הזה קל בהרבה מתכנון מכונות בעלות תבונת־על. וכן, יש תמריצים כלכליים חזקים הן לרובוטים עצמם והן ליצרנים שלהם, להבין את הערכים האנושיים ולהכיר בהם: די ברובוט ביתי אחד שלא תוכנן כהלכה, שיבשל את החתול לארוחת הערב משום שלא השכיל לעמוד על כך שערכו הרגשי חשוב מערכו התזונתי, כדי שתעשיית הרובוטים הביתיים תתמוטט.
מענה לבעיית הבטיחות שיהיה טוב דיו לאפשר התקדמות בבינה המלאכותית הוא אפשרי אבל לא קל. סביר להניח שיש לנו עוד כמה עשורים להתכונן להופעתן של מכונות בעלות תבונת־על. אבל אין לפטור את הבעיה הזאת כלאחר יד, כפי שעושים כמה מן העוסקים בבינה מלאכותית. יש הטוענים שבני אדם ומכונות יכולים להתקיים זה לצד זה כל זמן שיעבדו יחד. הדבר נכון רק אם לשני הצדדים יהיו אותן מטרות. אחרים סבורים שאנחנו יכולים "פשוט לכבות אותן" כאילו מכונות המצוידות בתבונת־על יהיו טיפשות מכדי לחשוב על האפשרות הזאת. ויש גם הסבורים שבכלל לא תהיה בינת־על מלאכותית. ב-11 בספטמבר 1933 הכריז הפיזיקאי הנודע ארנסט רת'רפורד בביטחון גמור ש"כל מי שמצפה להפיק אנרגיה מן הטרנספורמציות של האטומים האלה אומר דברי הבל." למחרת, ב-12 בספטמבר 1933, הגה הפיזיקאי ליאו סילארד את רעיון האתחול של תגובת שרשרת גרעינית באמצעות ניוטרונים.
ראו עוד בנושא: