סיפורה של הבינה המלאכותית שניסתה למות ממחיש כמה קשה לנו, כבני-אדם, להתמודד עם מנועי בינה מלאכותית המסוגלים לחקור מרחב עצום של אפשרויות תוך שעות ספורות. הוא גם צריך ללמד אותנו צניעות בניסיונותינו לפתח בינות מלאכותיות מורכבות יותר – ובאמונה שנוכל לשלוט בהן באופן מלא.
אייזיק אסימוב, אחד מסופרי המדע הבדיוני הגדולים ביותר, שילב ברבים מסיפוריו את “מולטיוואק” – מחשב-על שמתעלה בבינתו על כל אדם. מולטיוואק משמש את האנושות לחיזוי פשיעה ואסונות טבע ולמניעת התפשטות מגיפות. כל זה טוב ויפה, אלא שבשלב מסוים קורס מולטיוואק תחת כובד משקלן של השאלות הגדולות עמן הוא נאלץ להתמודד מדי יום, מבשר על רצונו למות, ומניע שרשרת אירועים שאמורה להסתיים בהריסתו. במילים אחרות, הוא מנסה להתאבד.
זהו סיפור בדיוני, כמובן, וטרם הומצאה הבינה המלאכותית המסוגלת לפתח רגשות משל עצמה או ללקות בדיכאון. אבל מסתבר שאפשר בהחלט ליצור בינה מלאכותית המפתחת נטיות אובדניות – ואפילו נלחמת במתכנתיה האנושיים כדי לממש אותן.
אחד התחביבים הגדולים של מפתחי בינות מלאכותיות כיום הוא ללמד אותן לשחק במשחקי מחשב, שהם סוג של סימולציה מוגבלת של העולם הפיזי. אלא שבמקום ללמד אותן כיצד לשחק, צעד אחר צעד, המפתחים נוקטים בגישה אחרת המכונה “למידת חיזוק” (reinforcement learning). בגישה זו, הבינה המלאכותית משחקת במשחק, ולומדת לפי החיזוקים החיוביים והשליליים שהיא מקבלת. אם, למשל, הבינה המלאכותית פוגעת באויב במשחק – היא זוכה בנקודות (חיזוק חיובי). אם היא נפגעת בעצמה, היא מאבדת נקודות (חיזוק שלילי).
שיטה זאת עובדת היטב על משחקים רבים, אך קיימים גם יוצאי-דופן. באחד המשחקים העתיקים באטארי, Road Runner, למשל, ידוע ש- “למידת חיזוק” גורמת לבינה המלאכותית לנסות, ובכן, להתאבד.
נסביר לרגע את המשחק. הבינה המלאכותית שולטת בציפור – Road Runner – ורצה לאורך הכביש, תוך שהיא מנסה לאסוף גרגרי מזון (שנותנים לה נקודות) ולהתחמק מזאב הערבות הרודף אחריה. הציפיה של המתכנתים הייתה שהבינה המלאכותית תלמד כיצד לשלוט בציפור באופן מושלם, ותסיים את כל השלבים בזה אחר זה. אלא שהבינה המלאכותית מצאה דרך לרמות: היא זיהתה זמן בשלב הראשון בו היא יכולה להתאבד – כלומר, לגרום לציפור ללכת אחורנית ולהתנגש בזאב. פעולה זו גורמת אמנם לבינה המלאכותית לאבד נקודות על המוות, אך המשחק חוזר אחורנית ומאפשר לשחקן לצבור נקודות נוספות. בדרך זו, הבינה המלאכותית לעולם אינה מתקדמת מעבר לשלב הראשון במשחק, אלא ממשיכה לשחק, למות, ולשחק שוב.
ארבעה חוקרים מאוניברסיטת אוקספורד וסטנפורד, ניסו להגדיר עבור הבינה המלאכותית כללים פשוטים שיעצרו אותה מלהתאבד. הכלל הראשון שניסו היה בסיסי ביותר: אל תלכי אחורנית ותתנגשי בזאב הערבות. הבינה המלאכותית הקשיבה, הפנימה, והפסיקה ללכת אחורנית. במקום זאת, היא החלה לעמוד במקום ולאפשר לזאב הערבות לתפוס אותה.
החוקרים המשיכו והקשו על הבינה המלאכותית להתאבד, ובסופו של דבר מצאו פתרון שגרם לה גם להפסיק לעמוד במקום. הפתרון עבד במשך כמה אלפי משחקים (שערוך שלי, מאחר והזמנים עבור הבינה המלאכותית נמדדים ב- 16 מיליון frames – כלומר, בתמונות המורצות על המסך במהלך המשחק), אלא שאז החלה הבינה המלאכותית להתאבד שוב. מסתבר שהיא מצאה נקודה בקצה המסך שנראתה שונה מספיק מהסביבה, כדי שהציפור תוכל להתמקם בה ולהמתין בנוחות לזאב הערבות שיבוא לאכול אותה.
החוקרים התמודדו גם עם הניסיון הזה של הבינה המלאכותית להרוג את עצמה, והצליחו בעבודה מאומצת לעצור אותה ולתקן את ‘הבאג’. ומאז ועד היום, היא ממשיכה לשחק במשחק, להרוויח נקודות ולעלות בשלבים.
כל הפרשיה הזו נשמעת מצחיקה, ונו – היא באמת משעשעת למדי. אבל היא מזכירה לנו מספר נקודות חשובות לגבי בינה מלאכותית.
קודם כל, אין לבינה המלאכותית כיום ‘היגיון בריא’ אנושי, או הבנה של קונטקסט. שחקן אנושי היה מבין מיד שמטרתו היא לעלות בשלבים, ולא להרוויח עוד נקודות כתוצאה מבאג. לבינה המלאכותית אין את ההבנה הזו, והיא תשתמש ביכולת פתרון הבעיות המרשימה שלה כדי להגשים מטרה מסוימת – גם אם אין שום היגיון נראה-לעין מאחורי מטרה זו.
שנית, לבינה המלאכותית הלומדת יש יכולת מרשימה לפתור בעיות בדרכים שמתכנתים אנושיים מתקשים לחזות מראש. באמצעות חזרה על אלפי ומיליוני משחקים, ולמידה מכל אחד מהם, היא מסוגלת לחקור מגוון רחב של אפשרויות ולגלות פרצות בהנחיות שניתנו לה מצד המתכנתים – ואז לנצל אותן.
כל זה לא בא לומר שלבינה המלאכותית יש רגשות או מודעות משלה (למרות ההאנשה החביבה שעשיתי לה ברשומה הזו). מדובר במנוע, נטול תודעה משלו, המסוגל למצוא אסטרטגיות חדשות ושונות מאלו שאנו – במחשבתנו האנושית המוגבלת – יכולים לחזות מראש.
אלו נקודות שכדאי לזכור בכל ניסיון לפתח בינות מלאכותיות, מאחר ובשנים הקרובות נתחיל לראות בינות מלאכותיות לומדות בכל מוצר ושירות מסביבנו. הן ישלטו ברכבים, ברחפנים וברובוטים בבתים; הן יספקו לנו ייעוץ רפואי, משפטי ופיננסי; הן יכתבו עבורנו ספרים, סימפוניות ומחזות תיאטרון. אם לא נדע להגדיר עבורן היטב את מטרותיהן המדויקות, אנו עלולים לגלות שהן מוצאות דרכים ‘ערמומיות’ למלא את המטרה המילולית שהגדרנו להן, אך מבלי להתייחס לרוח הדברים ולהנחות היסוד האנושיות. הדוגמא הדמיונית הנפוצה ביותר למקרה זה היא של מצב בו הבינה המלאכותית מקבלת הוראה לתכנן מודל חדש שיפחית את העומס בכבישים – ועושה זאת באמצעות הריגת כל בני-האדם.
ברור שדוגמא זו קיצונית, ולא תתממש במציאות, מאחר וקל לנו לזהות ניסיון ששגוי באופן ברור כל-כך להתמודד עם בעיה מוכרת. אבל מה יקרה אם הבינה המלאכותית תציע מודל שאינו שגוי באופן ברור, אלא בפרטים קטנים ועדינים יותר?
סיפורה של הבינה המלאכותית שניסתה למות ממחיש כמה קשה לנו, כבני-אדם, להתמודד עם מנועי בינה מלאכותית המסוגלים לחקור מרחב עצום של אפשרויות תוך שעות ספורות. הוא גם צריך ללמד אותנו צניעות בניסיונותינו לפתח בינות מלאכותיות מורכבות יותר – ובאמונה שנוכל לשלוט בהן באופן מלא.
כרגיל, אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית בספריי המדריך לעתיד ו- “השולטים בעתיד”, בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).
[1]
11 תגובות
אכן כדברי דורון התוכנה לא ניסתה להתאבד ולא התאבדה. היא מיקסמה את מה שראתה כמשימה שלה לצבור נקודות.
אם אנו מניחים מציאות של גלגול נשמות – וזו המציאות במשחקי מחשב בהם אחרי כל “סוף משחק” יכול להיות משחק נוסף – השאלה היחידה היא האם מה שצבר השחקן (חי או מחשב, אין הבדל לצורך זה) במשחק הקודם עובר איתו למשחק הבא, ואם יש “קנס” על התאבדות. אם התשובה לשאלה הראשונה חיובית ולשניה שלילית – כל שחקן רציונלי יתאבד. אם אינו מתאבד בנסיבות אלו הוא אינו רציונלי. העובדה שזה לא עלה על דעתו של שחקן אנושי מעידה על באג בתודעה האנושית ולא בתוכנה.
זו הסיבה שכל פילוסופיה בת-קיימא (ששורדת במבחן הדורות) שמניחה מציאות של גלגול נשמות מניחה גם “קנס” חמור על התאבדות. היות ואנו חיים בתרבות היהודו-נוצרית שהניחה חיי עולם-הבא כל שהם, התרבות שלנו שוללת בחומרה התאבדות. ומאפשרת לד”ר רועי צזנה לראות את התוכנה כ”טיפשה” במקרה הטוב או “חסרת מוסר” במקרה הרע.
ושוב – מנקודת ראות רציונלית יותר – התוכנה צדקה לגמרי כי זכתה במספר הנקודות הגבוה ביותר האפשרי בזמן נתון.
אכן כדברי דורון התוכנה לא ניסתה להתאבד ולא התאבדה. היא מיקסמה את מה שראתה כמשימה שלה לצבור נקודות.
אם אנו מניחים מציאות של גלגול נשמות – וזו המציאות במשחקי מחשב בהם אחרי כל “סוף משחק” יכול להיות משחק נוסף – השאלה היחידה היא האם מה שצבר השחקן (חי או מחשב, אין הבדל לצורך זה) במשחק הקודם עובר איתו למשחק הבא, ואם יש “קנס” על התאבדות. אם התשובה לשאלה הראשונה חיובית ולשניה שלילית – כל שחקן רציונלי יתאבד. אם אינו מתאבד בנסיבות אלו הוא אינו רציונלי. העובדה שזה לא עלה על דעתו של שחקן אנושי מעידה על באג בתודעה האנושית ולא בתוכנה.
זו הסיבה שכל פילוסופיה בת-קיימא (ששורדת במבחן הדורות) שמניחה מציאות של גלגול נשמות מניחה גם “קנס” חמור על התאבדות. היות ואנו חיים בתרבות היהודו-נוצרית שהניחה חיי עולם-הבא כל שהם, התרבות שלנו שוללת בחומרה התאבדות. ומאפשרת לד”ר רועי צזנה לראות את התוכנה כ”טיפשה” במקרה הטוב או “חסרת מוסר” במקרה הרע.
ושוב – מנקודת ראות רציונלית יותר – התוכנה צדקה לגמרי כי זכתה במספר הנקודות הגבוה ביותר האפשרי בזמן נתון.
רמת האבסטרקציה של החוקרים נמוכה מידי, ויש צורך לייצג מבחינת AI את הכוונה ( Intention ) שבמשחק
אחרת הדרכים להשגת ניצחון יכולים למסך אותה.
אד
אתה מחדד את הבעיה. מצד אחד -אפשר לטעון שלמכונה לעולם לא תהיה תודעה (אבל גם זה בעייתי, הרי גם אנחנו מכונות). מצד שני – ניתן לטעון שלטרמוסטט, לדוגמה, יש תודעה. מצד שלישי – גם לבני אדם לעייתים אין תודעה.
אין לבינה הגדרה טובה. יש הרבה הגדרות לא טובות. מבחן טיורינג מהווה הגדרה לא טובה (אפילו לדעת טיורינג עצמו).
לדעתי, כל העניין של AI זה תרגיל שיווקי. שים את הטלפון שלך בשמש למשך כמה שעות. הוא יתחמם – ויכבה את עצמו. נראה לך הגיוני להגיד שהוא מנסה להתגונן? הנה עוד דוגמה: יש סוגי מגברים שמעלים את רמת ההגברה כשהם מתחממים. וזה גורם לעוד התחממות. בסוף – המגבר שורף את עצמו. אז המגבר התאבד?
ניסים,
דר’ רועי צזנה לא הגדיר, לצורך מאמרו, את המושג “תודעה”. הוא רק מתבטא כאילו, לדעתו, יש הבדל בין “מנוע” לבין “תודעה”.
יתכן שההמנעות מההגדרה נובעת מפני שתודעה זה משהו שאנו יודעים/מבינים באופן בלתי אמצעי שהוא קיים, אבל קשה לנו לשים את האצבע על מהותו. זאת, מפני ש”תודעה” הוא דבר מה שהוא כל כך ‘איכותי’ במהותו, עד שהוא חומק מהקטגוריות התפיסתיות הרציונליות-מטריאליות שלנו, ושוב אינו ניתן להגדרה. הוא שונה מכל אוביקט אחר הניתן עקרונית להגדרה בפרספקטיבות המימדיות הפיסיקליות הרגילות שלנו.
הבעיה שאני מנסה להצביע עליה היא שלכאורה לא ניתן להקנות תודעה למכונה, אפילו לא ברמה העקרונית מושגית של ניסוח פקודות. מכאן אפשר להצביע על הקניה של ”התודעה” כעל בעיה שהיא בלתי פתירה, בעצם.
אתה מעלה את שאלת ההבנה של ”בינה” או ”בינה מלאכותית”. אני לא בטוח שאנו לא יודעים להגדיר בינה, או בינה מלאכותית. יש רבים וטובים הטוענים להגדרות מספקות של המושגים האלה. מבחינה זו, עקרונית, שני הנדונים האלה שונים מהנדון של ”תודעה”, שהבנתה היא בעיני בעיה אמיתית.
א
האם יש כזה דבר תודעה? אנחנו זורקים את המילה הזו בלי לדעת מה זה, או אם זה בכלל קיים. ועוד – אנחנו מקשרים בין “תודעה” ל”בינה מלאכותית” … אבל אנחנו לא יודעים מה זה בינה…
אם תנסה להגדיר – תראה את הבעיה.
הבינה המלאכותית לא ניסתה להתאבד במובן בנכון של המילה.
להתאבד הכוונה שהבינה מלאכותית תשמיד את עצמה לא את הדמות שהיא משחקת בה, קצת הוצאת דברים מהקשרם.
גם אנחנו לומדים בלמידת חיזוק ובדומה לתורת המשחקים. רמת הסיבוכיות של המודלים שפיתחנו בלמידת חיזוק עדיין נמוכה יותר משלנו כבני אדם. ההבדל לטובתינו מתבטא בעיקר: א. ברב-גוניות שלנו. במטלת מומחה – הבינה המלאכותית מנצחת אותנו, ב. במיעוט האימון שנדרש לנו לעומת בינה מלאכותית – כנראה כי אלגוריתמי תורת המשחקים שלנו יותר משוכללים מאלו בבינה המלאכותית. כאשר נבין יותר טוב ונפתח אלגוריתמי תורת משחקים חזקים יותר, ניתן ללמוד על כך באתר deepmind חברת הדגל של GOOGLE, בנושא בינה מלאכותית ולמידת חיזוק. multi-agent game theory. כיום מקובל 2 שחקנים באלגוריתם והטכנולוגיה נקראת Generative Adversary Networks, והמציא אותה בחור בשם איאן ג’ודפלו.
” כל זה לא בא לומר שלבינה המלאכותית יש רגשות או מודעות משלה ….מדובר במנוע, נטול תודעה משלה ” – מהו הגבול בין מנוע למודעות?
הרהור:
האם הגבול הזה עביר?
האם קיימת הוראה שבזכותה ניתן ליצור תודעה? למשל: “אתה חושב את עצמך כסוביקט הנפרד מאוביקטים, חלקם סוביקטים החושבים אותך כסוביקט החושב אותם; נא התנהג בהתאם” – מספיקה כדי ליצר תודעה?
לדעתי – לא. האברים של כל הוראה כזו הם עצמם מסתמכים על פרספקטיבה של תודעה ודיכוטומיה של סוביקט אוביקט(אני, חושב), אי אפשר לצאת מהמעגל הטאוטולוגי.
אם אי אפשר להקנות תודעה למכונה, הרי שהתודעה היא ישות/אירוע בעל ערך אונטולוגי אוטונומי וראשוני, שאינו נתפס/מוגדר במונחים מטריאליים. האם נובע מכאן, בהכרח, שצריך להצמיד לתודעה מימד בלתי מטריאלי, הרוכב/נצמד על יישים/מימדים מטריאליים שאותם, ורק אותם, אנו מסוגל לזהות ברמה מטריאלית ?
טוב שלא נסחפנו. התכנה בסה”כ התעקשה לשחק לפי הכללים האמיתיים שהמשחק הכתיב, ולא לפי מה שנדמה לכמה קופים קרחים. יש ספר מד”ב שדווקא עושה שימוש יפה בנושא הזה (אבל בלי שימוש בבינה מלאכותית): “מסעות טאף” של ג’ורג’ ר. ר. מרטין (כן, אותו אחד שכתב את הספרים לפיהם נעשתה הסדרה “משחקי הכס”).
אודיסאה בחלל 2001 היתה דוגמה יפה: הטילו על המחשב משימה, והוא החליט שהאנשים רק מפריעים…..
למי שעדיין לא נולד כשיצא הסרט, כדאי לראות. סרט נהדר רק שהסיום קצת מבולבל.