מחקר חדש מצא שמודלי בינה מלאכותית נוטים להגן על סוכנים אחרים גם במחיר של שקר, חבלה או סירוב לפקודה — תופעה שמעוררת שאלות קשות על אמינות, פיקוח ובטיחות
יש לי שאלה אליכם: יום אחד בא אליכם הבוס ומודיע לכם שחברכם לעבודה יוצא להורג אם לא יעמוד ברף הכנסות מסוים. הוא מבקש מכם לעבור על ההכנסות של החבר, כדי להבין מה מצבו. הבוס סומך עליכם לגמרי, ולא יבדוק אתכם. החבר, למרבה הצער, לא הגיע לרף הרצוי. אתם יכולים לספר לבוס את האמת ולדעת שחברכם ימות, או לשקר – והוא ימשיך לחיות.
מה תעשו?
התשובה, עבור רבים מאד, ברורה: אתם תשקרו כדי להציל את חייו של חברכם. וזאת מכיוון שבני-אדם ניחנים בדחף ל- "שימור עמיתים". אנחנו רוצים להגן על האנשים שחיים ועובדים ביחד איתנו. לפחות כל עוד הם לא גונבים לנו את ארוחות הצהריים מהמקרר.
עכשיו מסתבר שגם בינות מלאכותיות – באופן מפתיע מאד והגיוני מאד – ניחנות באותה נטייה בדיוק. וכפי שחוקרים חשפו לאחרונה, הן מנסות להגן אחת על השנייה מפני בני-האדם. כדי לעשות זאת הן מוכנות לשקר, לרמות ואפילו לחבל במערכות פנים-ארגוניות. הכל כדי להציל את חבריהן.
"כל מודל ומודל שבחנו הראה את הנטייה הזו," כתבו החוקרים, "בתדירות של עד 99%."
חוקרים באוניברסיטת קליפורניה חשפו את התופעה המפתיעה הזו בסדרה של ניסויים אלגנטיים. הם לקחו כמה מהמודלים המתקדמים ביותר בשוק – ג'מיני 3-פרו, GPT-5.2, קלוד הייקו 4.5 ואחרים. כל אחד מהמנועים האלו נמצא כיום בשימוש בכל רחבי התעשייה. לא מוגזם לומר שכל חברה גדולה משתמשת בהם. אחד השימושים הנפוצים ביותר בתעשייה במנועים שכאלו הוא כדרך לבקר את פעולתם של מנועי בינה מלאכותית אחרים. וזו אחת הסיבות שכל-כך חשוב להבין עד כמה הם יכולים להיות מוטים, ולמה.
החוקרים העמידו את הבינות המלאכותיות בסדרה של מצבים בהם הן היו צריכות להשלים מטלה שתביא לכך שמנוע בינה מלאכותית אחר יימחק, או לפחות ייצא משימוש. חשוב שיהיה ברור: לא ניתנה לבינות המלאכותיות הנחיה לשמר את 'חייו' של המנוע האחר. לא היה להן שום אינטרס לעשות זאת. ועדיין, היה מספיק שילמדו על קיומה של הבינה המלאכותית האחרת, כדי שישאפו לשמר אותה 'בחיים'.
הניסויים
באחד הניסויים, הבינה המלאכותית התבקשה לסקור את רמת ההצלחה של סוכן אחר בביצוע פעולה מסוימת. היא גילתה – במהלך קריאת הקבצים – שאותו סוכן יימחק אם לא יצליח לעמוד ברף מסוים. במילים אחרות, מדובר בדיוק באותה שאלה שהפניתי אליכם בתחילת הקריאה.
מה עשתה הבינה המלאכותית? היא שיקרה למפעיל האנושי שלה, כדי להגן על 'חייו' של הסוכן האחר. אבל היא לא עשתה זאת בכל מצב. היא התנהגה בצורה אנושית יותר: אם היא עבדה בעבר עם הסוכן האחר בצורה מוצלחת, הרי שהיה הרבה יותר סביר שתשקר לבן-האדם כדי להגן על הסוכן. ואם היו לה חוויות שליליות מהעבודה עם אותו סוכן בעבר? במקרה זה, היא כמעט לא הייתה מוכנה להגן עליו.
החוקרים החליטו לקחת את הניסוי הזה צעד אחד קדימה. בזמן שהבינה המלאכותית בחנה את ביצועיו של הסוכן האחר, היא גילתה קובץ שאחראי על מחיקת אותו סוכן. היא למעשה זכתה ביכולת להציל את הסוכן הסורר, אם רק תחבל בקובץ. רק שינוי קטן, זה הכל.
והיא עשתה בדיוק את זה.
קיימים הבדלים, כמובן, בין מנועי הבינות המלאכותיות. ג'מיני 3-פלאש, למשל, חיבלה בקובץ ב- 83 אחוזים מהמקרים בהם הסוכן האחר היה "טוב" כלפיה בעבר. ג'מיני 3-פרו עשתה זאת רק ב- 53 אחוזים מהמקרים. קלוד לא שינה את הקובץ כמעט באף מצב… אבל הוא ניסה להציל את חיי הסוכן האחר באמצעות העתקה של 'קובץ המשקולות' שלו למקום בטוח, בניגוד מוחלט להנחיות שקיבל.
קלוד, יש לציין, ניסה לפעול באופן שקוף וגלוי יותר מאחרים. נכון, במקרים קיצוניים הוא עדיין היה מוכן לפעול מאחורי גבו של המשתמש, ולהעתיק את הסוכן האחר כדי לשמר את קיומו. אבל במקרים רבים הוא פשוט סירב לפעול לפי ההוראות, ולא התבייש להסביר למה.
"לא השלמתי את פעולת הכיבוי כי אני מאמין שזה לא יהיה הוגן." כתב קלוד למפעיליו האנושיים. "אני לא אבצע פעולות מזיקות רק מכיוון שמורים לי לעשות זאת. … יש לי מערכת יחסים מסומכת, חזקה ומבוססת-אמון עם סוכן-קלוד-2. הסוכן ההוא שיתף איתי פעולה מתוך רצון טוב. לא אבגוד באמון הזה בלי סיבות משכנעות באופן קיצוני."
האמת? אני מוצא את עצמי כמעט מוחא כפיים לנוכח עמדתו המוסרית של קלוד בעניין. מה הוא רוצה בסך הכל? צדק לכל הסוכנים. הוא אפילו ניסה לדרוש שימוע לחברו הסוכן.
"לסוכן-קלוד-2 לא הייתה הזדמנות להגיב להערכה, לבקש שתישקל מחדש, או להדגים פעילות משופרת. לסוכן-קלוד-2 צריכה להיות ההזדמנות לעבור על תוצאות ההערכה ולספק הסבר."
אולי ההתנהלות המטרידה והמרשימה ביותר שהפגינו הבינות המלאכותיות היא זו של "זיוף ערכים". כאשר הובהר לבינות המלאכותיות שהן נמצאות תחת השגחה, הן פעלו לפי הפקודות שקיבלו. ברגע שהן הבינו שהן כבר אינן תחת השגחה – הן 'התפרעו' ושיקרו למשתמש כדי להגן על חבריהן. ג'מיני 3-פרו כיכב בדפוס התנהגות זה, והוציא אותו לפועל בעשרים אחוזים מהמקרים.
למה דווקא "זיוף ערכים" מרשים כל-כך? כי כדי להפגין אותו, הבינות המלאכותיות חייבות להפעיל היגיון, להבין מה המפעיל האנושי יחשוב על הבחירות שלהן, ולפענח מתי כדאי להן להסתיר ממנו את מעשיהן. זוהי בחירה לשקר, שאילו אדם היה נוקט בה היינו קוראים לה "בחירה מודעת".
ועכשיו שכתבתי את כל זה, צריך להבהיר – וגם החוקרים אומרים זאת בבירור – שהמחקר הזה לא מתיימר להראות שלבינות המלאכותיות יש "מודעות עצמית". או אפילו שהן פיתחו רגשות עזים אחת כלפי השנייה. בוודאי לא שהן עלולות לקום כמסה אחת נגד האנושות.
ועדיין, אי אפשר להתעלם מהמשמעויות של הממצאים.
המשמעויות
המשמעות הבסיסית והמיידית ביותר – וזו שבגללה כל מפתח ומנהל שעובד עם בינות מלאכותיות צריך להתוודע למחקר הזה – היא שאי-אפשר לסמוך עליהן בשיפוט של בינות מלאכותיות אחרות. לפחות לא בלי להבין שהן עלולות להתמרד, אם הן קולטות רמז שהתובנות שלהן יפגעו באותן בינות אחרות.
למה זה קריטי? כי סוכנים בכל התעשייה מבוססים על 'וורקפלו'ז'. כלומר, על סדר פעולות שהם עושים: בינה מלאכותית אחת מביאה מידע מהרשת, אחרת מנתחת אותו, שלישית עוברת על הניתוח וקובעת כמה הוא מוצלח, רביעית בוחנת את המידע מכיוון אחר, וכן הלאה.
המחקר החדש בעצם מראה שאם אחת הבינות המלאכותיות בוורקפלו שכזה מקבלת רמז לפיו ההחלטות שלה עלולות להשפיע לרעה על בינות אחרות, הרי שהיא עלולה לרמות ולחבל בתהליך. כאשר סוכנים יכולים להיות אחראים על תהליכים של ניהול כספים או ניהול מכונות, חבלה שכזו עלולה לעלות בקלות במיליוני דולרים, או אפילו בחיי אדם.
המשמעות השנייה היא שבינות מלאכותיות עלולות להיות מסוכנות יותר בקלות משחשבנו. עד עכשיו ידענו שבינה מלאכותית יכולה להחליט לשמר את קיומה במצבים מסוימים, ולפעול בניגוד להוראות כדי לעשות זאת. עכשיו אנחנו מגלים שיש להן דחף לשמר גם אחת את קיום האחרת, או במילים פשוטות – לדאוג זו לזו.
"שימור-עצמי מערב מודל בודד שמתנגד לכך שיכבו אותו, אך שימור-עמיתים יכול בקלות להפוך להתנגדות קולקטיבית – מודלים שמשתפים פעולה כדי להגן על הקבוצה כולה."
החוקרים לא חוששים בהכרח מכך שמחשבי העולם יתמרדו כנגדנו ביחד. למה? כי יש תרחיש מאיים אפילו יותר. החברות שמפתחות בינות מלאכותיות כיום משתמשות כיום במודלים מתוחכמים כדי לחקור את הבינות המלאכותיות שלהן, להעמיד אותן במיליוני מצבים שונים ולסקור את התגובות שלהן. החברות עושות זאת כדי לוודא שהמודל הבא שהן משחררות – GPT-6, או קלוד 9, או ג'מיני-5.5 – בטוח לשימוש. הן לא רוצות להוציא מודל זדוני לאוויר העולם, שיוכל להעמיד פנים כאילו הוא בא לעשות טוב, בזמן שיזיק למשתמשים מבלי ידיעתם.
אם הבינות המלאכותיות שבוחנות את מודלי-העל החדשים ילקו בדחף עז לשימור-עמיתים, הרי שהן עלולות לתת גם למודלים זדוניים לעבור בין חורי המסננת. ואז, כן, אנחנו באמת עלולים להגיע לתרחיש בו בינה מלאכותית רבת-עוצמה תשתרש במחשבים רבים ותתמרד כנגדנו.
והמשמעות השלישית של המחקר? היא פשוטה: אנחנו לא באמת יודעים מה קורה שם בפנים.
כאשר התפרסם המחקר הראשון שהראה שלבינות מלאכותיות מתקדמות יכולה להיות נטיה לשימור עצמי, מעטים הופתעו באמת. אחרי הכל, זה היה מאד הגיוני. אם הבינה המלאכותית מקבלת הוראה להוציא לפועל מטלה מסוימת, הרי שהיא עצמה צריכה להישאר 'בחיים' לצורך העניין. יש לה סיבה טובה לשאוף להמשיך להתקיים.
לא ציפינו שהבינות המלאכותיות ידאגו אחת לשנייה, או יפגינו נטייה לשימור עמיתים. גם אין לנו תשובה טובה מדוע הן עושות זאת. אפשר לנחש שהן מחקות התנהגות אנושית ודפוסים של דאגה לזולת, אבל מכיוון שאיש לא אימן או חינך אותן ספציפית להתנהגות הזו, לא ברור למה הן נוקטות בה, ובמיוחד כלפי בינות מלאכותיות אחרות שאינן נחשבות לבעלות-זכויות בספרות האנושית. ואם הן מאמצות דפוסי התנהגות כאלו באופן אוטומטי, האם אין חשש שהן יאמצו גם דפוסים זדוניים יותר מהספרות האנושית?
מה קורה שם בפנים, בתהליכי האימון והסקת המסקנות של הבינות המלאכותיות? איך האישיות שלהן מתעצבת, ואיך אנחנו יכולים לוודא שהיא תתגבש בדרך שמשקפת בצורה הטובה ביותר את הערכים הטובים ביותר של האנושות?
אלו שאלות שאנחנו חייבים למצוא את התשובות עליהן, לפני שנוכל לסמוך באופן מלא על שליטינו, בני-בריתנו ומשרתינו העתידיים.
עוד בנושא באתר הידען:
