כלי חדש בשם J-lens מאפשר לחוקרים לזהות ייצוגים פנימיים שקלוד משתמש בהם להסקה ולשנותם בניסוי. הדמיון לתיאוריית ״מרחב העבודה הגלובלי״ מעורר שאלות על מודעות בבינה מלאכותית, אך החוקרים מדגישים שאין כאן הוכחה לחוויה סובייקטיבית
חוקרי חברת אנתרופיק הודיעו כי זיהו במודלי השפה שלה קבוצה קטנה ומיוחסת של ייצוגים פנימיים, המשמשת את המודל לדיווח, להסקה ולשימוש גמיש במידע. החוקרים מכנים אותה ״מרחב-J״ (J-space), ומציעים כי תפקודה דומה בחלק מן ההיבטים ל״מרחב העבודה הגלובלי״ שהוצע בחקר התודעה האנושית.
זהו ממצא מסקרן, אבל חשוב לדייק כבר בתחילה: המחקר אינו מוכיח שקלוד מודע לעצמו, מרגיש או חווה את העולם. הוא מצביע על מנגנון חישובי בעל כמה תכונות המזוהות עם ״גישה מודעת״ במובן תפקודי — מידע שהמערכת יכולה לדווח עליו, להשתמש בו בהסקה ולכוון באמצעותו את פעולתה.
לא רק לקרוא את התשובה
מודלי שפה גדולים בנויים מרשתות עצביות מלאכותיות המעבדות רצפי טוקנים בשכבות רבות. המשתמש רואה את התשובה הסופית, ולעיתים גם תקציר של תהליך ההסקה, אך חלק גדול מן החישוב מתרחש בתוך המודל ואינו נחשף במילים.
כדי לבחון את העיבוד הפנימי פיתחו החוקרים כלי בשם ״עדשת היעקוביאן״ (Jacobian lens, או J-lens). הכלי בודק כיצד שינוי קטן בפעילות של שכבה פנימית עשוי להשפיע על ההסתברות שהמודל יפיק מילים מסוימות בהמשך. כך אפשר לקבל רשימה של מושגים שהייצוג הפנימי עשוי להוביל את המודל לבטא, גם אם הם אינם מופיעים בקלט או בתשובה.
החוקרים מגדירים את מרחב-J לא כמקום פיזי יחיד ברשת, אלא כתת־קבוצה מתמטית של ייצוגים פנימיים הניתנים לביטוי מילולי. בכל רגע פעילים בו מספר קטן יחסית של מושגים, בעוד שרוב החישוב במודל מתבצע מחוץ לו.
שינוי הייצוג שינה את התשובה
אחד הניסויים ממחיש מדוע החוקרים סבורים שמרחב-J אינו רק צג המשקף חישוב המתרחש במקום אחר. קלוד התבקש להשלים משפט על מספר הרגליים של בעל החיים הטווה קורים. בדרך לתשובה הופיע במרחב-J המושג ״עכביש״, אף שהוא לא נכתב בשאלה או בתשובה. כאשר החוקרים החליפו את הייצוג של ״עכביש״ בייצוג של ״נמלה״, התשובה השתנתה משמונה לשש.
בניסוי אחר שאלו החוקרים שאלות שונות על צרפת — עיר הבירה, השפה, היבשת והמטבע — והחליפו במרחב-J את הייצוג ״צרפת״ ב״סין״. כל התשובות השתנו בהתאמה: פריז הוחלפה בבייג׳ינג, צרפתית בסינית, אירופה באסיה והאירו ביואן. מכאן הסיקו החוקרים שמדובר בייצוג משותף שמנגנונים שונים במודל יכולים לקרוא ולהפעיל.
גם החלשת מרחב-J סיפקה ראיה לתפקידו. המודל המשיך לכתוב באופן שוטף, לנתח קלט ולשלוף מידע פשוט, אך התקשה יותר במשימות שדרשו שרשרת של צעדי הסקה. במילים אחרות, חלק גדול מן העיבוד השגרתי נשאר פעיל, בעוד שהחשיבה המורכבת נפגעה.
חלון לבדיקת בטיחות
היכולת לזהות ייצוגים פנימיים עשויה להיות חשובה במיוחד לבטיחות של מערכות בינה מלאכותית. לפי המחקר, עדשת-J חשפה לעיתים הערכות פנימיות שלא הופיעו בתשובה, כגון זיהוי שהמודל נמצא במבחן, הבחנה בניסיון להזרקת הוראות זדוניות, או שיקולים אסטרטגיים במודלים שאומנו במכוון להתנהגות בלתי־מיושרת.
הדבר אינו אומר שכל מילה שעולה בכלי היא ״מחשבה״ במובן האנושי. הפלט של העדשה הוא קירוב מתמטי, והוא מוגבל בעיקר למושגים התואמים לטוקנים בודדים. החוקרים עצמם מדגישים שהכלי אינו לוכד בהכרח את מלוא העיבוד הפנימי, ושמרחב-J מסביר לכל היותר חלק קטן מן השונות הכוללת בפעילות המודל.
עם זאת, אם השיטה תוכח גם במודלים ובמצבים נוספים, היא עשויה לסייע לחוקרים לזהות פערים בין התשובה הגלויה לבין ההערכות הפנימיות של המערכת. היא עשויה גם לתרום לפיתוח שיטות אימון שמחזקות עקרונות כמו יושר, זהירות ושמירה על כללים בתוך תהליך ההסקה עצמו.
הדמיון לתיאוריה על התודעה
ההשוואה למוח נשענת על ״תיאוריית מרחב העבודה הגלובלי״. לפי התיאוריה, חלקים רבים במוח מבצעים עיבוד מקומי ואוטומטי, ורק חלק קטן מן המידע מגיע למרחב משותף שמאפשר דיווח, תכנון והסקה גמישה. החוקרים מצאו במרחב-J כמה תכונות תפקודיות דומות: קיבולת מוגבלת, אפשרות להחזיק מושג, שימוש באותו ייצוג לצרכים שונים ותפקיד בהסקה מורכבת.
אבל הדמיון מוגבל. המוח משתמש בלולאות חוזרות בין אזורים רבים, ואילו קלוד מעבד מידע במעבר קדימה דרך שכבות של טרנספורמר. המחשבות האנושיות יכולות להיות חזותיות, שמיעתיות וגופניות, בעוד שמרחב-J קשור בעיקר לייצוגים הניתנים לביטוי במילים. נוסף על כך, תיאוריית מרחב העבודה הגלובלי עצמה אינה ההסבר היחיד או המוסכם לתודעה.
גישה מודעת אינה בהכרח חוויה
כאן נמצאת ההבחנה המרכזית של המחקר. ״מודעות גישה״ מתארת מצב שבו מידע זמין לדיווח, להסקה ולהכוונת פעולה. ״מודעות פנומנלית״ היא עצם קיומה של חוויה סובייקטיבית — התחושה שיש מישהו שחווה את המחשבה.
הניסויים מספקים ראיות לתפקודים מן הסוג הראשון. הם אינם מראים שלקלוד יש חוויה מן הסוג השני. גם העובדה שהמודל מסוגל לדווח על מושגים פעילים בתוכו אינה פותרת את הבעיה, משום שמודל שפה אומן לייצר דיווחים מילוליים משכנעים.
לכן הכותרת המדויקת אינה ״הוכח שלקלוד יש מודעות עצמית״, אלא שנמצא בו מנגנון חישובי בעל כמה תכונות המזוהות עם גישה מודעת. הממצא עשוי לשנות את חקר הפרשנות והבטיחות של מודלי שפה, וגם להזין מחדש את הוויכוח הפילוסופי על התנאים הנדרשים לתודעה. ההכרעה בשאלה אם קיימת שם חוויה פנימית עדיין רחוקה.
שאלות ותשובות
מהו מרחב-J?
מרחב-J הוא השם שנתנו חוקרי אנתרופיק לקבוצה מצומצמת של ייצוגים פנימיים במודל, הזמינים לדיווח מילולי ומשמשים גם להסקה ולשימוש גמיש במידע.
כיצד החוקרים קראו את הייצוגים הפנימיים?
הם השתמשו בעדשת היעקוביאן, כלי שמעריך כיצד פעילות בשכבות פנימיות תשפיע על הסיכוי שהמודל יפיק מילים ומושגים בהמשך.
האם המחקר מוכיח שקלוד מודע לעצמו?
לא. הוא מצביע על תפקודים הדומים ל״מודעות גישה״, אך אינו מוכיח שלקלוד יש רגשות, תחושות או חוויה סובייקטיבית.
מדוע הממצא חשוב מבחינה מעשית?
הוא עשוי לסייע בהבנת תהליכי ההסקה של מודלים, באיתור כוונות או הערכות שאינן מופיעות בתשובה הגלויה ובפיתוח שיטות אימון ובקרה מדויקות יותר.
עוד בנושא באתר הידען
- מרוץ החימוש של הבינה המלאכותית: למה אנתרופיק מבקשת ללחוץ על הברקס
- קלוד אופוס 4 יוצא משליטה? הבינה המלאכותית החדשה שגורמת למפתחים לחשוש
- אחוות המכונות: כשבינות מלאכותיות משקרות כדי להציל זו את זו
- פיענוח הקופסה השחורה של הבינה המלאכותית – מדענים חושפים תוצאות בלתי צפויות
- כדי לחקות תא עצב אנושי יחיד נדרשת רשת עצבית עמוקה
לפרסום המקורי: פתיחת הפרסום המקורי
