מחקר חדש חושף שמודלי ההיגיון הגדולים, כמו GPT-O3, עדיין מתקשים להתמודד עם בעיות מורכבות — ומזכיר לנו שבינה מלאכותית מתקדמת עדיין פועלת בעיקר על השלמות סטטיסטיות ולא על הבנה אמיתית
בימים האחרונים התפרסם מחקר שמרעיד את אמות הסיפין של קהילת הבינה המלאכותית. למרבה הצער, הוא כמעט ואינו נדון ברצינות בציבור. למה? אולי מכיוון שהוא מנוגד להייפ הקיים מסביב לבינה המלאכותית, ומדגיש כמה מהמגבלות שלה שאינן ברורות מאליהן. אבל אולי גם מכיוון שהוא מורכב במיוחד, ודורש הבנה מעמיקה יותר מהרגיל של מנועי הבינה המלאכותית הקיימים כיום.
ובכן, בואו ננסה להסביר את זה, ונתחיל מהבסיס.
מודלי השפה הגדולים – התוכים המרשימים ביותר
מכירים את צ'אט-GPT? ברור שכן. צ'אט-GPT הוא "מודל שפה גדול". בניסוח מרשים-פחות, הוא מנוע שמבצע auto complete – כלומר, השלמה אוטומטית של מילים ומשפטים. המנוע מאומן על כמויות עצומות של טקסט שמגיעות מהאינטרנט, מהספרות המקצועית והמדעית, מספרי הרפתקאות לילדים, וכל מקור אחר של כתיבה אנושית. הוא נסמך על קסמים מתמטיים וסטטיסטיים כדי לזהות איזה מילים מתחברות לעיתים קרובות יותר ביחד, ולא הרבה יותר מזה.
אז איך צ'אט-GPT יודע לדבר איתכם כל-כך יפה? איך הוא יודע לנתח את הבעיות הפסיכולוגיות שלכם, או לתת לכם תשובה לשיעורי הבית?
מאותה הסיבה: שמספר הבעיות השונות בעולם אינו גדול כמו שהוא נראה, וכל בעיה פסיכולוגית שאתם מתוודים עליה בעיניים דומעות בפני המחשב, הוא כבר קרא וריאציה מסוימת כלשהי שלה בחומר האימון שלו. אותו דבר תקף גם לרוב השאלות משיעורי הבית ומהמבחנים בבית הספר. במקרים רבים המנוע גם קרא את הפתרונות לאותן בעיות, ולכן יש לו את סט המילים שסביר ביותר שיופיעו בהמשך לשאלה. ואז הוא מחבר מילה למילה, עד שמקבלים משפט שנראה לנו הגיוני, ולפעמים הוא באמת הגיוני. ולפעמים לא.
העובדה שבמקרים רבים מאד, מודלי השפה הגדולים מצליחים לספק תשובות הגיוניות לשאלות פשוטות, אינה פחות ממופלאה. אבל ככל שהשאלה הופכת למורכבת יותר, וככל שהיא חורגת יותר מהמקובל – משאלות טיפוסיות שקל למצוא בחומר האימון של המודלים – כך קטן הסיכוי שהם יתנו תשובות שימושיות. פשוט אין להם היגיון משלהם. הם לא הרבה יותר מ- "תוכים סטוכסטיים": תוכים שחוזרים על דפוסים שהם שמעו בעבר, בלי הבנה אמיתית מאחוריהם.
שיהיה ברור: מודלי השפה הם אולי תוכים, אבל הם תוכים שימושיים מאד. מודל שפה גדול של גוגל (Med-PalM 2) הצליח בתחילת 2025 באבחון חולים טוב יותר מרופאים כלליים, למשל. מחקר אחר הראה שהם יכולים לספק ייעוץ פסיכולוגי שמסייע למטופלים. וכמו שיכולים רבים להעיד, המודלים האלו מגיעים לרמות תרגום קרובות לאלו של בני-אדם. ובכל זאת, המודלים האלו מתאימים בעיקר למשימות מאד מוגבלות וצרות.
לפחות זה היה המצב עד להגעתם של "מודלי ההיגיון הגדולים".
מודלי ההיגיון הגדולים – ההגעה להבנה
לאורך שנת 2024, מנכ"ל OpenAI סם אלטמן הלהיב את קהילת הבינה המלאכותית (והציבור הכללי) עם הבטחותיו לגבי מודל Strawberry – "תות שדה". זה היה מודל שהיה אמור להצליח לפתור בעיות היגיון מורכבות הרבה יותר מאלו שמודלי השפה הגדולים יכלו להתמודד איתן. ואז, בספטמבר 2024, המודל השתחרר לציבור תחת הכינוי GPT O1.
והוא אכן ענה על הציפיות.
המודלים מסוג GPT O1 ו- GPT O3 הם "מודלי היגיון גדולים". הם נסמכים בדיוק על אותו עקרון של מודלי השפה הגדולים, אבל עם טוויסט ייחודי: כשהם נתקלים בבעיות מורכבות, הם מדברים עם עצמם כדי למצוא דרכים לפרק אותן לבעיות פשוטות יותר, שקל להם יותר לפתור אותן.
מה פירוש "מדברים עם עצמם"?
ניתן דוגמא.
נאמר שאתם רוצים לדעת האם העולם עגול, ושואלים את GPT4 את השאלה המורכבת הזו. "האם העולם עגול". מה הוא יעשה?
מודל שפה גדול כמו GPT4 (מהסוג שדיברנו עליו קודם), ישלים אוטומטית את המילה הבאה לפי כל מה שהוא קרא בחומר האימון שלו. מכיוון שהוא קרא מיליוני דוגמאות של שאלות בסגנון הזה, המילה "כן" תופיע בסבירות גבוהה, כמו גם "בוודאי", "אין ספק", "לחלוטין", "כולם יודעים ש…" ודומותיהן. ומשם הוא ימשיך להשלים את המילים בצורה המתאימה. אתם תקבלו, כנראה, תשובה שקרובה מאד לקונצנזוס המדעי, לפחות אם מודל השפה הגדול קיבל את חומר האימון הנכון.[1]
מה יעשה מודל היגיון גדול כמו GPT O1?
כשמודל היגיון גדול יקבל שאלה כמו "האם העולם עגול?", הוא יתחיל לייצר עבור עצמו פרומפטים ולענות עליהם. פרומפטים כאלו לדוגמא עשויים לכלול את השאלות –
- "למה המשתמש רוצה לדעת את זה?"
- "האם הוא שואל ברצינות?"
- "מה אני יודע על המשתמש ויכול לעזור לי להפיק תשובה שתתאים עבורו יותר?"
- "מה התשובה שייתן מומחה בתחום לשאלה זו?"
איך מודל ההיגיון הגדול יענה על השאלות האלו? פשוט: הוא יעביר אותן למודל שפה גדול כמו GPT4 ויצווה עליו לענות עליהן. וכשהוא יקבל את התשובות, הוא ייקח ויעבד אותן לפרומפט אחד ענקי, שאותו הוא יזין למודל שפה. וכך, מכיוון שמודל השפה מקבל עכשיו פרומפט עם יותר מילים רלוונטיות, הוא ייתן תשובה שתהיה כנראה טובה יותר.
תאמרו עכשיו – "רגע, רועי, אתה בעצם אומר שכל החשיבה המורכבת של מודלי ההיגיון, היא תוצר של מודל שפה נטול-היגיון שמייצר שאלות שאינן בהכרח הגיוניות, ואז מסתמך על התשובות שאינן-בהכרח-הגיוניות של מודלי שפה לאותן שאלות, ומזין אותן מחדש למודל שפה נטול-היגיון?"
בדיוק. צבים על צבים על צבים, כל הדרך למטה.
וכמו במקרה של מודלי השפה הגדולים, הפלא הוא שמודלי ההיגיון באמת עובדים ומצליחים להגיע לתוצאות מרשימות. אנחנו רואים שהתשובות שלהם מדויקות יותר משמעותית בתחומים כמו תכנות ובהתמודדות עם בעיות מורכבות. ועדיין, בבסיסם, מודלי ההיגיון הם בעיקר מודלי שפה ששואלים זה את זה שאלות, כדי שיוכלו לעצב את הפרומפט המוצלח ביותר לפתרון הבעיה.
אבל איך מודלי ההיגיון יודעים בכלל איזה שאלות לשאול כדי לפתור בעיות מורכבות?
כי מאמנים אותם לזה.
כל חברה עושה זאת אחרת (ואף אחת מהן לא חושפת את מלוא התהליך), אבל הניחוש כרגע הוא שמודלי ההיגיון עברו סדרת אימונים מצד מומחים בתחומים שונים. למשל, בתכנות. אותם מומחים 'הסבירו' למודלים (כלומר, נתנו להם עוד ועוד ועוד דוגמאות) מה השאלות שהם צריכים לשאול את עצמם כדי לפתור בעיות שונות בתכנות. המומחים גם הראו למודלים מה סדר הפעולות שהם נוקטים בהן כדי לפתור בעיות שונות בתכנות.
כאשר מודל היגיון נתקל בבעיה בתכנות, הוא פשוט מסתמך על הדפוסים שאותם מומחים הנחילו לו בעבר כדי לפתור אותה. לא יותר, ולא פחות. ידיעת אותם דפוסים מאפשרת לו להגיע להצלחה מרשימה ביותר בתכנות – הרבה יותר מזו של מודלי השפה.
אבל מה קורה כאשר מודל ההיגיון נתקל בבעיה חדשה בתכנות? כזו שהוא לא אומן לקראתה? במקרה זה הוא לא יודע מה השאלות הנכונות לשאול לגביה, או מה המתווה הנכון שהוא צריך ללכת לאורכו כדי לפתור אותה. הוא עלול אפילו לשאול את השאלות הלא-נכונות, או לנסות כיווני פתרון לא-רלוונטיים. והתוצאה, באופן לא-מפתיע, היא שהביצועים שלו צונחים מטה-מטה, וחוזרים לרמה של מודלי השפה הפשוטים יותר.
ואם מדובר בשאלה מתחום שמודל ההיגיון בכלל לא נערך לקראתו? אז התשובות יכולות להיות גרועות אפילו יותר.
אני רוצה להדגיש שוב, שלמרות כל הביקורתיות שאני מביע כאן כלפי מודלי ההיגיון, הם עדיין עושים עבודה מרשימה בחלק משמעותי מהמקרים. בתכנות, למשל, GPT O3 מצליח לעקוף 99.80 אחוזים מהמשתתפים בתחרויות בתחום. בהחלט מדובר בקפיצת מדרגה בהשוואה למודלי השפה הפשוטים.
אלא מה? במחקר החדש – ועכשיו סוף סוף אנחנו מגיעים לגולת הכותרת של המאמר הזה – גילו חוקרי אפל שלמודלי ההיגיון… ובכן, אין היגיון.
או לפחות שהוא לא חזק כפי שקיווינו.
ההיגיון שלא קיים
נתחיל בכך שלמודלי ההיגיון דווקא יש היגיון. גם כשהם מקבלים בעיות שאינן זהות בדיוק לבעיות שעליהן אומנו, הם עדיין מסוגלים לבצע הכללה מסוימת, ולפענח איך לפתור את הבעיות החדשות הללו. זו יכולת מרשימה מאד, ללא ספק. אבל מה שהיינו מצפים לראות מבן-אדם בעל יכולת דומה של פתרון בעיות, זה שהוא יבין את העקרון מאחורי הבעיה – וברגע שיגיע לאותה הבנה, הוא יוכל לפתור בעיות מורכבות יותר באותה הדרך.
ניתן דוגמא: מגדלי האנוי. זוהי חידה עתיקת-יומין, ובה יש שלושה מוטות, ועל אחד מהם יש סדרה של עיגולים שכל אחד מהם רחב יותר מקודמו, עד שהעיגול הרחב ביותר נמצא בתחתית המוט. הכללים פשוטים: צריך להעביר את כל העיגולים למוט אחר, אבל עיגול רחב אינו יכול לשבת על עיגול צר יותר.
הפתרון לחידה הוא להזיז את העיגולים ממוט אחד לשני ולשישי בדרך שחוזרת על עצמה שוב ושוב, עד שכולם עברו למוט הסופי הנכון. אדם שמבין איך לפתור את החידה הזו עבור ארבעה עיגולים, יכול לפתור אותה באופן דומה גם עבור שישה, שמונה, או מאה עיגולים.
אבל מודלי ההיגיון? ובכן, כאשר החוקרים של אפל הציבו להם בעיות כמו מגדלי האנוי, הם ראו שמודלי ההיגיון מצליחים לפתור את הבעיות עד לרמה בסיסית מסוימת. מעבר לאותה רמה, הם נכשלו באופן עקבי. אפילו כשהם קיבלו רמזים לדרך הפתרון, הם עדיין לא הצליחו למצוא פתרון לבעיות המתקדמות ביותר. ספציפית במגדלי האנוי, הם הצליחו להתמודד היטב עם שישה עיגולים בערך. מנקודה זו ואילך, ככל שמספר העיגולים גדל – שיעור ההצלחה ירד. וכשהגיעו לעשרה עיגולים או יותר – הוא צנח דרמטית למטה. תופעה דומה אירעה גם בחידות ומשחקים אחרים. ככל שהמורכבות גדלה, המודלים התקשו יותר לפתור אותה, למרות שלכאורה הם הגיעו כבר להבנה בנוגע לדרך הפתרון האופטימלית בבעיות פשוטות יותר.
והתופעה הזו הפתיעה הרבה מאד אנשים. או לפחות את אלו שלא הבינו איך המודלים באמת עובדים.
הזעזוע שלא היה
ביום אחרי שהמחקר השתחרר, אפשר היה למצוא ברשת הרבה הצהרות בסגנון "הנה – אמרנו לכם! מודלי ההיגיון לא באמת יודעים לחשוב!!"
וזה נכון. אבל אני לא מכיר מומחה שמבין בתחום וטען שמודלי ההיגיון כיום ניחנים בהיגיון שמשתווה לזה האנושי. אם היו קביעות כאלו, הן הגיעו בעיקר מאנשים שלא מכירים את הנושא, ותלו תקוות גדולות מדיי במודלי ההיגיון כפי שהם היום.
מה אומרים המומחים האמיתיים? שמודלי ההיגיון ניחנים ביכולת מסוימת ומוגבלת לפתור בעיות, כמו שהסברתי קודם, והם מוצלחים במיוחד בפתרון בעיות שאומנו עליהן. המומחים האמיתיים אולי קצת הופתעו לשמוע שהמודלים מתקשים להתמודד עם אותן בעיות כשרמת המורכבות שלהן עולה, אבל לא נראה שיש כאן זעזוע אמיתי. כן, המודלים מוגבלים. כן, אנחנו יודעים. לא, אין כאן היגיון אמיתי, אלא השלמה של משפטים.
וזה בסדר.
למה זה בסדר? כי אף אחד לא חשב שמודלי ההיגיון הם אלו שיזניקו אותנו ישירות לארץ המובטחת של "בינה מלאכותית כללית": כזו שתוכל לתפקד ברמה האנושית הגבוהה ביותר. נכון, סם אלטמן הכריז שיש ל- OpenAI כבר את ההבנה איך לבנות בינה מלאכותית כללית, אבל הוא לא התחייב שמודלי ההיגיון הם אלו שיביאו אותנו לשם. למעשה, אפשר להיות בטוחים ש- OpenAI עובדים כיום על טכנולוגיות מתקדמות יותר.
משמעויות פרקטיות – ומשמעויות לעתיד
המשמעות הפרקטית של המחקר היא, כרגיל, שאי אפשר לסמוך בקלות על הבינה המלאכותית. מי שחושב שאפשר לזרוק לה בעיות מורכבות, והיא תתמודד עמן באותה הקלות שהיא מפגינה בפתרון בעיות פשוטות יותר – טועה. זה לקח חשוב לכל משתמש. רק מכיוון שראיתם שצ'אט-GPT התמודד יפה עם ההיגיון של שאלה קלה, זה לא אומר שאתם יכולים לזרוק לו שאלה מורכבת יותר שנסמכת על אותו היגיון. אתם חייבים לבדוק כל פלט שהמנועים האלו מספקים לכם.
אבל את זה כבר ידענו.
המשמעות לעתיד מעניינת יותר. לפי התחזיות בתחום, בשנתיים הקרובות התכוונו חברות הבינה המלאכותית לאסוף מומחים מכל התחומים – כימאים, עורכי דין, עובדים סוציאליים ורבים אחרים. למה? כדי שישבו עם מודלי ההיגיון ויסבירו להם איך להתמודד עם בעיות ואתגרים בתחומים שלהם. אני משער שהן עדיין יעשו את זה, אבל שדרכי האימון וההסבר ישתנו קצת כדי להכיל בצורה מפורשת בעיות ברמת מורכבות גבוהה יותר.
קיים סיכוי שהתגלית החדשה תעכב קצת את ההגעה ל- AGI – בינה מלאכותית כללית. אבל הדרך לשם עדיין ארוכה בכל מקרה. בשווקי התחזיות – שם אנשים מהמרים בכסף על התחזיות שלהם – לא הסתמן שינוי משמעותי בהימורים על מועד פיתוח AGI בעקבות המאמר.
לסיכום, לא מדובר במאמר פורץ-דרך או מערער-פרדיגמה. הוא כן מדגים ומדגיש מגבלה קיימת של מודלי ההיגיון, ומבהיר שהטכנולוגיה תצטרך להתקדם עוד כברת דרך לפני שתגיע לשיאה.
כמו שכבר ידענו.
אבל לפחות הוא נתן לי הזדמנות להסביר איך המודלים האלו עובדים.
[1] לחכמולוגים שמכירים היטב את התחום: כן, אני יודע שיש גם את שלב ה- RLHF, ויש גם mixture of experts, ועוד סייגים ודיוקים. אבל בחייכם – אנחנו מנסים להסביר כאן חומר מורכב לציבור הרחב, לא להעביר הרצאה בקורס בטכניון. צריך לעשות קצת גנרליזציה ולהתמקד בפרטים החשובים באמת. אתם יודעים, זו אחת הראיות לכך שיש לנו אינטיליגנציה.
