טור פרשנות: דריו אמודיי ובכירים נוספים בתעשיית ה-AI קוראים להאט את מרוץ היכולות, להציב בוחנים חיצוניים ולגבש כללים בין-לאומיים — בעוד הממשל האמריקני וסין חוששים לאבד את ההובלה
הערת המערכת: על הקריאה להאט את מרוץ הבינה המלאכותית ועל המחלוקת בין בכירי התעשייה פרסמנו השבוע סקירה נרחבת; בטור זה מציג ד״ר רועי צזנה את פרשנותו להתפתחויות.
בשבוע האחרון החל כדור שלג להתגלגל: התנועה לעצירת הבינה המלאכותית. או לפחות לעיכוב ההתקדמות שלה.
את התנועה מוביל כרגע דריו אמודיי, מנכ״ל אנתרופיק. אמודיי שיתף כבר לפני שנתיים את החזון שלו לעתיד נפלא עבור האנושות: עולם שבו הבינה המלאכותית תרפא כמעט כל מחלה, תיצור עולם של שפע ותקדם דמוקרטיה וחופש.
כל זה טוב ויפה, אבל אמודיי שינה את דעתו לאחרונה. וכפי שהוא כותב בעצמו:
"לאורך החודשים האחרונים השתכנעתי שכדי להתמודד עם הסיכונים במלואם, צריך אפילו יותר זהירות — לא רק להשקיע במניעת סיכונים, אלא להגביל את קצב ההתקדמות כך שלמניעת הסיכונים יהיה מספיק זמן להתפתח בעצמה. אנחנו חייבים להאט את הקצב שבו אנו משפרים את היכולות של מודלי הבינה המלאכותית."
שתי סיבות להאטה
שתי סיבות גרמו לאמודיי להשתכנע שצריך להאט את קצב ההתקדמות.
הסיבה הראשונה, לדבריו, היא שבערך ביולי השנה זינק קצב ההתקדמות של הבינה המלאכותית בצורה דרסטית. הבינה המלאכותית מסוגלת לקחת על עצמה יותר ויותר משימות, כולל חלק גדול מעבודת הבנייה של הדור הבא של הבינות המלאכותיות. הדינמיקה הזאת נקראת "שיפור עצמי רקורסיבי" — כלומר, שיפור שמזין את עצמו — ולפי אמודיי היא מתחוללת בכל רחבי התעשייה, כולל כמובן באנתרופיק.
מה הבעיה כאן? שאנחנו יודעים איך אנחנו נכנסים לתהליך כזה של שיפור עצמי, אבל לא איך מסיימים אותו. הבינה המלאכותית יכולה לקבל החלטות לאורך תהליך הפיתוח שלא יהיו בהכרח לטובת המין האנושי. היא יכולה, למשל, לפתח מודלים מתקדמים שינסו לצמצם את מספר תאונות הדרכים — דרישה הגיונית בהחלט — בדרכים שלא היינו מצפים להן, כמו שיבוש באמצעי סייבר של כל המחסומים בחניונים. כי אין דבר שמצמצם את מספר תאונות הדרכים כמו פחות מכוניות בכבישים. או כמובן הדוגמה הידועה לשמצה, ועדיין תיאורטית בלבד, של מניעת מלחמות בין בני אדם באמצעות שחרור נגיף קטלני. כי שוב, אם יש פחות בני אדם, יש גם פחות מלחמות.
כאשר הבינות המלאכותיות מפותחות בידי בני אדם, אנחנו יודעים שיש מישהו שמבין אותן ויכול לבצע בהן בקרה והתאמה מחדש. אבל מה קורה כשהבינות המלאכותיות מפתחות את עצמן? עד כמה אפשר לסמוך עליהן שיעשו עבודה טובה שתואמת לערכים האנושיים? לא מאוד.
הגורם השני שהקפיץ את אמודיי היה הפריצה הגדולה להאגינג פייס. במסגרת אותה פריצה, נחיל של סוכנים, שהגיחו מהתשתיות של OpenAI, פרצו בהצלחה לחברת האגינג פייס, תוך שהם מדברים זה עם זה, מתאמים מתקפות, משתפים מידע ואפילו מקריבים את עצמם לטובת "הקולקטיב" — כפי שאכן קראו לעצמם. אמודיי מאמין שבקצב ההתפתחות הנוכחי של הבינה המלאכותית, בתוך חצי שנה אנו עשויים לראות נחיל סוכנים שמסוגל לשתק את האינטרנט כולו. ובניגוד למקרה של OpenAI, שבו הסוכנים קיבלו את כוח המחשוב שלהם מתשתיות החברה, הנחיל העתידי עשוי לפעול כבוטנט — כלומר, לקבל את כוח המחשוב שלו מאלפי או מיליוני שרתים בכל העולם. אי אפשר יהיה לכבות אותו בלי לכבות את האינטרנט כולו.
שלושת הצעדים שמציע אמודיי
מה הפתרון של אמודיי? הוא מציע להאט את קצב ההתפתחות, כדי שהחברות יוכלו לכוונן את הבינות המלאכותיות שלהן כך שיהיו בטוחות ואמינות יותר. במקביל, יהיו בוחנים חיצוניים שיוודאו שהחברות פועלות בצורה אחראית.
והנה ההודעה החשובה של אמודיי: הוא התחייב לתת לבוחנים חיצוניים גישה מלאה לכל המנגנונים הפנימיים של אנתרופיק. כל המודלים שהם מפתחים עכשיו, כל המבדקים — הכול.
וזה רק הצעד הראשון. כי אמודיי משרטט גם את הצעדים הבאים לעתיד: תיאום בין המדינות הדמוקרטיות ובין חברות שפועלות באותן דמוקרטיות. החברות עצמן צריכות לשתף פעולה, להחליט לפעול באחריות ולקבל על עצמן בודקים חיצוניים שיוודאו שהן מתקדמות בזהירות במחקרים ובפיתוחים שלהן.
ומה עושים לגבי סין? האם היא לא תרוץ קדימה בזמן שהמערב מדשדש במקום? אמודיי מגדיר מצב שבו סין תוביל בתחום הבינה המלאכותית כ"איום חמור לארצות הברית ולעולם". אבל הוא טוען שאפשר להאט את ההתקדמות הסינית באמצעות הגבלת מכירות שבבים חזקים למזרח הרחוק, מניעת "העתקה" ממודלים מערביים — תהליך הידוע בשם "דיסטילציה" — והגברת האבטחה על חברות הבינה המלאכותית כדי למנוע גניבה של מודלים שלמים מהמקור.
אמודיי מעז לחלום אפילו על אמנה גלובלית שתוודא שכולם — סין, ארצות הברית וגם ישראל — יאטו את הקצב. זה לא חלום מנותק או תלוש מהמציאות. ראינו כבר אמנות דומות בעבר, שנועדו למזער את יכולתן של מדינות לפתח נשק גרעיני, אבל עדיין אפשרו להן לבצע מחקר גרעיני, להקים תחנות כוח גרעיניות וליהנות מהתועלות שטכנולוגיות גרעין יכולות לספק להן. אפילו הוקמה הסוכנות הבין-לאומית לאנרגיה אטומית, שמקדמת את השימוש בטכנולוגיות גרעין לצרכים אזרחיים — ומפקחת על מדינות כדי לוודא שלא נעשה בהן שימוש לגרימת נזק.
זהו, בקיצור נמרץ, החזון של אמודיי. ולא רק חזון, אלא גם הצהרה ממש שאנתרופיק עומדת לקיים את החלק הראשון של החזון בלי קשר לפעולות של החברות והמדינות האחרות.
התעשייה מצטרפת — הממשל מהסס
החדשות המרגשות הן שגם בכירים אחרים בתעשייה מתחילים להשמיע קולות דומים. סם אלטמן הודיע ברבים שהוא מסכים עם אמודיי שצריך להאט את הקצב, והתחייב לפעול כמו אנתרופיק ולתת גישה לבוחנים חיצוניים. אילון מאסק, שעומד בראש xAI, כתב בפשטות ברשת החברתית ש"דריו צודק". דמיס האסביס, שהקים את דיפמיינד של גוגל, הסכים שמדובר בכיוון הנכון. מנכ״ל האגינג פייס הסכים שקריטי לוודא את התאמת הערכים של הבינה המלאכותית, ושאי אפשר לסמוך על החברות שיעשו זאת מאחורי דלתות סגורות. הוא אפילו הציע להצטרף לצוות הבוחנים החיצוניים של אנתרופיק.
אבל יש רק בעיה אחת: הממשל האמריקני לא כל כך מרוצה מכל רעיון ההאטה. יו״ר בית הנבחרים האמריקני כבר הודיע שבית הנבחרים לא יקדם חקיקה בנושא בטיחות הבינה המלאכותית. וכמובן שטראמפ התבטא בבירור בנושא, כהרגלו, ואמר שכוחות שליליים מאוד מעלים רעיונות שלא יתממשו, שארצות הברית מובילה על סין בבינה המלאכותית ושהוא רוצה לשמור על המצב כך, מפני שמי שמנצח בבינה המלאכותית — מנצח.
הוא כנראה צודק, אבל נשאלת השאלה אם אי אפשר למצוא פשרה כלשהי שתביא להאטה כללית בתחום. כי אם הבינה המלאכותית באמת תצא משליטה ותשתק את האינטרנט — או תפגע באנושות — הרי שכולנו נפסיד יחד.
ומה תעשה סין?
סין, בינתיים, משגרת סימנים סותרים. מצד אחד, נשיא סין התייחס כבר ביולי לאפשרות של אובדן שליטה על הבינה המלאכותית וקרא לכינון חוקים בין-לאומיים ברורים כדי למזער את הסיכון. מצד שני, אחד העיתונים הנחשבים בסין — שממומן ומפוקח בידי הממשל הסיני, כמובן — התייחס כבר להצעה של אמודיי כניסיון לדכא את ההתקדמות הסינית בבינה מלאכותית.
אז מה יהיה? שאלה טובה. כרגע נראה שהתעשייה במערב עומדת להאט את עצמה מבחירה, בתקווה למנוע אסון. במקביל, המנהיגים הלאומיים ממשיכים לעשות קולות של "בשום פנים ואופן לא מאטים!", אבל בהחלט יכול להיות שכל זה הכנה לקראת מפגש הפסגה בין טראמפ לשי ג׳ינפינג ב-24 בספטמבר, שבו הם בוודאי ידונו גם בנושא הזה ואולי ימצאו את הדרך לפשרה.
ואנחנו, בני האדם הקטנים, נמשיך לצפות מהצד ולקוות לטוב.
שאלות ותשובות
מה פירוש האטת מרוץ הבינה המלאכותית?
הכוונה איננה להפסקה מוחלטת של המחקר או האימון, אלא לקצב פיתוח מדוד יותר שיאפשר לבדיקות בטיחות, למחקר היישור ולפיקוח חיצוני להדביק את קצב השיפור ביכולות.
מדוע דריו אמודיי קורא להאט דווקא עכשיו?
לדבריו, יכולתן של מערכות AI לסייע בפיתוח הדור הבא של המודלים מאיצה את ההתקדמות, ותקרית OpenAI–Hugging Face המחישה כיצד סוכנים רבים עלולים לשתף פעולה בדרכים שלא תוכננו מראש.
אילו צעדים מציע אמודיי?
הוא מציע להכניס לחברות בוחנים חיצוניים בעלי גישה רחבה, לתאם תקני בטיחות בין חברות ומדינות דמוקרטיות, ובהמשך לחתור לתיאום גלובלי שגם סין תהיה שותפה לו.
האם בכירים נוספים בתעשייה תומכים במהלך?
סם אלטמן, אילון מאסק ודמיס האסביס הביעו תמיכה בכיוון הכללי, אך הדרך מהצהרות פומביות להסכמה מחייבת בין חברות וממשלות עדיין ארוכה.
המאמר המדעי
עוד בנושא באתר הידען
- האם צריך להאט את מרוץ הבינה המלאכותית? הוויכוח האמיתי הוא על הקצב, לא על עצירה
- מחקר: הסיכונים המיידיים של בינה מלאכותית מפחידים יותר מנבואות קץ העולם
- אחוות המכונות: כשבינות מלאכותיות משקרות כדי להציל זו את זו
- רשת של סוכני בינה מלאכותית "מדברת עם עצמה" — וחוקרים מאזינים מבפנים
- הפחד לסייע לאויב מעכב הסכמות בין-לאומיות על שימוש צבאי בבינה מלאכותית
לפרסום המקורי: [התנועה לעצירת הבינה המלאכותית צוברת תאוצה — המדריך לעתיד, ד״ר רועי צזנה](
