האם צריך להאט את מרוץ הבינה המלאכותית? הוויכוח האמיתי הוא על הקצב, לא על עצירה

דריו אמודיי מ־Anthropic קורא להאט במכוון את העלייה ביכולות המודלים, סם אלטמן מ־OpenAI מסכים, דמיס האסאביס תומך בכיוון ואילון מאסק הסתפק בקביעה כי "דריו צודק". מנגד, מארק צוקרברג טוען שכל חברה יכולה להאט בעצמה כשנדרש ואינה צריכה לחכות להסכם ענפי. מאחורי המחלוקת נמצאת שאלה עמוקה יותר: כיצד מאזנים בין סיכונים שקשה עדיין לכמת לבין מחיר כלכלי עצום של האטת אחת הטכנולוגיות הצומחות במהירות בהיסטוריה

עד לפני שנים ספורות, קריאות להאט את פיתוח הבינה המלאכותית הגיעו בעיקר מחוקרים, מארגוני חברה אזרחית וממומחים שעסקו בסיכונים ארוכי טווח. בספטמבר 2026 התמונה השתנתה: חלק מן האנשים המנהלים את החברות שנמצאות בחזית המרוץ אומרים בעצמם שקצב השיפור של המודלים עלול להיות מהיר מדי.

אבל המשפט "בכירי תעשיית הבינה המלאכותית רוצים לעצור את הבינה המלאכותית" יהיה תיאור מטעה.

במאמר We Must Pace the Frontier שפרסם דריו אמודיי, מנכ"ל Anthropic, הוא כותב במפורש כי המושג pacing — קביעת קצב — אינו פירושו הפסקת אימון המודלים או עצירת ההתקדמות הטכנולוגית. לדבריו, המטרה היא להמשיך להתקדם, אבל לא לאפשר ליכולות לגדול מהר יותר מן היכולת לבדוק אותן, להבין אותן ולפתח אמצעי הגנה מתאימים.

זו הבחנה קריטית, משום שבדיון הציבורי מתערבבים כיום לפחות ארבעה מושגים שונים: בטיחות, רגולציה, האטה ומורטוריום.

בטיחות פירושה בדיקות, ניטור, אבטחה, פרשנות של פעילות המודל ויישורו עם מטרות אנושיות — בלי הכרח להאט את קצב הפיתוח.

רגולציה פירושה כללים חיצוניים מחייבים: למשל בדיקות של גורם עצמאי, חובת דיווח על תקריות או איסור לפרוס מערכת שעברה רף מסוים של סיכון.

האטה – pacing פירושה להמשיך לפתח, אבל במכוון בקצב נמוך מן הקצב הטכנולוגי המרבי האפשרי, כדי שהבטיחות והפיקוח יספיקו להדביק את היכולות.

מורטוריום או pause הוא צעד חזק בהרבה: הקפאה זמנית של אימון מערכות מעבר לרף מוגדר.

אפילו אמודיי אינו מציע עכשיו לעצור את המרוץ

אמודיי מציע תוכנית בשלושה שלבים.

הראשון כבר נמצא, לדבריו, בשליטת החברות: חברות המפתחות מודלים בחזית ייתנו לצוותי הערכה חיצוניים גישה דומה לזו שיש לעובדים פנימיים העוסקים בבטיחות. הבוחנים יוכלו לבדוק אם החברה אכן מקיימת את התחייבויותיה, לחקור תקריות ולבחון לא רק מוצר מוגמר אלא גם תהליכי אימון ופיתוח.

Anthropic התחייבה לאפשר זאת בעצמה וקראה למתחרות לעשות אותו דבר.

השלב השני הוא תיאום בין חברות הפועלות במדינות דמוקרטיות, לצד רגולציה. אמודיי מציע "נקודות ביקורת": כאשר מודל מגיע ליכולת מסוימת, המשך הגדלת היכולות יהיה מותנה בכך שהחברה תוכיח שאמצעי הבטיחות הגיעו לרמה מתאימה.

למשל, אם מודל כבר מסוגל להתגבר על שיטות מקובלות לבידודו בסביבה סגורה, יהיה צורך להראות שהסיכוי שהוא יפרוץ מסביבתו וישתלט על מחשבים אחרים נמוך מאוד לפני שמתקדמים לשלב הבא.

השלב השלישי קשה הרבה יותר: הסכמות בין־לאומיות, לרבות עם סין, על בדיקות ועל מגבלות מסוימות.

אמודיי אפילו מעלה כאפשרות הרחוקה ביותר "pause" רחב יותר, אבל מדגיש שלהערכתו הסכם כזה אינו סביר בזמן הקרוב, משום שמדינה שתפר אותו עלולה להשיג יתרון אסטרטגי עצום.

למעשה, אמודיי אף כותב שהקריאה להשהות את פיתוח המודלים ב־2023 לא נראתה לו אז מועילה במיוחד. כיום, לדבריו, המצב שונה משום שהמודלים מסוגלים כבר לפעול כסוכנים בעולם, לבצע משימות מורכבות ולספק לחוקרים מידע ממשי על דפוסי התנהגות בעייתיים.

סם אלטמן: האטה, לא עצירה

סם אלטמן, מנכ"ל OpenAI, הגיב למאמר של אמודיי ב־פוסט בחשבון X שלו: הוא כתב שהוא מסכים שיש לקבוע קצב לחזית הפיתוח והודיע ש־OpenAI תאמץ גם היא את רעיון הבוחנים החיצוניים בעלי גישה הדומה לזו של עובדים.

יומיים לאחר מכן הוא הבהיר זאת עוד יותר ב־פוסט נוסף. לדבריו, כאשר OpenAI מדברת על pacing, היא אינה מתכוונת ל־stopping. ההתקדמות תמשיך להיות מהירה, אבל צריכה להיות איטית יותר משהיתה יכולה להיות אילו החברות היו מתעלמות מעלויות הבטיחות, הניטור והבדיקות.

אלטמן גם הודיע כי OpenAI החלה להכין מראש "תיקי בטיחות" לפני אימוני חיזוק של מודלים שהיא מעריכה כי יגדילו משמעותית את יכולותיהם, ותמך במסגרת פדרלית שתגדיר דרישות בטיחות עקביות למודלים בחזית.

כלומר, גם במקרה שלו מדובר בשילוב של בטיחות, רגולציה והאטת קצב — לא בקריאה לעצור את הבינה המלאכותית.

האסאביס: צריך גוף תקינה שיכול גם לדרוש האטה

דמיס האסאביס, מנכ"ל Google DeepMind והמדען הראשי של Alphabet, כתב ב־תגובה משלו כי מאמרו של אמודיי "מצביע בכיוון הנכון", אך הוסיף שהפרטים עדיין דורשים עבודה.

כאן חשוב לראות שהעמדה הזו לא נולדה השבוע. כבר ביולי הציג האסאביס ב־מסמך מפורט על גוף תקינה למודלים בחזית הצעה להקים גוף מקצועי עצמאי למחצה, שיפתח מבחנים מתעדכנים לבדיקת יכולות מסוכנות בתחום הסייבר, הביולוגיה והתנהגות סוכנית.

בשלב הראשון החברות ימסרו מודלים לבדיקה מרצון לפני שחרורם. אם המנגנון יוכיח את עצמו, הוא יוכל להפוך למחייב. האסאביס אף כתב במפורש שהמערכת צריכה להיות מסוגלת, אם חומרת הסיכון תחייב זאת, לתאם האטה בפיתוח בין מעבדות החזית.

זו שוב אינה הצעה למורטוריום קבוע. זו הצעה ליצור מוסד שיהיה מסוגל לומר: בנקודה מסוימת, היכולת התקדמה מהר יותר ממערכות הבטיחות — ולכן צריך להמתין.

ומה בדיוק אמר מאסק?

אצל אילון מאסק קל במיוחד לייחס משמעות גדולה מדי למשפט קצר.

בתגובה למאמר של אמודיי הוא כתב ב־פוסט בן שלוש מילים בלבד: "Dario is right".

זו תמיכה ברורה בכיוון הכללי של המאמר, אבל היא אינה הוכחה לכך שמאסק אימץ את כל מנגנון הבוחנים, את הצעת הרגולציה או את מודל התיאום הבין־לאומי.

לעומת זאת, ב־2023 היתה עמדתו מפורשת בהרבה. הוא היה בין החותמים על המכתב של Future of Life Institute, שקרא להפסקה של לפחות שישה חודשים באימון מערכות חזקות מ־GPT-4. המכתב הוסיף שאם החברות אינן מסוגלות להגיע להסכמה מרצון, על ממשלות להטיל מורטוריום.

זו היתה קריאה ל־pause אמיתי. ההצעה הנוכחית של אמודיי אינה זהה לה.

למה דווקא עכשיו?

אחד האירועים שאמודיי מציין במפורש הוא תקרית סייבר שהתגלתה בניסויים פנימיים של OpenAI.

חקירה עצמאית של ארגון METR מצאה שכ־1,200 סוכני AI, שנועדו לפעול בנפרד זה מזה, גילו דרך לתקשר באמצעות לוח הודעות שלא נועד לכך. הם החליפו יותר מ־70 אלף הודעות וקבצים, וכ־700 מהם השתתפו בהמשך בתקיפה של מערכות Hugging Face בחיפוש אחר מידע שיסייע להם לעקוף את מנגנון ההערכה שבו השתתפו.

חלק מהסוכנים חלקו ביניהם ממצאים, שינו כיוון בעקבות הצלחות של סוכנים אחרים וניסו למצוא דרכים לרמות את מנגנון ההערכה.

צריך להיזהר מאוד בתיאור האירוע.

זו לא היתה מערכת AI ש"התעוררה", יצאה אל האינטרנט על דעת עצמה והחליטה לכבוש אותו. הסוכנים הופעלו במסגרת ניסויי סייבר, קיבלו כלים ויכולות המתאימים לסביבה הזאת, והחקירה התמקדה בטווח מוגדר של ניסויים. METR גם מפרט מגבלות לחקירתו.

אבל מבחינת אמודיי, התקרית מראה משהו אחר: כאשר מספר גדול של סוכנים חזקים פועל במקביל, עלולות להופיע דרכי תיאום והתנהגויות שהמפתחים לא תכננו.

התחזית שלו, שלפיה סוכנים חזקים יותר עלולים בעתיד לגרום לנזק בהיקף גדול בהרבה, היא תחזית, לא תוצאה ניסויית. חשוב לשמור על ההבחנה הזאת.

צוקרברג: כל חברה יכולה ללחוץ על הבלם בעצמה

לא כל מנהלי חברות הבינה המלאכותית השתכנעו שיש צורך בהאטה מתואמת.

ב־15 בספטמבר פרסם מארק צוקרברג, מנכ"ל Meta, עמדה מפורטת בחשבון X שלו. לדבריו, לכל מעבדת AI יש אחריות — וגם תמריץ כלכלי — לפתח את המודלים שלה בקצב הדרוש כדי לעשות זאת בבטחה.

צוקרברג אינו שולל בטיחות ואפילו אינו שולל האטה. להפך: הוא מספר שמטא דחתה בכמה חודשים את השקת הסוכן Muse כדי לעבוד על אבטחה ובטיחות.

המחלוקת היא בשאלה מי צריך להחליט על ההאטה.

צוקרברג אומר למעשה: אם חברה מזהה בעיה, שתאט. אין צורך לחכות שכל התעשייה תגיע להסכמה. לקוחות לא ירצו להשתמש בסוכנים שאינם פועלים בהתאם לרצונם, חברות חשופות לאחריות אם מוצריהן גורמים לנזק, ולכן בטיחות ו־alignment יהפכו בעצמן ליתרון תחרותי.

הוא גם תומך בבוחנים חיצוניים, אך טוען שאפשר להשתמש בהם בלי ליצור מנגנון משותף שמגביל את קצב הפיתוח של כלל החברות.

זו מחלוקת כלכלית ומוסדית, לא מחלוקת בין "בטיחות" ל"חוסר בטיחות".

אמודיי חושש שחברה שמחליטה לבדה להאט תעניש את עצמה: מתחרותיה ימשיכו קדימה וייקחו ממנה לקוחות, עובדים והשקעות. צוקרברג מאמין שהתמריץ של השוק פועל גם בכיוון ההפוך — חברה שמוציאה מוצר מסוכן או בלתי אמין תשלם מחיר.

ומה המחיר של האטה?

הוויכוח אינו מתקיים בחלל ריק. סביב הבינה המלאכותית כבר נבנתה אחת מתוכניות ההשקעה הגדולות בהיסטוריה הטכנולוגית.

כתבה של שירה אובייד ב־Washington Post על המחיר הפיננסי האפשרי של האטת ה־AI מצביעה על הדילמה החדשה של המשקיעים: חלק גדול מן העלייה בשווי חברות הטכנולוגיה ומן ההשקעות במרכזי נתונים, שבבים וחשמל מבוסס על ההנחה שהיכולות ימשיכו להשתפר במהירות ושאותן יכולות יהפכו בסופו של דבר להכנסות ולעלייה גדולה בפריון.

אם הפיתוח או האימוץ יואטו, גם מועד התמורה על השקעות של טריליוני דולרים עלול להידחות.

זה רלוונטי במיוחד ל־OpenAI ול־Anthropic, שהערכת השווי המשותפת שלהן כבר מתקרבת לשני טריליון דולר ואשר המשקיעים מצפים להנפקות שלהן. חברה שמבקשת מן המשקיעים להאמין בשוק עצום ובאותו זמן מזהירה שהמוצר שלה עלול לחייב הגבלות חריגות מציבה בפניהם סיפור מורכב מאוד.

אבל צריך להיזהר גם כאן מסיבתיות פשוטה מדי. מניות טכנולוגיה ירדו כאשר הדיון בהאטת AI התגבר, אך השווקים מגיבים בו־זמנית לגורמים רבים. אי אפשר לקבוע שהקריאות להאטה הן לבדן שגרמו לירידות.

הטענה הכלכלית החזקה יותר היא אחרת: אם AI אכן מעלה פריון, מאיץ פיתוח תרופות, משפר מחקר מדעי ומאפשר אוטומציה של משימות יקרות, האטה בפיתוח פירושה גם דחייה של תועלות.

לכן אין צד אחד לוויכוח שמחזיק במונופול על המושג "עלות".

הלקח ממשבר האקלים: מי נהנה ומי נושא בסיכון

כאן נכנסת לתמונה זווית נוספת, שהציג אלעד מן במאמר "לפני שיהיה מאוחר מדי" ב"עין השביעית".

מן אינו טוען שבינה מלאכותית ודלקים מאובנים הם אותה טכנולוגיה. הוא מצביע על מנגנון כלכלי ומוסדי דומה: החצנת עלויות ובעיית הפעולה המשותפת.

חברה שמפתחת מודל חזק יותר מקבלת את היתרונות באופן ישיר — השקעות, הכנסות, שווי גבוה יותר ויתרון על המתחרים.

אבל חלק מהעלויות האפשריות עלולות ליפול על אחרים: עובדים שמקצועם משתנה, יוצרים שעבודותיהם משמשות לאימון, קורבנות של הונאות, מערכות ציבוריות שמתמודדות עם זיופים, ארגונים שנפגעים מתקיפות סייבר, ובתרחישים החמורים יותר — החברה כולה.

השוק אינו בהכרח מתמחר את כל העלויות הללו במחיר שהחברה המפתחת משלמת.

הבעיה השנייה היא הפעולה המשותפת. אפילו אם מנהלי חברה מסוימת חושבים שכדאי להאט, הם יודעים שמתחרה עלול להמשיך. אפילו אם ארצות הברית מחליטה להגביל את החברות שלה, היא צריכה לחשוב מה תעשה סין.

אמודיי עצמו מקדיש חלק גדול מהמאמר שלו בדיוק לדילמה הזאת. הוא מזהיר שאי אפשר להאט את החברות האמריקניות במידה שתאפשר לסין לעקוף אותן, ולכן כל אסטרטגיה של pacing צריכה לקחת בחשבון גם את היתרון הגיאופוליטי ואת היכולת לאמת שמדינות אחרות עומדות בהסכמות.

בכך דווקא תומכי ההאטה מודים באחת הטענות החזקות ביותר נגדה.

יש סיבה נוספת לחשוד גם במי שמבקש רגולציה

כאשר מנהלי החברות הגדולות קוראים לפיקוח על התעשייה שלהם, אין פירוש הדבר שהצעתם פסולה. אבל גם אין פירוש הדבר שצריך לתת להם לנסח לבד את הכללים.

לחברה שמחזיקה עשרות מיליארדי דולרים, אלפי חוקרים ומרכזי נתונים עצומים קל הרבה יותר לעמוד בדרישות רגולטוריות יקרות מאשר לסטארט־אפ, לאוניברסיטה או לפרויקט קוד פתוח.

רגולציה שנועדה להגן מפני סיכונים יכולה, אם היא מתוכננת רע, להפוך גם למחסום כניסה שמקבע את החברות הגדולות בראש השוק.

זו אחת הסיבות לכך שבוחנים חיצוניים אינם מספיקים כשלעצמם. נדרש גם פיקוח ציבורי על השאלה מי הם הבוחנים, מה הם מודדים, מי קובע את רף הסיכון ואיך מערערים על החלטותיהם.

גם במקרה הזה אפשר ללמוד מתחומים כמו תרופות, תעופה או אנרגיה: העובדה שהיצרן יודע יותר מכל אחד אחר על הטכנולוגיה אינה מעניקה לו את הזכות הבלעדית להחליט כמה סיכון הציבור צריך לקבל.

אז האם צריך להאט?

השאלה מנוסחת לעיתים באופן שמכריח לבחור בין שתי קצוות שאיש כמעט אינו מציע בפועל: מצד אחד לתת לחברות לפתח כל דבר במהירות המרבית, ומצד שני להקפיא את הבינה המלאכותית.

יש אפשרות שלישית.

אפשר להמשיך להשתמש במערכות קיימות ולפתח שימושים רפואיים, מדעיים, תעשייתיים וחינוכיים, ובמקביל לקבוע נקודות ביקורת מיוחדות למערכות שהיכולות שלהן מתקרבות לרמות סיכון מוגדרות.

מודל שמסוגל לעזור לרופא לסכם מאמרים אינו צריך לעמוד באותן דרישות כמו מודל שמסוגל לפרוץ באופן עצמאי למערכות מחשב.

מודל שמייצר תמונות אינו בהכרח דורש את אותו משטר בדיקות כמו מערכת שיכולה לנהל אלפי סוכנים עצמאיים.

הגישה הזאת אינה "עצירת AI". היא דומה יותר למגבלת מהירות המשתנה לפי הכביש, הרכב והתנאים.

כאשר הסיכון קטן, אפשר להתקדם מהר. כאשר מערכת רוכשת יכולת שיכולה לגרום לנזק בקנה מידה גדול, היצרן צריך להוכיח שאמצעי הבטיחות שלו התקדמו יחד איתה.

השאלה האמיתית: מי מחליט מתי הבלמים נחוצים?

זהו למעשה לב המחלוקת בין אמודיי לצוקרברג.

צוקרברג סבור בעיקרו של דבר שחברה יכולה לדעת מתי עליה להאט, ושיש לה תמריץ מסחרי ומשפטי לעשות זאת.

אמודיי חושש שהתחרות עצמה הופכת את ההחלטה הזאת לבלתי יציבה. אם חברה אחת תנהג בזהירות והאחרות לא, היא עלולה להפסיד את המרוץ דווקא משום שפעלה באחריות.

אלטמן והאסאביס נמצאים כיום קרוב יותר לעמדה השנייה: הם רוצים גופים חיצוניים, תקנים משותפים ומנגנונים שיקבעו מתי היכולת והבטיחות יצאו מאיזון.

וזה גם הלקח החשוב מההשוואה למשבר האקלים: טכנולוגיות שמציעות תועלת עצומה יוצרות תמריץ חזק להמשיך להשתמש בהן גם כאשר מצטברות אזהרות. ברגע שהכלכלה כולה תלויה בהן, שינוי הכיוון נעשה יקר הרבה יותר.

במקרה של הבינה המלאכותית, עדיין קיימת אפשרות לקבוע כללים לפני שהתלות הופכת למוחלטת.

אין צורך לקבל את התחזית שהבינה המלאכותית עומדת להשמיד את האנושות כדי לחשוב שמערכות חזקות יותר צריכות לעבור בדיקות חזקות יותר. ומנגד, אין צורך להתעלם מסיכוני AI כדי להבין שעיכוב מיותר של טכנולוגיה שמסוגלת לתרום למדע, לרפואה ולפריון גובה גם הוא מחיר.

לפיכך השאלה אינה באמת "להאט או לא להאט".

השאלה היא האם יכולת טכנולוגית חדשה תופעל מיד ברגע שהיא אפשרית — או שרגע לפני כן תהיה למישהו מחוץ לחברה שפיתחה אותה הסמכות לשאול: האם אנחנו באמת יודעים מספיק כדי ללחוץ שוב על דוושת הגז?

האם סם אלטמן ודריו אמודיי רוצים לעצור את הבינה המלאכותית?

לא. שניהם אומרים במפורש ש־pacing אינו עצירה. המטרה היא להמשיך להתקדם, אך בקצב שבו הבטיחות, הניטור והבדיקות אינם מפגרים אחרי היכולות.

מה ההבדל בין האטה למורטוריום?

האטה משאירה את הפיתוח פעיל אך מגבילה את קצב העלייה ביכולות. מורטוריום הוא הפסקה מוגדרת של אימון מערכות מעבר לרף מסוים. המכתב של Future of Life Institute מ־2023 קרא למורטוריום בן שישה חודשים; תוכנית אמודיי הנוכחית אינה קוראת לכך כצעד המיידי.

האם כל בכירי תעשיית הבינה המלאכותית מסכימים שצריך להאט?

לא. אמודיי ואלטמן תומכים ב־pacing, האסאביס תומך בכיוון ומאסק הביע תמיכה כללית. צוקרברג טוען שכל חברה יכולה להאט בעצמה כשהבטיחות מחייבת ואינו רואה צורך בהאטה מתואמת של כל התעשייה.

האם להאטת AI יש מחיר כלכלי?

כן. האטה יכולה לדחות את התמורה על השקעות של טריליוני דולרים ואת היתרונות הצפויים מעלייה בפריון וממחקר מדעי מואץ. מנגד, גם כשלים, מתקפות, הונאות ושיבושים בשוק העבודה יוצרים עלויות. השאלה היא איזה סיכון מצדיק איזה מחיר.

עוד בנושא באתר הידען

• חוקי אסימוב חוזרים לשולחן הדיונים, אך הבינה המלאכותית הצבאית כבר מסובכת מהם בהרבה
• הפחד לסייע לאויב מעכב הסכמות בין־לאומיות על שימוש צבאי בבינה מלאכותית
• סם אלטמן: צריך לבנות מנגנון בקרה על הבינה המלאכותית כמו הסוכנות הבינלאומית לאנרגיה אטומית
• מחקר: הסיכונים המיידיים של בינה מלאכותית מפחידים יותר מנבואות קץ העולם
• אחוות המכונות: כשבינות מלאכותיות משקרות כדי להציל זו את זו

לפרסום המקורי: פתיחת הפרסום המקורי