ניתוח נתוני CircleCI מצביע על פערים חדים בין צוותי פיתוח: מיעוט מהצוותים משיג קפיצת תפוקה דרמטית עם AI, בעוד אחרים מאבדים זמן רב על תיקון שגיאות בקוד שנוצר אוטומטית
אם אתם מפתחי תוכנה, אתם צריכים לקרוא את המאמר הזה. אם אתם מנהלים מפתחי תוכנה, הוא חשוב לכם עוד יותר. בעצם, הוא חשוב לכל מי שהעבודה שלו עוברת אוטומציה בימים אלו: מתרגמים, עורכי דין, רופאים וגם עתידנים.
למה? כי הוא עונה על שאלה שמטרידה אותי כבר כמה חודשים: איך זה שחלק מהאנשים מדווחים שהם מכפילים את התפוקה ויותר בזכות בינה מלאכותית, בזמן שאחרים מתלוננים שהיא רק מאטה אותם?
כדי לענות על השאלה הזו, היינו צריכים השגחה עליונה. מילולית. לשבת מאחורי הכתף של בעל המקצוע ולבדוק מה הוא עושה, כמה הוא עושה וכמה שיפרה הבינה המלאכותית את העבודה שלו. או כמה היא האטה את הקצב.
למזלנו, יש לפחות חברה אחת שהפיקה נתונים מהסוג הזה. שם החברה הוא CircleCI, והיא מספקת את אחת הפלטפורמות הפופולריות בשוק עליה יכולים מתכנתים לעבוד. היא גם מנטרת את האתרים בהם מארחים מתכנתים את תוצרי העבודה הזמניים שלהם. ובספטמבר האחרון במשך חודש שלם, היא עקבה אחרי אלפי צוותי פיתוח תוכנה כדי להבין מה באמת קורה שם. האם הבינה המלאכותית מאיצה את קצב העבודה שלהם? או שהיא בכלל לא עושה שינוי משמעותי?
והתשובה: כן… וכן.
הניתוח של החברה הראה שקצב התפוקה של הצוות הממוצע גדל בקצב של 59 אחוזים בשלוש השנים האחרונות. אבל מבט קרוב יותר בנתונים מראה שהממוצע הזה משקף פילוג מאד לא-אחיד. רבע מהצוותים לא רואים שום שיפור בקצב. חצי מהצוותים רואים שיפור זניח (ארבעה אחוזים). ורק אז, ברבעון העליון של הצוותים, מתחילים לראות שיפורים דרמטיים בקצב הפיתוח. הצוותים המצליחים ביותר מכפילים את קצב הפיתוח שלהם מדי שנה. ואם אנחנו בוחנים את שלושים הצוותים המתקדמים ביותר, אפשר לראות שם פערים גדולים עוד יותר: הצוות המשוכלל ביותר הפיק פי עשרה יותר קוד ב- 2025, מהצוות המוביל ב- 2024.
כדי לשים את הדברים בקונטקסט: המשמעות היא שעשרת הצוותים המהירים ביותר מאמתים ומאשרים יותר מ- 10,000 שינויים לקוד מדי יום.
אז למה יש מפתחים שנשבעים שהבינה המלאכותית מאיטה אותם? שהיא כותבת קוד גרוע? שהיא טועה כמו ילד קטן?
כי היא באמת כזו.
כשהבינה המלאכותית טועה
החוקרים עקבו אחרי הנסיונות של המתכנתים להפיק קוד חדש בעזרת הבינה המלאכותית, וראו שהם מצליחים רק בשבעים אחוזים מהמקרים – ירידה משמעותית לעומת השנתיים האחרונות. המשמעות היא שהבינה המלאכותית מפיקה קוד עם יותר טעויות. לא רק זאת, אלא שהמתכנתים גם מתקשים יותר להתמודד עם השגיאות שלה. מתכנת ממוצע צריך להשקיע היום 72 דקות כדי לתקן את הבינה המלאכותית, כלומר 13 אחוזים יותר מלפני שנה.
מה המשמעות הפרקטית? שצוותים שמנסים לעשות חמישה שינויים בקוד מדי יום, עם שיעור הצלחה של שבעים אחוזים בלבד, מאבדים למעשה 250 שעות עבודה בשנה. צוותים גדולים יותר, שמנסים לקדם 500 שינויים ביום, מאבדים הלכה-למעשה 12 מהנדסים במשרה מלאה, שצריכים לתקן את כל הטעויות של הבינה המלאכותית.
מבינים עכשיו למה כל-כך הרבה מתכנתים מתלוננים שהבינה המלאכותית בעיקר מזיקה?
אבל איך כל זה מתיישב עם העובדה שהצוותים המובילים מצליחים להכפיל את קצב התפוקה שלהם פי שניים, ואפילו פי עשרה?
המנצחים הקטנים והגדולים
החוקרים ניתחו את הנתונים עוד יותר לעומק, והגיעו למסקנה שהצוותים המנצחים מגיעים משני סוגי חברות: קטנות-מאד, וגדולות-מאד. בשני סוגי החברות אנחנו רואים את התפוקה הגדולה ביותר, ואת היכולת המהירה ביותר לתקן טעויות.
החברות הקטנות-מאד – הממזריות – רצות מהר קדימה בכל דרך אפשרית. הן פחות כבולות לדרכי עבודה עתיקות, או לבירוקרטיה ששוחקת את גלגלי השיניים. הן כוללות חמישה עובדים לכל היותר, ואלו עובדים במהירות קדחתנית וממציאים מחדש את דרכי העבודה שלהם. הבינה המלאכותית עושה טעויות? אז הם מפתחים בינות מלאכותיות אחרות שיעקבו אחרי הקוד ויתריעו על שגיאות. כל עובד שם מפעיל את כל הכלים שברשותו בדרכים חדשניות כדי להפיק קוד במהירות, לעבור עליו במהירות, לתקן אותו במהירות ולהשיק אותו במהירות.
החברות הגדולות-מאד, עם יותר מאלף עובדים, הבינו גם הן שאי-אפשר להישאר מאחור. הן שכרו את היועצים החכמים ביותר בשוק, ואת הטאלנטים המרשימים ביותר, ועיצבו מחדש את תהליך פיתוח התוכנה שלהן. אני מנחש – למרות שזה לא מוזכר במפורש בדו"ח – שהן השקיעו בעצמן בצוותים קטנים יותר, ועודדו כל אחד מהצוותים לשכלל ולהמציא מחדש את דפוס העבודה שלהם. וזה הצליח להן. עובדה.
מי נשאר מאחור? החברות בגודל הבינוני. הן מפיקות קוד באיטיות מייסרת, ולוקח להן יותר מפי שלושה יותר זמן לאשר וליישם את הקוד הזה.
גורם מעכב אחר הוא רמת הסיבוכיות של הקוד. ככל שבסיס הקוד גדול יותר – כפי שקורה בסקטורים של תוכנות מחשב ושירותים פיננסיים – כך מתארך הזמן שנדרש לתיקון טעויות. בסקטורים אחרים, כמו הנדסה אזרחית או תשתיות, בסיס הקוד אינו גדול באותה המידה, ולכן הבינה המלאכותית נהנית משיעור הצלחה גדול יותר בכתיבת קוד חדש.
סיכום הנתונים
מה אפשר להבין מכל הנתונים האלו?
קודם כל, שההשפעות של הבינה המלאכותית על פיתוח תוכנה אינן אחידות בין צוותים שונים וחברות שונות. רק מעטים מהצוותים – פחות מרבע – הצליחו להתאים את דפוס העבודה שלהם לעידן החדש. היתר עדיין נאבקים בבינה המלאכותית ומתלוננים שהיא מאיטה אותם. והיא באמת מאיטה אותם. גם כי הם עצמם לא יודעים איך להפיק ממנה את המיטב והמירב, וגם מכיוון שדרך העבודה והניהול של הצוותים לא השתנתה עדיין. הם תקועים בעבר הרחוק, לפני שנתיים-שלוש.
שנית, הקטנים מנצחים כי הם יכולים – חייבים – לנוע מהר. הם משתמשים בכל הכלים העומדים לרשותם, ולא מתחשבים יותר-מדי בדפוסי העבודה שהתקבעו בשנים האחרונות. והגדולים? הם מבינים את גודל האיום, ולכן משקיעים בהנדסה-מחדש של הצוותים כדי שיוכלו להפיק את המיטב מהכלים החדשים.
שלישית, הבינה המלאכותית עושה טעויות בשפע. מי שטוען אחרת, מפיץ הייפ. העניין הוא שאם משתמשים בה נכון – וכנראה המשמעות היא שצריך גם לנצל אותה לפיתוח בדיקות ולמעבר אוטומטי על הקוד – היא מאיצה פי שניים ואפילו פי עשרה את קצב העבודה הכולל.
הראייה הכוללת
כל הלקחים האלו רלוונטיים לא-רק לפיתוח תוכנה. הם רלוונטיים לכל מקצוע שהבינה המלאכותית מתחילה להשתלב בו. בעריכת דין, בתרגום, בחקר-שוק ופיתוח תרחישים, ובכל התחומים האחרים. בכולם אנחנו רואים דפוס דומה: מי שיודע להשתמש בבינה המלאכותית, והארגון שלו מאפשר לו למצוא את דרכי העבודה הנכונות לצידה, יכול להפיק תוצרים איכותיים מהר יותר. מי שלא יודע להשתמש בה, או שמקום העבודה שלו כובל אותו לפרקטיקות איטיות ומגושמות, ממשיך להתלונן שהיא לא עוזרת לו.
כמו בפיתוח תוכנה, גם בתחומים האחרים אנחנו שומעים כל הזמן את התלונה שהבינה המלאכותית טועה. וכמו בפיתוח תוכנה, זה נכון. היא באמת טועה, או שאינה 'מבריקה', או שהיא הוזה טעויות ושגיאות. אבל מי שיודע להפעיל אותה במקומות הנכונים בזרם-העבודה שלו, מצליח. מי שמגלה איך להשתמש בה כדי לתגבר את היכולות שלו ולגשר על פערים בידע, מצליח. מי שנעזר בה כדי לעקוף חסמים בירוקרטיים ולהאיץ את תהליך העבודה הכולל, מצליח. בגדול.
מה הדרכים הנכונות להשתמש בבינה המלאכותית? אנחנו לא יודעים. כל איש מקצוע צריך לגלות זאת בפני עצמו, ואז לעדכן את ההערכות שלו מדי שנה, כאשר היא בעצמה משתכללת כל הזמן. כל שאפשר לומר הוא שאנחנו בתקופה גדולה של אי-ודאות, אבל שהאנשים הסתגלתניים ביותר – אלו שמנסים, משחקים ומעיזים להמציא מחדש את העבודה שלהם – עדיין מנצחים.
עוד בנושא באתר הידען:
