המכונות הלומדות

בשנות ה-50, מחשבים החלו לנצח בני אדם במשחק דמקה ולהוכיח משפטים מתמטיים, וחוללו התרגשות רבה. בשנות ה-60 התחזקה התקווה שמדענים יוכלו בקרוב לחקות את המוח האנושי בחומרה ובתוכנה, ושה”בינה המלאכותית” (AI) תוכל להתמודד עם כל מטלה באותה רמה כמו בני אדם. ב-1967, הכריז מרווין מינסקי מן המכון הטכנולוגי של מסצ’וסטס (שהלך לעולמו בינואר 2016) שאתגר הבינה המלאכותית ייפתר בתוך שנות דור.

האופטימיות הזאת הקדימה, כמובן, את זמנה. תוכנות שנכתבו כדי לסייע לרופאים לאבחן מחלות, ורשתות ממוחשבות שנבנו בהשראת מוח האדם כדי לזהות תוכן של תמונות, לא עמדו בציפיות. באותן שנים ראשונות, האלגוריתמים היו פשוטים מדי, ונזקקו ליותר מידע ממה שהיה נגיש באותה תקופה. גם כוח העיבוד של המחשבים היה צנוע מכדי לתמוך בחישובים הכבדים הנדרשים כדי ליצור משהו שמתקרב לַמורכבות של המחשבה האנושית.

באמצע שנות ה-2000, החלום של מכונות בעלות אינטליגנציה ברמה אנושית כמעט ונעלם מן הקהילה המדעית. המונח בינה מלאכותית עצמו יצא, כך היה נדמה, מתחומי המדע הרציני. מדענים וכותבים תיארו את התקוות המנופצות של התקופה בין שנות ה-70 לאמצע שנות ה-2000 בשם “החורף של הבינה המלאכותית“.

אלא שבתוך עשור אחד בלבד השתנה הכול. החל מ-2005, השתנתה התחזית לגבי הבינה המלאכותית מקצה לקצה. זה קרה כאשר “הלמידה העמוקה“, גישה לבנייה של מכונות תבוניות בהשראת מדעי המוח, החלה לעמוד על רגליה. בשנים האחרונות, הלמידה העמוקה הפכה לכוח אדיר וייחודי שמניע את המחקר בבינה מלאכותית, וחברות מובילות בתחום טכנולוגיית המידע משקיעות מיליארדי דולרים בפיתוחה.

המונח למידה עמוקה מתאר הדמיה של רשתות נוירונים ש”לומדות” בהדרגה לזהות תמונות, להבין דיבור ואפילו לקבל החלטות בעצמן. טכניקה זו מסתמכת על רשתות נוירונים מלאכותיות – מרכיב ליבה של המחקר כיום בתחום הבינה המלאכותית. רשתות נוירונים מלאכותיות אינן מחקות במדויק את אופן הפעולה של תאי העצב (הנוירונים) הביולוגיים, אלא מתבססות על עקרונות מתמטיים כלליים המאפשרים להן ללמוד, מתוך דוגמאות, איך לזהות אנשים או חפצים בתמונות, או לתרגם בין השפות הנפוצות בעולם.

טכנולוגיית הלמידה העמוקה חוללה מהפך במחקר הבינה המלאכותית והחזירה לחיים תקוות נושנות לראייה ממוחשבת, הבנת דיבור, עיבוד שפה טבעית ורובוטיקה. התוצרים הראשונים שלה בתחום הבנת הדיבור הופיעו ב-2012 ברכיב של מערכת החיפוש של גוגל הקרוי Google Now. זמן קצר לאחר מכן הופיעו יישומים לזיהוי תוכן של תמונות, תכונה המשולבת כעת במנוע החיפוש של Google Photos.

כל מי שחווה תסכול כתוצאה משימוש בתפריטי טלפון אוטומטיים מגושמים יוכל להעריך את היתרונות הדרמטיים של סייען אישי משופר בסמארטפון. מי מאתנו שזוכר כמה עלוב היה זיהוי העצמים בתמונות לפני שנים ספורות בלבד, כשתוכנות זיהו בטעות, למשל, חפצים דוממים בתור חיות, נוכח כמה ההתקדמות בראייה הממוחשבת היא מסחררת: כיום יש מחשבים שמסוגלים, בתנאים מסוימים, לזהות חתול, אבן או אדם בתמונה באותה מידת הצלחה של מתבונן אנושי. למעשה, תוכנות בינה מלאכותית הפכו לחלק מחיי היום־יום של מיליוני משתמשי סמארטפונים. אני עצמי כמעט איני מקליד עוד הודעות – בדרך כלל אני פשוט מדבר לטלפון, ולפעמים הוא גם עונה לי.

היתרונות האלה פתחו לפתע פתאום שער להמשך הניצול המסחרי של הטכנולוגיה, וההתרגשות רק הולכת וגדלה. חברות מתחרות ביניהן בלהט על עובדים מוכשרים, ודוקטורים עם התמחות בלמידה עמוקה הם מצרך נדיר שהביקוש לו עצום. פרופסורים רבים המתמחים בתחום, ויש הטוענים שאפילו רובם, נשלפו מן האקדמיה אל התעשייה, וקיבלו מתקני מחקר ותמריצים כלכליים נדיבים.

העבודה על האתגרים של הלמידה העמוקה הביאה להצלחות מסחררות. כשרשת נוירונים ניצחה את שחקן הגו המוביל בעולם, לי סה-דול, הדבר קיבל כותרות ראשיות. כבר כעת יש יישומים שנכנסים לתחומים אחרים של מומחיות אנושית, ולא רק משחקים. לאחרונה פיתחו אלגוריתם של למידה עמוקה שאמור לאבחן כשל לבבי על פי דימות בתהודה מגנטית (MRI), באותה רמת דיוק כמו קרדיולוג.

אינטליגנציה, ידע ולמידה

מדוע נתקלה הבינה המלאכותית במכשולים רבים כל כך בעשורים הקודמים? הסיבה היא שרוב הידע שלנו לגבי העולם סביבנו אינו מובנה בשפה כתובה, כאוסף של משימות מפורשות, כפי שנדרש ליצירה של תוכנת מחשב מכל סוג. לכן לא הצלחנו לתכנת מחשב לבצע, באפן ישיר, רבים מן הדברים שאנו בני האדם מבצעים בקלות, כגון הבנה של דיבור, תמונות ושפה, או נהיגה במכונית. הניסיונות לארגן אוספים של עובדות במסדי נתונים מורכבים, כדי להעניק למחשב מראית עין של אינטליגנציה, השיגו הצלחה מזערית בלבד.

וכאן נכנסת לתמונה הלמידה העמוקה. היא מהווה חלק מתחום גדול יותר, שנקרא בשם “למידת מכונה” ומתבסס על עקרונות של אימון מערכות מחשב אינטליגנטיות עד לרמה שבה המערכות מסוגלות ללמד את עצמן. אחד מן העקרונות האלה כרוך במה שאדם או מכונה מחשיבים כהחלטה “טובה”. אצל בעלי חיים, תהליכי האבולוציה מכתיבים קבלת החלטות שמובילות לצורת התנהגות שממטבת את סיכויי ההישרדות וההתרבות. בחברות אנושיות, החלטה טובה עשויה לכלול אינטראקציות חברתיות שמשפרות את המעמד החברתי או את תחושת הרווחה האישית. אצל מכונות, לעומת זאת, למשל מכונית שנוהגת בעצמה, איכות ההחלטות נמדדת על פי מידת ההתאמה שלהן להחלטות של נהגים אנושיים מוכשרים.

בהקשרים ספציפיים, לא תמיד ברור איך לתרגם את הידע הדרוש כדי לקבל החלטה טובה, לקוד תוכנה. עכבר, לדוגמה, מכיר את הסביבה שלו, ויש לו יכולת מולדת לרחרח במקום הנכון, להניע את רגליו, למצוא מזון או בני זוג, ולהימנע מטורפים. שום מתכנת לא יוכל ליצור רצף של הוראות סדורות, שיפיקו צעד־צעד את ההתנהגויות האלה. ועם זאת הידע טמון באופן כלשהו במוחו של המכרסם.

לפני שיוכלו ליצור מחשבים המסוגלים לאמן את עצמם, מדעני המחשבים נדרשו לענות על שאלות בסיסיות, כגון “כיצד בני האדם רוכשים ידע?” חלק מן הידע שלנו הוא מולד, אך הרוב מקורו בהתנסות. אי אפשר להפוך את הדברים שאנו יודעים באופן אינטואיטיבי לסדרה ברורה של שלבים שמחשב מסוגל להריץ, אך לעתים קרובות אפשר ללמוד אותם דרך דוגמאות ואימון. מאז שנות ה-50, החוקרים חיפשו וניסו לנסח במדויק עקרונות כלליים שמאפשרים לבעלי חיים ובני אדם, ואפילו למכונות, לצורך העניין, לרכוש ידע דרך התנסות. מטרתה של למידת המכונה היא לבסס תהליכים – אלגוריתמים של למידה – שיאפשרו למכונה ללמוד מדוגמאות המובאות לפניה.

המדע של למידת מכונה הוא ניסויי בעיקרו, מכיוון שלא קיים אלגוריתם אוניברסלי ללמידה, כזה שיאפשר למחשב ללמוד היטב כל מטלה מכל סוג. צריך לבחון כל אלגוריתם לרכישת ידע באמצעות משימות ונתונים ספציפיים לעולם תוכן מסוים, ואחת היא אם מדובר בזיהוי של שקיעת החמה בתוך תמונה או בתרגום מאנגלית לשפת אורדו. אין שום דרך להוכיח שאלגוריתם מסוים יהיה טוב מכל האחרים בכל מצב כלשהו.

חוקרי הבינה המלאכותית ניסחו תיאור מתמטי פורמלי של העיקרון הזה – תיאורמה המכונה בשם: “אין ארוחות חינם” – שמדגים שאין שום אלגוריתם שמסוגל להתמודד עם כל מצב למידה בעולם האמִִִיתי. עם זאת, נדמה שההתנהגות האנושית מפריכה את התיאורמה הזאת. למראית עין, לפחות, יש לנו בראש יכולות למידה כלליות למדי, המאפשרות לנו לבצע מגוון רחב של משימות שהאבולוציה לא הכשירה את אבותינו לבצע, כמו לשחק שחמט, לבנות גשרים או לחקור בינה מלאכותית.

יכולות אלה מרמזות שהבינה האנושית עושה שימוש בהשערות כלליות על העולם, ואלה עשויות להיות השראה ליצירת מכונות בעלות אינטליגנציה כללית דומה. מסיבה זו בדיוק, החוקרים המפתחים רשתות נוירונים מלאכותיות אימצו את המוח כדגם גולמי לתכנון מערכות תבוניות.

יחידות החישוב העיקריות של המוח הן תאי עצב הקרויים נוירונים. כל נוירון שולח אותות לנוירונים אחרים דרך מרווחים זעירים בין התאים, שנקראים בשם מרווחים סינפטיים. הנטייה של נוירון מסוים לשלוח אות דרך המרווח הזה, ועוצמת האות שהוא שולח, קרויים “עוצמה סינפטית“. כשנוירון “לומד”, העוצמה הסינפטית שלו גדלה, ולכן, כשהוא מקבל גירוי חשמלי גדלים הסיכויים שהוא ישלח אותות לשכניו.

המחקרים במדעי המוח השפיעו על יצירת רשתות הנוירונים המלאכותיות, שמדמות את פעולת הנוירונים באמצעות תוכנה או חומרה. החוקרים הראשונים בתת־תחום זה של הבינה המלאכותית, הקרוי “קונקציוניזם“, הניחו שרשתות נוירונים יוכלו ללמוד לבצע מטלות מורכבות באמצעות שינוי הדרגתי של הקשרים בין הנוירונים. השינויים האלה יביאו לכך שדפוסי הפעילות העצבית ייצגו בסופו של דבר את תוכן הקלט, שיכול להיות, למשל, תמונה או קטע משיחה. ככל שהרשתות יקבלו יותר דוגמאות, כן תהליכי הלמידה ימשיכו לשנות את העוצמות הסינפטיות של הנוירונים וישיגו ייצוג מדויק יותר של הקלט – תמונות של שקיעת החמה, למשל.

לקחי שקיעת החמה

הדור הנוכחי של רשתות הנוירונים מרחיב את הפיתוחים החלוציים של הקונקציוניסטים. הרשתות משנות בהדרגה את הערכים המספריים של כל חיבור סינפטי, ערכים המייצגים את עוצמת החיבור, ולכן את הסבירות שהנוירון ישלח אות לנוירון אחר. אלגוריתם הלמידה העמוקה משנה את הערכים האלה שינויים מזעריים בכל פעם שהרשת “צופה” בתמונה חדשה. הערכים מתקרבים לאט ובהתמדה למצב שבו רשת הנוירונים תוכל לשער טוב יותר מהו תוכן התמונה.

כיום, האלגוריתמים של הלמידה מחייבים מעורבות רבה של בני אדם כדי להשיג תוצאות מיטביות. רוב האלגוריתמים האלה פועלים באמצעות למידה מפוקחת, שבה כל דוגמה בשלב האימון מלווה בתווית מעשה־ידי־אדם המגדירה את תוכן הדוגמה. למשל, תמונה של שקיעה תלווה בכיתוב “שקיעת חמה”. במקרה זה, המטרה של אלגוריתם הלמידה המפוקחת הוא לקבל תמונה כקלט, ולהפיק כפלט את שם העצם העיקרי בתצלום. התהליך המתמטי של הפיכת קלט לפלט קרוי “פונקציה”. הערכים המספריים, או העוצמות הסינפטיות, שיוצרים את הפונקציה הזאת הם למעשה פתרון של מטלת הלמידה.

למידה של התשובות הנכונות באמצעות שינון היא משימה קלה, אך חסרת ערך למדי. אנחנו רוצים ללמד את האלגוריתם מהי שקיעה, כך שיוכל לזהות שקיעה כלשהי, בכל תמונה, אפילו אם האלגוריתם לא “ראה” את התמונה הזאת במהלך האימון. היכולת לזהות שקיעה כלשהי – במילים אחרות, להכליל את הלמידה מעבר לדוגמאות הספציפיות – היא היעד העיקרי של כל אלגוריתם של למידת מכונה. למעשה, איכות האימון של רשת כלשהי נמדדת באמצעות דוגמאות שהרשת לא ראתה לפני כן. הקושי להכליל היטב את הלמידה לדוגמאות חדשות נובע מכך שיש כמעט אינסוף גרסאות אפשריות שיכולות להתאים לכל קטגוריה שהיא, למשל לקטגוריה “שקיעת חמה”.

“הקאמבק הגדול של הבינה המלאכותית, אחרי תרדמה ממושכת, מלמד אותנו שיעור בסוציולוגיה של המדע ומדגיש את הצורך לקדם רעיונות שקוראים תיגר על הסטטוס-קוו הטכנולוגי.”

כדי להצליח בביצוע הכללה באמצעות צפייה בדוגמאות, אלגוריתם הלמידה שבו משתמשים בשיטת הלמידה העמוקה זקוק ליותר מאשר הדוגמאות עצמן. הוא מסתמך גם על השערות בנוגע לנתונים, ועל הנחות לגבי מה נחשב פתרון אפשרי לבעיה. השערה אופיינית המובנית בתוך התוכנה עשויה להיות, למשל, שאם נתוני הקלט שפונקציה מסוימת מקבלת הם נתונים דומים זה לזה, אז גם הפלט שלה אינו אמור להשתנות במידה רבה: שינוי של פיקסלים ספורים בתמונה של חתול, בדרך כלל לא יהפוך את החתול לכלב.

אחד הסוגים של רשתות נוירונים המשלבים השערות לגבי תמונות קרוי רשת נוירונים קונבולוציונית, והוא נעשה טכנולוגיית מפתח בַּהתעוררות של הבינה המלאכותית. רשתות הנוירונים הקונבולוציוניות המשמשות בלמידה עמוקה כוללות שכבות רבות של נוירונים, המסודרות באופן כזה שהפלט יהיה פחות רגיש לשינויים בעצם העיקרי בתמונה – לדוגמה, אם המיקום שלו משתנה מעט. רשת מאומנת היטב תוכל לזהות פנים של אדם מסוים גם אם הן נראות בזוויות שונות בצילומים שונים. המבנה של רשתות קונבולוציוניות שואב השראה מן המבנה הרב־שכבתי של קליפת המוח הראייתית, החלק במוח שמקבל את הקלט מן העיניים. השכבות הרבות של הנוירונים הווירטואליים ברשת הנוירונים הקונבולוציונית הן מה שהופך אותה ל”עמוקה”, ולמתאימה יותר ללמוד על העולם הסובב אותה.

לעומק הדברים

ברמה המעשית, הפיתוחים שאִפשרו את הלמידה העמוקה נבעו מחידושים מסוימים שהופיעו לפני כעשר שנים, כשהעניין בבינה מלאכותית וברשתות נוירונים היה בנקודת השפל הנמוכה ביותר זה עשרות שנים. ארגון קנדי הפועל במימון הממשלה ובעזרת תורמים פרטיים, המכון הקנדי למחקר מתקדם (CIFAR) שמו, עזר להצית מחדש את ההתעניינות כשנתן חסות לתכנית מחקר בראשותו של ג’פרי הינטון מאוניברסיטת טורונטו. בתכנית השתתפו גם יאן לֶה-קוּן מאוניברסיטת ניו יורק, אנדרו נג מאוניברסיטת סטנפורד, ברונו אוּלְשַאוּסֶן מאוניברסיטת קליפורניה בברקלי, אני (יושוע בנגיו), ואחרים. באותם ימים, הגישה השלילית כלפי כיוון המחקר הזה הקשתה על פרסום מאמרים, והיה קשה אפילו לשכנע סטודנטים לעבוד בתחום. אף על פי כן, היינו משוכנים שחשוב להתקדם.

הספקנות באותה תקופה בנוגע לרשתות הנוירונים נבעה, בין השאר, מן האמונה שאימון רשתות הוא חסר תוחלת, בגלל האתגרים הכרוכים באופטימיזציה של התנהגות הרשתות. אופטימיזציה היא ענף במתמטיקה, שמנסה למצוא צורת ארגון של אוסף פרמטרים כך שישיגו יעד מתמטי. במקרה של הרשתות, הפרמטרים האלה הם המשקלים הסינפטיים, והם מייצגים את עוצמת האות שעובר מנוירון אחד לאחר.

היעד הוא להפיק תחזיות עם מספר מינימלי של שגיאות. כשהקשר בין הפרמטרים ליעד הוא קשר פשוט – ליתר דיוק, כשהיעד הוא פונקציה קמורה של הפרמטרים – אפשר לכוונן את הפרמטרים בהדרגה. תהליך הכוונון יימשך עד שהפרמטרים יגיעו קרוב ככל האפשר לערכים שנותנים את התוצאה הטובה ביותר, שידועה בשם מינימום גלובלי. תוצאה זו פירושה שהשגיאה הממוצעת של הרשת בתחזיות שלה תהיה הקטנה ביותר שאפשר.

עם זאת, באופן כללי, לא קל לאמן רשת נוירונים, ונדרש תהליך שנקרא בשם אופטימיזציה לא־קמורה. סוג זה של אופטימיזציה מציב אתגר הרבה יותר גדול, וחוקרים רבים סברו שאי אפשר לעמוד בו כלל. אלגוריתם הלמידה עלול להיתקע במה שקרוי מינימום מקומי, ואז הוא לא יצליח להקטין את שגיאת התחזית על ידי שינויים קטנים של הפרמטרים.

המיתוס של הקושי לאמן רשתות נוירונים בגלל מינימום מקומי הופרך רק ב-2015. במחקר שלנו גילינו שכשהרשת גדולה דיה, בעיית המינימום המקומי מצטמצמת מאוד. למעשה, רוב נקודות המינימום המקומי תואמות לרמות ידע קרובות מאד לערך האופטימלי של המינימום הגלובלי.

הבעיה התיאורטית של האופטימיזציה אולי יכולה להיפתר, אך בפועל, הניסיונות לבנות רשתות עם יותר משתיים או שלוש שכבות נכשלו לעתים קרובות. החל מ-2005 הצליחו המחקרים בתמיכת CIFAR להשיג פריצות דרך שהתגברו גם על הבעיות האלה. ב-2006 הצלחנו לאמן רשתות עמוקות באמצעות טכניקה שמתקדמת שכבה אחת בכל פעם.

אחר כך, ב-2011, גילינו שיטה עדיפה לאמן רשתות עמוקות עוד יותר – כלומר, בעלות שכבות נוספות של נוירונים וירטואליים – באמצעות שינוי של החישובים המבוצעים על ידי כל אחת מיחידות העיבוד האלה. השינוי הזה גרם להן לפעול באופן דומה יותר לזה של נוירונים ביולוגיים. גילינו גם שהוספה מכוונת של רעש אקראי לאותות המשודרים בין נוירונים במהלך האימון (שוב, בדומה למה שמתרחש במוח) הביאה לשיפור ביכולתה של הרשת ללמוד לזהות תמונה או צליל.

שני גורמים חיוניים סייעו להצלחה של טכניקות הלמידה העמוקה. הראשון הוא הכפלה של מהירות החישוב פי עשרה, בזכות יחידות לעיבוד גרפי שתוכננו במקור בשביל משחקי וידאו. בעזרתן, היה אפשר לאמן רשתות גדולות יותר בפרקי זמן סבירים. הגורם השני שקידם את הלמידה העמוקה היה הזמינות של אוספים ענקיים של נתונים מתויגים, שאלגוריתם הלמידה מסוגל לזהות בעזרתם תשובות נכונות – לדוגמה, התשובה “חתול” בעת בדיקת תמונה שבה חתול הוא רק אחד מן העצמים המצולמים.

סיבה נוספת להצלחה של הלמידה העמוקה לאחרונה היא היכולת שלה ללמוד לבצע סדרה של חישובים שבונים או מנתחים, צעד אחרי צעד, תמונה, הקלטת קול או נתון אחר. ככל שהרשת עמוקה יותר, גדול מספר הצעדים האלה. רבות ממשימות הזיהוי החזותי או הקולי שהבינה המלאכותית מצטיינת בהן כיום, מחייבות רשת עמוקה בעלת שכבות רבות. למעשה, במחקרים תאורטיים ומעשיים שנערכו לאחרונה, הראינו שאי אפשר בכלל לבצע ביעילות כמה מן הפעולות המתמטיות האלה בלי רשתות עמוקות דיין.

כל שכבה ברשת נוירונים עמוקה מעבדת את הקלט שלה ומפיקה פלט שנשלח לשכבה הבאה בתור. ככל שהשכבה עמוקה יותר, הרשת מייצגת בה מושגים מופשטים יותר, המרוחקים יותר מן הקלט הגולמי ההתחלתי [ראו איור]. ניסויים הראו שנוירונים מלאכותיים בשכבות העמוקות ברשת נוטים להתקשר למושגים סמנטיים מופשטים, כגון ‘שולחן עבודה’. הזיהוי של השולחן בתמונה עשוי להופיע כתוצאה מעיבוד של נוירונים בשכבה עמוקה, אפילו אם המושג ‘שולחן עבודה’ אינו נכלל בתוויות הקטגוריות שהרשת התאמנה עליהן. כמו כן, מושג השולחן לעצמו עשוי להיות רק שלב ביניים לקראת יצירת מושג מופשט עוד יותר בשכבה עמוקה יותר, שעשויה למשל לסווג את התמונה בתור ‘משרד’.

מעבר לזיהוי תבניות

עד היום, רשתות נוירונים מלאכותיות התאפיינו בעיקר בזכות יכולתן לזהות תבניות בתמונות סטטיות. עם זאת, יש סוג נוסף של רשת נוירונים שמסתמנת השפעתו: רשת נוירונים שמנתחת אירועים המתרחשים לאורך זמן. רשתות כאלה, הקרויות רשתות “חוזרות”, הראו יכולת לבצע שורה של חישובים ללא שגיאות, בדרך כלל לניתוח דיבור, וידאו ונתונים אחרים. נתונים סדרתיים עשויים מיחידות, כגון פונמות או מילים שלמות, שמגיעות זו אחר זו. הרשתות החוזרות מעבדות נתונים כאלה בדומה לאופן הפעולה של המוח: האותות שעוברים בין הנוירונים משתנים כל הזמן בעקבות עיבוד של נתונים חדשים המגיעים מן החושים. המצב הנוירוני הפנימי הזה משתנה בהתאם לקלט שמגיע למוח מן הסביבה, לפני שהמוח משגר רצף של פקודות שגורמות לסדרה של תנועות גוף שנועדו להשיג מטרה מסוימת.

הרשתות החוזרות מסוגלות לחזות מה תהיה המילה הבאה במשפט, ובמידע הזה אפשר להשתמש כדי ליצור רצפים חדשים של מילים בזו אחר זו. הרשתות מסוגלות לבצע גם משימות מתוחכמות יותר: אחרי “קריאת” כל המילים במשפט, הרשת תוכל לנחש את המשמעות של המשפט כולו. רשת חוזרת אחרת תוכל להשתמש בעיבוד הסמנטי של הרשת הראשונה כדי לתרגם את המשפט לשפה אחרת.

המחקר בתחום רשתות הנוירונים החוזרות חווה עיכובים משלו, בין שנות ה-90 המאוחרות לשנות ה-2000 המוקדמות. המחקרים התיאורטיים שלי הראו שיהיה לרשתות האלה קשה ללמוד כיצד לאחזר מידע מן העבר הרחוק, כלומר המרכיבים הראשונים ברצף שעבר עיבוד: דמיינו שאתם מנסים לדקלם במדויק את המילים מתחילתו של ספר שזה עתה סיימתם לקרוא. עם זאת, כמה התפתחויות שהושגו לאחרונה צמצמו את הבעייתיות הזאת ואפשרו לרשתות כאלה ללמוד לאחסן מידע כך שיישמר לאורך זמן. רשת הנוירונים יכולה להיעזר בזיכרון הזמני של המחשב כדי לעבד פיסות מידע מרובות ונפרדות, כגון רעיונות שמובעים במשפטים שונים במסמך.

הקאמבק הגדול של רשתות נוירונים עמוקות, בתום צינת החורף הארוך של הבינה המלאכותית, הוא לא רק ניצחון טכנולוגי. הוא גם מלמד אותנו שיעור בסוציולוגיה של המדע, ומדגיש במיוחד את הצורך לתמוך ברעיונות שקוראים תיגר על סטטוס-קוו טכנולוגי, ולעודד מחקר מגוון, שיוכל לקדם גם תחומים שאיבדו לזמן מה את זוהרם.

מאמר זה הוא חלק מסקירה מיוחדת על בינה מלאכותית של סיינטיפיק אמריקן ישראל. ראו גם:

האם יש מה לפחד מרובוטים חכמים מאִתנו?

האמת על מכוניות ללא נהג