מחקר בטכניון מראה כי למידה ברשתות עצביות חושפת תכונות סמויות של מבנה הרשת. שתי רשתות שמגיבות באופן זהה עשויות ללמוד את אותה משימה בדרכים שונות.
שתי מערכות יכולות להתנהג בדיוק אותו דבר היום, ובכל זאת ללמוד אחרת מחר. זו המסקנה המרכזית של מחקר חדש מהטכניון. את המחקר ערכו פרופ' עמרי ברק (Omri Barak) ותלמיד המחקר יואב גר (Yoav Ger). שניהם חוקרים בפקולטה לרפואה ע"ש רות וברוך רפפורט בטכניון.
הם בחנו כיצד שינויים בקשרים בין תאי עצב משפיעים על תפקוד הרשת כולה. מארגני כנס NeurIPS 2026, מהכנסים המובילים בעולם בתחום הלמידה החישובית, בחרו בעבודה להצגה בעל-פה. מתוך 30,709 מאמרים שחוקרים הגישו לכנס, הוועדה בחרה רק 112 להצגה כזו. כלומר, רק כ-0.36% מהמאמרים זכו לכך.
למידה ברשתות עצביות: מה שרואים ומה שסמוי מהעין
החוקרים עבדו עם מודלים מתמטיים של רשתות עצביות חוזרות (recurrent neural networks). ברשתות כאלה הפעילות חוזרת ומשפיעה על עצמה לאורך זמן. החוקרים רואים בהן מודל לאופן שבו המוח מעבד מידע. ליתר דיוק, הם התמקדו ברשתות בדרגה נמוכה (low-rank), שבהן מספר קטן של דפוסים קובע את מבנה הקשרים.
בשלב הראשון החוקרים פיתחו תיאור מתמטי שמחשב כיצד הרשת משתנה במהלך הלמידה. התיאור משתמש במספר קטן של משתנים בלבד. בעזרתו הם הפרידו בין שני סוגים של תכונות. הסוג הראשון קובע את התנהגות הרשת כעת. לעומת זאת, הסוג השני "סמוי": הוא אינו משפיע על הביצועים הנוכחיים, אבל מעצב את האופן שבו הרשת תלמד בהמשך.
שתי רשתות זהות, שני מסלולי למידה
בדוגמה אחת החוקרים השוו שתי רשתות שהגיבו באופן זהה לאותם קלטים. אחר כך הם אימנו את שתיהן באותה דרך בדיוק. למרות זאת, הרשתות התקדמו בעקומות למידה שונות. ברשת אחת הייתה תקופה שבה השיפור האט מאוד. הרשת השנייה, לעומתה, השתפרה בקצב יציב יותר.
ממצא נוסף נוגע לזיכרון של העבר. בתנאים מסוימים, התכונות הסמויות שמרו עקבות מהיסטוריית האימון. החוקרים אימנו רשתות על משימות שונות, ולאחר מכן על משימה משותפת. בסוף התהליך כל הרשתות ביצעו את המשימה המשותפת באופן דומה. עם זאת, המבנה שלהן עדיין חשף את היסטוריית האימון של כל אחת.
"הבנה של מה שהמערכת עושה היום אינה מספיקה כדי לתאר כיצד היא תלמד בעתיד," אמר פרופ' ברק.
מה הלאה: ניסויים במערכות ביולוגיות
לפי החוקרים, דווקא תהליך הלמידה חושף הבדלים במבנה הקשרים שאינם נראים בהתנהגות. לכן הם מציעים ניסויים במערכות ביולוגיות. בניסויים כאלה אפשר להשוות כיצד מערכות בעלות התנהגות דומה משתנות תחת אותו תהליך למידה.
חשוב לציין שכל התוצאות באות ממודלים מתמטיים ומהדמיות מחשב. החוקרים עדיין לא בחנו אותן במערכות ביולוגיות. את המחקר מימנו הקרן הלאומית למדע (ISF) ותוכנית המחקר הבינלאומית Human Frontier Science Program.
שאלות ותשובות
מה גילו חוקרי הטכניון?
הם גילו שבמהלך למידה ברשתות עצביות מתגלות תכונות סמויות של מבנה הרשת. התכונות האלה אינן משפיעות על ההתנהגות הנוכחית, אבל קובעות כיצד הרשת תלמד בעתיד.
האם שתי רשתות שמתנהגות אותו דבר ילמדו באותה דרך?
לא בהכרח. במחקר, שתי רשתות שהגיבו באופן זהה התקדמו בעקומות למידה שונות תחת אותו אימון.
האם החוקרים בדקו את הממצאים במוח?
עדיין לא. התוצאות באות ממודלים מתמטיים ומהדמיות מחשב. החוקרים מציעים ניסויים במערכות ביולוגיות שיבחנו את התחזיות.
באיזה כנס יציגו החוקרים את העבודה?
בכנס NeurIPS 2026, כהרצאה בעל-פה. הוועדה בחרה רק 112 מתוך 30,709 מאמרים להצגה כזו.
המאמר המדעי
Learning Reveals Invisible Structure in Low-Rank RNNs — יואב גר ועמרי ברק, כנס NeurIPS 2026 (הגרסה המלאה ב-arXiv)
עוד בנושא באתר הידען
- למוח יש קיצור דרך ללמידה שבינה מלאכותית לא יכולה להעתיק
- כדי לחקות תא עצב אנושי יחיד נדרשת רשת עצבית עמוקה
- מנגנון מוחי ללמידה מהירה
- מחקר: עד כמה "חכם" הוא תא העצב שבמוחנו?
- פרס נובל לפיזיקה לשנת 2024 לחוקרים על פיתוח רשתות עצביות מלאכותיות (הרחבה)
מקור: הטכניון