כך לומדת מערכת בגזע המוח איזו התנהגות תוביל לתוצאה הרצויה
מרית סלוין
בעלי חיים לומדים ללא הרף את עובדות החיים. הם יודעים מתוך הניסיון איזו התנהגות מביאה להם יותר מזון או צאצאים ומשפרת בכך את שרידותם או חושפת אותם לטורפים ובכך מסכנת אותם, וכשהם נמצאים בתנאים מסוימים הם יכולים לנבא איזו התנהגות תביא לתוצאה הטובה ביותר. איך הם עושים זאת?
חוקרי האינטליגנציה המלאכותית יודעים לבנות מערכות סגורות, שבכלים חישוביים מלמדות את עצמן מהי פעולה רצויה. הן מבוססות על מנגנון של למידת חיזוק: כל הזמן נערכת בהן השוואה בין מה שמצפים מהעולם למה שהוא מעניק. אם התוצאה של פעולה טובה יותר מהצפי עבורה, מתחזקת הפעילות של המערכת. אם התוצאה פחות טובה מהצפי, המערכת מורידה את רמת פעילותה. מערכת כזאת מעדכנת את הניבויים שלה ללא הרף, בהתאם למתרחש.
השאלה היא אם קיימת מערכת ביולוגית הפועלת בדומה למערכת החישובית, כלומר משווה ללא הרף את הניבויים של בעל החיים עם התוצאה, ומעדכנת את ההתנהגות והניבויים בהתאם. הפרופ’ וולפרם שולץ, שעובד עם צוותו באוניברסיטת קיימברידג’ שבאנגליה, הגה ב-1995 תיאוריה שלפיה מערכת ביולוגית האחראית ללמידת חיזוק אכן קיימת ושמדובר במערכת התקשורת העצבית, הפועלת באמצעות המתווך העצבי דופאמין. הפרופ’ חגי ברגמן מהמחלקה לפיסיולוגיה באוניברסיטה העברית נמנה עם החוקרים התומכים בתיאוריה זו, ובמאמר שפירסם ביום חמישי שעבר בכתב העת “Neuron” הוא הציג סדרת ניסויים המאוששים אותה.
מערכת הדופאמין כוללת כחצי מיליון תאי עצב, הממוקמים בגזע המוח. התקשורת בין שלוחות תאי העצב האלה נעשית באמצעות המתווך העצבי (נוירוטרנסמיטור) דופאמין, המופרש מקצה של שלוחת עצב אחת לשנייה בנקודות המגע ביניהן (סינפסות). הסיבים של תאי העצב במערכת מתנקזים לאזור מוחי אחר – אזור הגרעינים הבזליים, ומשם לקליפת המוח. כמות הדופאמין המופרשת בסינפסות קובעת את קצב העברת המידע. ידוע כי למערכת הגרעינים הבזליים ולקליפת המוח יש תפקיד מרכזי בוויסות תנועה והתנהגות. חוסר בדופאמין גורם למחלת פרקינסון, למשל, ועודף בו גורם לסכיזופרניה והפרעות התנהגותיות אחרות.
תומכי תיאוריית למידת החיזוק טוענים שמערכת הדופאמין עובדת כמו המערכת החישובית – היא מווסתת את כמות הדופאמין המופרש בהתאם לתוצאת ההתנהגות, וכך מחזקת התנהגויות רצויות (ולהיפך). בחינתה של התיאוריה מבוססת על בדיקת פעילות תאי העצב מפרישי הדופאמין במוחם של בעלי חיים בעת ביצוע התנהגות מסוימת. רמת פעילות תאי העצב נמדדת לפי קצב האותות החשמליים שהם “יורים”. ככל שקצב הירי עולה, עולה גם כמות הדופאמין המופרש.
שולץ מצא שהתאים מייצרי הדופאמין במוחו של קוף “יורים” כל הזמן לפחות 10-5 אותות בדקה – זוהי פעילות הרקע שלהם. כשנתן לקוף מיץ (שהקוף אוהב), הוא גילה שקצב הירי עלה ל-20 אותות בדקה – כלומר, התאים “שפכו” יותר דופאמין. במצב זה, כך פירש שולץ, התוצאה היתה טובה יותר מהצפי ולכן התאים הגבירו את הפרשת הדופאמין. בשלב הבא אימן שולץ את הקוף ששתי שניות לאחר שיראה תמונה מסוימת הוא יקבל את המיץ. במצב החדש הגיבו התאים מייצרי הדופאמין של הקוף לתמונה ולא למיץ עצמו, וכשהיא הופיעה נשפך הרבה דופאמין. כששולץ הראה לקוף את התמונה ולאחריה לא נתן את המיץ, ירד קצב הירי של התאים מייצרי הדופאמין. במקרה הזה, אמר שולץ, התאים מייצרי הדופאמין “התאכזבו” מהתוצאה, שהיתה פחות טובה מהניבוי.
הפרופ’ ברגמן התקדם צעד נוסף בהוכחת התיאוריה. “שולץ הראה שבמערכת של גירוי אחד הצמוד לגירוי שני השתנה קצב הפרשת הדופאמין, מצב שקרוי ‘התניה קלאסית'”, אומר ברגמן. “אנחנו לימדנו את הקוף שבתגובה לגירוי הוא צריך לבצע פעולה כדי לקבל את הפרס, מה שקרוי ‘התניה תפעולית’, ושאלנו, האם גם במצב היותר מורכב הזה מעורב הדופאמין”.
במחקר, שנערך בתמיכת הקרן הלאומית למדע, אימנו ברגמן וצוותו קוף להגיב לגירוי חזותי. הקוף למד שכאשר הוא רואה ריבוע הוא יודע שאם ילך ימינה יש לו סיכוי של 1:1 (כלומר ודאות) לקבל מיץ. למראה גירוי שני – עיגול, הקוף ידע שאם ילך שמאלה סיכוייו לקבל את המיץ מגיעים ל-1:4. “כשהקוף ראה את הריבוע הוא ידע שאם יעשה את הפעולה הנכונה הוא יקבל את המיץ. וכך, מיד לאחר שראה את הריבוע הפרישו תאי העצב שלו כמויות גדולות של דופאמין, וכשהגיע המיץ שתי שניות אחר-כך כבר לא נשפך דופאמין כי המיץ היה מצופה”, אומר ברגמן. “לעומת זאת, כשהקוף ראה את העיגול, תאי העצב שלו הפרישו מעט דופאמין, משום שהצפי שלו היה 1:4 בלבד. אבל אם מיד אחר-כך הוא קיבל מיץ ‘נשפך’ הרבה דופאמין, כי היתה לו הפתעה לטובה”.
האם הדופאמין הוא אכן המתווך בין הניבוי של הקוף לתוצאה? ברגמן וצוותו העמידו בפני הקוף במסגרת הניסוי מגוון רחב של סיכויים לקבלת המיץ, כמו סיכויים של 1:2 ,1:3 ,3:4 ועוד, ונוכחו לדעת שהפרשת הדופאמין אכן עמדה בכל מקרה בהתאמה למידת הצפי שלו לקבל את המיץ. “כגודל הציפייה כך היה גודל התגובה – לטוב ולרע”, אומר ברגמן.
“במחקר הזה הבאנו להבנה נוספת על תפקיד הדופאמין והגרעינים הבזליים בהתנהגות תקינה”, הוא מסכם. “ידוע שמות תאי העצב מפרישי הדופאמין והירידה הדרסטית בהפרשתו הם, למשל, הגורם למחלת פרקינסון. אנחנו מניחים שרק דרך הבנת הפעילות הנורמלית של האזורים הנפגעים במחלה, ניתן יהיה בעתיד להתקדם בהבנת מחלת פרקינסון”.
