פרופ' דוד (דודי) סרנה מהמחלקה למדעי המחשב פיתח מערכת AI שמתחקרת כל סטודנט על הקוד שהגיש. היא שואלת שאלות שמותאמות לעבודה שלו ובודקת אם הוא מבין אותה לעומק. בסבב האחרון נערכו בה 546 מבדקים, והנהלת האוניברסיטה מבקשת להרחיב את השימוש בה לכל הקמפוס.
השיחה עם סרנה התקיימה ב-25 באוקטובר, יומיים לפני הבחירות, בשולי הכנס הבינלאומי "Rethinking AI & Computing in the Age of Foundation Models" ("חשיבה מחודשת על בינה מלאכותית ומחשוב בעידן מודלי היסוד") שנערך בבר-אילן. בכנס השתתפו בעיקר חוקרים ישראלים מאוניברסיטאות בחו"ל, והוא עסק בשאלה כיצד מודלי היסוד של הבינה המלאכותית משנים את מדעי המחשב עצמם. סרנה הציג בכנס את המערכת בהרצאה "Did You Write It? Do You Understand It?" והשתתף בפאנל על הוראת מדעי המחשב בעידן ה-AI.
בקורס "מערכות הפעלה" באוניברסיטת בר-אילן התגלה בשנה שעברה נתון חריג. 62.5% מהסטודנטים קיבלו ממוצע של 100 בארבע מטלות התכנות. 85% קיבלו ממוצע מעל 95, 92% מעל 90, והציון החציוני היה 100. מדובר במטלות קוד כבדות, עם שישה-שבעה עמודי הוראות, שנבדקות אוטומטית מול אינספור קלטים ומקרי קצה. "אתה צריך להיות מושלם בכל אחת מהמטלות שהגשת", אומר פרופ' דוד סרנה, חבר סגל במחלקה למדעי המחשב וחוקר בינה מלאכותית. "כשכולם מקבלים ציון כמעט מושלם, איך אנחנו יודעים להפריד בין מי שיודע את החומר למי שלא?"
לדבריו, הסיבה ברורה: כלי ה-AI ערערו את הדרך המסורתית להעריך סטודנטים, כלומר בדיקת העבודה שהגישו. "אני לא יודע אם הסטודנט עשה את התרגיל באמצעות AI, עבד יחד עם ה-AI או עשה אותו בעצמו. זה הורס לי את כל האפשרות להעריך אותו לפי איכות התרגיל שהגיש".
"השוליה למחצה"
סרנה מתאר את מה שאבד בתהליך הלמידה. בעבר, סטודנט שנתקע בבאג או בפונקציה שלא ידע לממש פנה לפורומים, לשעות קבלה, למתרגל או לחברים. "שם התרחש התהליך הלימודי, שם הם צברו ידע והתנסות", הוא אומר. היום הסטודנט מעלה את התרגיל לצ'אטבוט ומקבל בחזרה קוד שעובד. "במקרה הטוב הוא גם בודק שהקוד רץ, במקרה הפחות טוב הוא פשוט מגיש אותו".
הוא מסתמך גם על מחקרים עדכניים. לפי סקר שנתי בקרב סטודנטים לתואר ראשון בבריטניה, שיעור המשתמשים ב-AI לצורך עבודות זינק מ-53% ב-2024 ל-94% ב-2026. בפקולטה להנדסה של פרינסטון, 37% מהסטודנטים דיווחו בשאלון אנונימי שהשתמשו ב-AI בקורסים שבהם הדבר נאסר במפורש. סרנה מצביע במיוחד על מחקר של Anthropic, החברה שמפתחת את Claude, מתחילת 2026. במחקר למדו 52 מפתחים מתחילים ספריית פייתון חדשה. מי שעבדו עם AI הבינו אותה פחות טוב ממי שעבדו בלעדיו, והפער הגדול ביותר נמצא בדיבאגינג. "וזו המיומנות הכי חשובה בעידן ה-AI", אומר סרנה. עם זאת, משתתפים שהשתמשו ב-AI כדי לשאול שאלות על הקוד ולהבין מושגים, ולא רק כדי לייצר אותו, השיגו ציונים קרובים לאלה של הקבוצה שעבדה בלי AI. "השאלה היא לא אם השתמשת ב-AI, אלא איך".
16 דקות מול בוחן ממוחשב
בחינות בעל פה הן לדבריו פתרון מצוין, אבל קשה להפעיל אותן בהיקף גדול. בסבב האחרון נערכו במערכת 546 מבדקים של 16 דקות כל אחד. "אם הייתי צריך לעשות את זה בעצמי, זה היה לוקח לי 146 שעות", הוא אומר, "וזה בלי לקרוא את העבודות ובלי לכתוב את ההערכות". לדברי סרנה, הנהלת האוניברסיטה מבקשת כעת להרחיב את השימוש במערכת לכל האוניברסיטה.
במקום זה פיתח סרנה מערכת שבה בוחן מבוסס AI מתחקר את הסטודנט על העבודה שהגיש, כדי לבדוק מה הוא באמת למד ממנה. הסטודנט מגיש את העבודה דרך GitHub Classroom וקובע מועד למבדק בחדר ייעודי בקמפוס. החפצים האישיים נשארים בחוץ, ושתי מצלמות מתעדות את המבדק ונבדקות מדגמית. על המסך מוצג הקוד שהסטודנט עצמו הגיש, ולצידו שאלות שהמערכת מנסחת במיוחד עבורו: למה בחרת במנגנון הזה ולא באחר? מה היה קורה אם הקוד הזה היה עובר למקום אחר? הנה קלט, הסבר איך ייראה הפלט לפי הקוד שכתבת. המערכת גם מקפיצה את הסטודנט לשורה הרלוונטית בקוד.
המבדק כולל שלוש שאלות, וכל תשובה מקבלת ציון בין 1 ל-5. רמת הקושי משתנה תוך כדי: תשובה טובה מובילה לשאלה קשה יותר, ותשובה חלשה לשאלה קלה יותר. בסיום מקבל הסטודנט משוב אוטומטי ומפורט. המשוב פותח במה שעשה טוב, מסביר איפה טעה ומה הייתה התשובה הנכונה, וממליץ מה לתרגל מחומר הקורס. צוות הקורס מקבל דוח מובנה על החוזקות והחולשות של כל סטודנט, וגם "הערכת בעלות" שמעריכה אם הסטודנט כתב את העבודה בעצמו. "זה לא אמור להשפיע על הציון, רק בשבילי, שאדע", מבהיר סרנה.
לא מי השתמש ב-AI, אלא מי מבין
סרנה מדגים את הגישה בשני מקרים. בשניהם זיהתה המערכת סימנים ברורים לקוד שנוצר ב-AI: תבניות אחידות, קוד "סטרילי" ושמות משתנים אופייניים. הסטודנט הראשון הסביר היטב את הקוד שלו וקיבל 92. השני טען שלולאה בקוד שלו לא תיעצר, בניגוד למה שהקוד עצמו עושה, ביקש להחליף שאלות וקיבל ציון נמוך. "לא מעניין אותי אם הסטודנט השתמש ב-AI", אומר סרנה. "מעניין אותי אם הוא מבין את מה שהגיש".
את המטרה הוא מגדיר כבדיקת "בעלות" (ownership) על העבודה: האם הסטודנט יכול להסביר אותה, לעמוד מאחורי הנחות היסוד שלה, להגן על הבחירות שעשה יחד עם ה-AI, לשנות אותה לפי בקשה ולתקן בה באגים בעצמו. סרנה רואה בזה שלב ביניים בסולם הערכה בן שלוש דרגות. הדרגה הראשונה היא איכות העבודה המוגשת, ולדבריו היא כבר לא אמינה. השנייה היא מה שהסטודנט יודע לעשות בעצמו, כמו במבחן סוף סמסטר. השלישית, שעליה הוא וסטודנטים שלו עובדים עכשיו, היא "יכולת מועצמת": מה הסטודנט מסוגל להשיג כשיש לו AI ביד.
"ה-AI לא נותן לנו ידע, הוא נותן לנו מידע", מסכם סרנה. "ידע הוא משהו שצריך לעבור תהליך כדי לקבל. הבוגר של עוד עשר שנים יצטרך להיות הרבה יותר ורסטילי, וורסטיליות זה לא שטחיות".
במקביל מפתח סרנה, יחד עם חוקרת מהמחלקה למתמטיקה, מערכת נוספת. המערכת מפרקת בעיות למרכיבי ידע ומיומנות, מזהה מתוך תשובת הסטודנט איזה מרכיב חסר לו ומתמקדת בו בשאלות הבאות.
שאלות ותשובות
מה המערכת של פרופ׳ דוד סרנה בודקת?
היא בודקת אם הסטודנט מבין את הקוד שהגיש ויכול להסביר את הבחירות שעשה, לחזות כיצד הקוד יפעל ולזהות בו תקלות.
איך מתנהל המבדק?
במבדק של 16 דקות מוצג לסטודנט הקוד שהגיש. המערכת שואלת שלוש שאלות מותאמות לקוד ומשנה את רמת הקושי בהתאם לתשובות.
האם השימוש בבינה מלאכותית בכתיבת הקוד משפיע על הציון?
לדברי סרנה, ההערכה של המערכת לגבי מידת הבעלות על הקוד אינה חלק מהציון. המבדק מעריך את ההבנה שהסטודנט מפגין בתשובותיו.
איזה משוב הסטודנטים מקבלים?
בסיום המבדק הסטודנט מקבל הסבר על מה שעשה היטב, היכן טעה ואילו נושאים מחומר הקורס כדאי לו לתרגל.
עוד בנושא באתר הידען
- חשש: סוכני AI יקבלו תואר אקדמי במקום הסטודנט
- אוניברסיטת חיפה פיתחה בוט שמייצר משימות מתמטיקה מותאמות
- בינה מלאכותית ותכנות: מי מאיץ את הפיתוח ומי נשאר מאחור
- כיצד ייראה החינוך בעידן ChatGPT?
- גם למורים מגיעים עוזרים אישיים: בינה מלאכותית בשירות ההוראה והלמידה
