הידען - Hayadan

בני אדם לא מתחילים לכתוב כמו ChatGPT – אבל הבינה המלאכותית מדברת כמו מטפל

אבי בליזובסקי ·

Summary: פרויקט מחקר של שני סטודנטים בהרווארד השווה עשר שנות כתיבה אנושית ברשת לתשובות של ChatGPT, ולא מצא סימן לכך שהשפה שלנו מתקרבת לשפת המכונה. לעומת זאת, הוא מצא שהמכונה משתמשת הרבה יותר במילים של אמפתיה, ומדברת פחות על עצמה ועל מה שחוותה

פרויקט מחקר של שני סטודנטים בהרווארד השווה עשר שנות כתיבה אנושית ברשת לתשובות של ChatGPT, ולא מצא סימן לכך שהשפה שלנו מתקרבת לשפת המכונה. לעומת זאת, הוא מצא שהמכונה משתמשת הרבה יותר במילים של אמפתיה, ומדברת פחות על עצמה ועל מה שחוותה

ראש אנושי וראש רובוט כמכונות מסטיקים, באיור על שימוש במילים הקשורות לדמיון
דמיון בכתיבה אנושית ובכתיבת בינה מלאכותית. איור מתוך פרויקט Words Apart של אורי שמר וזאק ואנק.

מיליוני אנשים כותבים היום מיילים, סיכומים ופוסטים בעזרת בינה מלאכותית, וקוראים כל יום טקסטים שהיא ניסחה. רבים חוששים שהסגנון שלה מחלחל לכתיבה שלהם. בסקר מקדים שערכו החוקרים, 88% מהמשיבים העריכו שכתיבה אנושית וכתיבת מכונה נעשות דומות יותר עם השנים.

אורי שמר, סטודנטית ישראלית לתואר שני בהנדסת עיצוב (Design Engineering) באוניברסיטת הרווארד, החליטה לבדוק את החשש הזה בנתונים, יחד עם זאק ואנק (Zak Vaneck), סטודנט להנדסת מכונות. המסקנה שלהם הפוכה: בנתונים שבדקו, הכתיבה האנושית לא מתקרבת לזו של המכונה.

איך מודדים סגנון בלי להתבלבל עם תוכן

הקושי הראשון היה להפריד בין סגנון לנושא. ברשת החברתית Reddit אדם מסביר איך עובד מנוע בעירה, ואילו ב-ChatGPT מישהו מבקש עזרה בכתיבת קורות חיים. ההבדלים בין הטקסטים עלולים לנבוע מהנושא ולא מאופן הכתיבה.

כדי לעקוף את הבעיה, החוקרים התמקדו ב-72 מילים קטנות באנגלית שאין להן נושא משלהן, כמו the, of, is, to ו-and. הם בדקו אילו מילים נוטות להופיע אחרי כל אחת מהן. כך התקבל מעין "טביעת אצבע" של סגנון, שאינה תלויה בנושא השיחה.

בצד האנושי הם אספו תשובות מהקהילה r/explainlikeimfive ב-Reddit, שבה אנשים מסבירים נושאים בשפה פשוטה, לאורך עשור שלם: מ-2016 ועד 2025. בצד המכונה הם השתמשו ב-WildChat, מאגר מחקרי של שיחות אמיתיות עם ChatGPT, משנת 2023 ואילך. נקודת הייחוס הייתה הכתיבה האנושית של 2016–2017, לפני ש-ChatGPT נכנס לחיינו. את המרחק בין דפוסי השפה הם מדדו במדד סטטיסטי בשם JSD (התבדרות ג'נסן-שאנון), שמשווה בין התפלגויות.

אין התקרבות: שני קווים מקבילים

אם בני אדם היו מתחילים לכתוב כמו ChatGPT, הכתיבה האנושית הייתה אמורה להתקרב לדפוסי המכונה עם השנים. זה לא מה שנמצא. הכתיבה האנושית של 2025 נשארה דומה לזו של השנים הקודמות, וגם הכתיבה של ChatGPT לא נעה בעקביות לכיוון בני האדם. לאורך כל התקופה שנבדקה, המרחק בין השתיים לא הצטמצם.

במה אנחנו שונים: חושים, זיכרון ו"אני"

בשלב הבא חילקו החוקרים מילים ל-14 קטגוריות, ביניהן חושים, זיכרון, דמיון, רגש, ודאות, אמפתיה ושימוש בגוף ראשון ושני. הם בדקו באיזו תדירות כל קטגוריה מופיעה בטקסטים אנושיים לעומת טקסטים של בינה מלאכותית.

בני אדם הובילו ב-11 מתוך 14 הקטגוריות. מילים שקשורות לריח הופיעו אצלם בתדירות גבוהה פי 2.66, ומילים של טעם, מגע ושמיעה היו נפוצות יותר גם הן. כך גם מילים של זיכרון ודמיון. בני האדם השתמשו גם הרבה יותר בגוף ראשון: הוא הופיע ב-35.9% מהקטעים האנושיים, לעומת 16.8% מהקטעים של המכונה.

המכונה גם נזהרת יותר מקביעות נחרצות. מילים כמו clearly, obviously ו-definitely ("ברור", "כמובן", "בהחלט") הופיעו ב-11.2% מהקטעים האנושיים, ורק ב-5.8% מהקטעים של ChatGPT. מנגד, היא השתמשה מעט יותר במילים שמביעות חוסר ודאות ובביטויים כמו should, need to ו-must ("כדאי", "צריך", "חייב").

המכונה מדברת כמו מטפל

קטגוריה אחת בלטה בכיוון ההפוך. מילים כמו feel, understand, sorry ו-hard, שמשמשות להכרה ברגש או בקושי של אדם אחר, הופיעו אצל ChatGPT בתדירות גבוהה פי שלושה ויותר מאשר אצל בני אדם.

כשהחוקרים חיברו את הממצאים יחד, התקבלה דמות של דובר שמדבר מעט על עצמו, נזהר מנחרצות, מתייחס הרבה לרגשות של מי שמולו וממליץ מה לעשות בלי לשפוט. לדבריהם, זה מזכיר את סגנון הדיבור של מטפל או פסיכולוג, שמשתמש בשיקוף רגשי ובתיקוף (ולידציה) לפני שהוא עובר לפתרונות.

כדי לבדוק את ההשערה הזאת בלי שהנושא ישבש את התוצאות, הם לקחו 50 שאלות אמיתיות מהקהילה r/Advice ב-Reddit, יחד עם התשובות שאנשים כתבו להן, והעבירו את אותן שאלות בדיוק למודלים של בינה מלאכותית. הפעם הם בדקו את מבנה התשובה: האם היא נפתחת בשיקוף רגשי לפני שהיא מציעה פתרון. המודלים עשו זאת יותר מבני האדם.

20 מודלים, פערים של עד 58%

בשלב האחרון העבירו החוקרים את אותן שאלות ל-20 מודלים שונים. שיעור התשובות שנפתחו בשיקוף רגשי נע בין 0% ל-58%. מודל אחד פתח יותר ממחצית מתשובותיו בהכרה ברגש של המשתמש, ומודל אחר לא עשה זאת אפילו פעם אחת, אף ששניהם קיבלו בדיוק את אותן שאלות.

לדברי החוקרים, הפער הגדול מראה שהסגנון ה"טיפולי" אינו תכונה מובנית של בינה מלאכותית, אלא תלוי, לפחות בחלקו, באופן שבו כל מודל פותח ואומן. עם זאת, הם מדגישים שאי אפשר לדעת מתוך התוצאות אילו החלטות אימון יצרו את ההבדלים.

מגבלות המחקר

זהו פרויקט מחקר של סטודנטים, שעדיין לא עבר ביקורת עמיתים ולא פורסם בכתב עת מדעי. הוא נשען בעיקר על כתיבה באנגלית מפלטפורמה אחת, Reddit, ועל שיחות עם ChatGPT, ולכן לא ברור עד כמה הממצאים תקפים לשפות אחרות, לסוגי כתיבה אחרים או לכתיבה שנעשית בעזרת בינה מלאכותית ומתפרסמת בשם האדם. את הנתונים ואת הגרפים אפשר לחקור באתר האינטראקטיבי שבנו החוקרים.

מה נשאר אנושי

"יצאתי למחקר הזה כי חששתי שאני מתחילה להישמע כמו ChatGPT", כותבת שמר. "בנתונים שבדקנו לא מצאנו עדות לכך, אבל בדרך הגענו לממצאים שבעיניי מעניינים הרבה יותר". לדבריה, "כשאנחנו כותבים, אנחנו מביאים איתנו את העולם שחווינו. ריחות, טעמים, מגע, זיכרונות ודמיון מוצאים את דרכם לשפה שלנו, גם בלי שנתכוון לכך".

היא מוסיפה: "יש משהו מוזר בעובדה שאנחנו בונים מכונות שמצטיינות בלהישמע אכפתיות, בזמן שאנחנו עצמנו לא תמיד עושים את המאמץ הזה".

שאלות ותשובות

האם אנשים מתחילים לכתוב כמו ChatGPT?
לפי הפרויקט, לא. ניתוח של תשובות ב-Reddit מ-2016 עד 2025 לא מצא שהכתיבה האנושית מתקרבת לדפוסי השפה של ChatGPT.

במה כתיבה אנושית שונה מכתיבת מכונה?
בני אדם משתמשים הרבה יותר במילים של חושים, זיכרון ודמיון, ופי שניים יותר בגוף ראשון. הם גם נחרצים יותר.

למה אומרים שהבינה המלאכותית מדברת כמו מטפל?
כי היא משתמשת פי שלושה ויותר במילים של אמפתיה, ונוטה לפתוח תשובות בהכרה ברגש של המשתמש לפני שהיא מציעה פתרון.

האם כל המודלים מתנהגים כך?
לא. ב-20 מודלים שנבדקו, שיעור התשובות שנפתחו בשיקוף רגשי נע בין 0% ל-58%.

מקור: אורי שמר וזאק ואנק, אוניברסיטת הרווארד, פרויקט Words Apart

עוד בנושא באתר הידען