חוקרים מ-Intel Labs בישראל פיתחו את מערכת NeuroPrompts שבה המשתמש מזין פרומפט פשוט, כמו "ילד על סוס". המערכת לוקחת את הפרומפט הבסיסי הזה ומשדרגת אותו באופן אוטומטי לפרומפט מורכב יותר שמייצר תמונות איכותיות יותר. התהליך מתבסס על שילוב של למידה מפוקחת ולמידת חיזוקים
מאז השקתו של ChatGPT בסתיו 2022, הנדסת פרומפטים הפכה לנושא מרכזי בעולם הבינה המלאכותית. אנשים רבים ניסו למצוא את הדרך המיטבית לנסח שאילתות למודלי שפה גדולים (LLMs) או ליצירת תמונות ווידאו באמצעות AI. האינטרנט מלא במדריכים, דפי עזר ועצות לשיפור השימוש במודלים אלה.
אולם, מחקרים חדשים מצביעים על כך שהנדסת פרומפטים עשויה להיות יעילה יותר כאשר היא מבוצעת על ידי המודל עצמו, ולא על ידי מהנדס אנושי. ממצאים אלה מעלים ספקות לגבי עתיד מקצוע הנדסת הפרומפטים, לפחות בצורתו הנוכחית.
בעשור האחרון חווינו מהפכה טכנולוגית מרשימה בתחום הבינה המלאכותית, ששינתה את פני תחומים רבים בצורה מהותית. פריצות דרך במודלים גדולים, כמו GPT-3 ו-GPT-4, הביאו לשיפור משמעותי ביכולות המחשוב, עיבוד השפה הטבעית וזיהוי התמונות. אולם, למודלים הגדולים יש גם מגבלות משמעותיות, כולל עלויות גבוהות ומורכבות בהבנה ושליטה.
על רקע זה, מתפתח כיוון מחקר חדש המתמקד באוטומציה של תהליך הנדסת הפרומפטים עצמו. גישה זו מבטיחה לא רק לשפר את איכות הפרומפטים, אלא גם להפוך את הטכנולוגיה לנגישה יותר למגוון רחב של משתמשים, מעבר למומחי AI. כאן נכנסת לתמונה מערכת NeuroPrompts, פיתוח מבית Intel Labs, המציעה פתרון מתקדם להנדסת פרומפטים אוטומטית.
צוות חוקרים בהובלת שחר רוזנמן, וסודב לאל ופיליפ הווארד פיתח את מערכת NeuroPrompts. בראיון קודם, הסביר וסודב לאל, מדען מחקר ראשי ב- Intel Labs , כי המטרה הייתה לפתח מערכת שתוכל לגשר על הפער בין הרעיונות היצירתיים של משתמשים לבין היכולות המתקדמות של מודלי.AI הם רצו להפוך את הטכנולוגיה הזו לנגישה יותר לכל אחד, ללא קשר לרקע הטכני שלו.
NeuroPrompts עובד באופן הבא: המשתמש מזין פרומפט פשוט, כמו "ילד על סוס". המערכת לוקחת את הפרומפט הבסיסי הזה ומשדרגת אותו באופן אוטומטי לפרומפט מורכב יותר שמייצר תמונות איכותיות יותר. התהליך מתבסס על שילוב של למידה מפוקחת ולמידת חיזוקים.
שחר רוזנמן מסביר את תהליך הפיתוח. "תחילה, אימנו מודל שפה על מאגר ענק של פרומפטים שנוצרו על ידי מומחים. לאחר מכן, השתמשו באלגוריתם PPO (Proximal Policy Optimization) כדי לשפר עוד יותר את המודל על סמך העדפות אנושיות משוערות".
אחד החידושים המרשימים ב- NeuroPrompts הוא השימוש בטכניקה הנקראת NeuroLogic Decoding . טכניקה זו מאפשרת למערכת לייצר פרומפטים משופרים תוך שמירה על אילוצים מסוימים, כמו סגנון אמנותי ספציפי או אווירה מסוימת. זה נותן לחוקרי אינטל את היכולת לשלוט בתהליך היצירה בצורה מדויקת יותר, מאפשר למשתמשים לקבל תוצאות שמתאימות יותר לחזון שלהם, מבלי לאבד את היתרונות של האוטומציה.
בניסויים שנערכו, תמונות שנוצרו מפרומפטים משופרים על ידי NeuroPrompts השיגו ציון אסתטיקה ממוצע של 6.27 מתוך 10, לעומת 5.64 עבור פרומפטים לא מעובדים ו-5.92 עבור פרומפטים שנוצרו על ידי בני אדם מומחים. יתר על כן, המערכת השיגה שיפור של 20% בציון PickScore, המנבא את ההעדפה האנושית לתמונות שנוצרו.
הממשק של NeuroPrompts כולל אפשרות להשוואה צד לצד של התמונות שנוצרו מהפרומפט המקורי והמשופר, מלווה בציוני אסתטיק ו- PickScore . זה מאפשר למשתמשים לראות בקלות את ההבדל ולהבין את השיפור שהמערכת מביאה.
יישומים מעשיים של NeuroPrompts
מערכת NeuroPrompts של Intel Labs כבר מראה את יכולותיה במגוון תחומים, מאמנות ועד רפואה. בפרויקט ניסיוני בשיתוף עם גלריית אמנות מובילה, השתמשו ב- NeuroPrompts ליצירת תערוכה שלמה של אמנות דיגיטלית. המבקרים הוזמנו להזין פרומפטים פשוטים המבוססים על רגשות וזיכרונות אישיים, והמערכת הפכה אותם ליצירות אמנות דיגיטליות מורכבות ומרגשות.
בתחום החינוך, נערך ניסוי להוראת היסטוריה, שבו מורים השתמשו במערכת ליצירת תמונות היסטוריות מדויקות יותר. למשל, הפרומפט "המהפכה הצרפתית" הורחב לתיאור מפורט של המון פורץ לבסטיליה, כולל פרטים היסטוריים מדויקים.
בתעשיית הקולנוע, במאים יוכלו להשתמש ב- NeuroPrompts לתכנון סצנות מורכבות. פרומפטים פשוטים מורחבים לתיאורים מפורטים, יאפשרו לצוותי הפקה לדמיין ולתכנן סצנות ביעילות.
בתחום הרפואה, NeuroPrompts נמצאת בשלבי בדיקה ראשוניים לסיוע בפענוח תמונות רפואיות, מסייעת לרדיולוגים להרחיב תיאורים פשוטים של ממצאים לתיאורים מפורטים יותר.
מחקרים נוספים בתחום
Intel Labs אינה לבד במרוץ לפיתוח טכנולוגיות אוטומטיות להנדסת פרומפטים. חוקרים מחברת VMware , בהובלת ריק באטל וטז'ה גולפודי, ערכו מחקר מקיף על השפעתן של אסטרטגיות שונות בהנדסת פרומפטים. הם גילו שפרומפטים מבוססי רפרנסים לתרבות הפופולרית, כמו אזכורים ל"מסע בין כוכבים", יכולים לשפר ביצועים במשימות מתמטיות. המחקר של VMware מספק תובנות מעניינות ומראה שיש עוד הרבה לחקור בתחום זה. בעוד Intel Labs מתמקדת ביצירת תמונות, העקרונות יכולים להיות מיושמים במגוון רחב של תחומים.
אתגרים ושיקולים אתיים
אחד האתגרים המרכזיים בפיתוח מערכות כמו NeuroPrompts הוא הבטחת הגינות ואתיקה. רוזנמן מדגיש כי הם מודעים לכך שמערכות AI יכולות לשכפל ולהגביר הטיות חברתיות. הם עובדים קשה כדי למזער את הסיכון הזה, למשל על ידי גיוון מקורות הנתונים שלהם ובדיקה קפדנית של התוצאות.
השימוש הגובר בטכנולוגיות כמו NeuroPrompts מעלה גם שאלות אתיות מורכבות נוספות. למשל ישנן חששות לגבי ההשפעה של מערכות אלו על תעסוקה, פרטיות, וזכויות יוצרים. מומחי אתיקה מדגישים את הצורך בפיתוח מסגרות רגולטוריות שיבטיחו שימוש אחראי בטכנולוגיות אלו.
למרות היתרונות הברורים, ישנן גם ביקורות על הגישה האוטומטית להנדסת פרומפטים. מבקרים טוענים שהסתמכות יתר על מערכות אוטומטיות עלולה לפגוע ביצירתיות האנושית ולהוביל לסטנדרטיזציה מוגזמת של תוצרי AI.
בתגובה לביקורות אלו, מדגיש לאל כי הם לא מנסים להחליף את היצירתיות האנושית. המטרה היא לתת כלים טובים יותר לאנשים יצירתיים. NeuroPrompts, לדבריו, הוא כמו עוזר דיגיטלי מתוחכם שעוזר להוציא את המיטב מהטכנולוגיה.
עם התקדמות הטכנולוגיה, נראה כי עתיד הנדסת הפרומפטים והיצירה באמצעות AI צפוי להיות מרתק ומאתגר כאחד. האיזון בין אוטומציה ליצירתיות אנושית יהיה ללא ספק אחד הנושאים המרכזיים שיעסיקו את תעשיית הטכנולוגיה בשנים הקרובות.
מה שבטוח הוא ש-Intel Labs וחברות אחרות בתחום ימשיכו לחקור ולפתח טכנולוגיות שישפרו עוד יותר את יכולות הנדסת הפרומפטים האוטומטית.
לסיכום, מהפכת הפרומפטים האוטומטיים, כפי שמודגמת על ידי NeuroPrompts של Intel Labs, מסמנת תקופה חדשה ומרגשת בהתפתחות הבינה המלאכותית. היא מבטיחה לא רק לשפר את איכות התוצרים של מערכות AI, אלא גם להפוך את הטכנולוגיה לנגישה יותר למגוון רחב של משתמשים. כפי שמציין שחר רוזנמן, "העתיד של עבודה עם בינה מלאכותית לא רק על לתת למחשבים לעשות הכל לבד. במקום זה, הרעיון הוא לחבר בין מה שאנשים טובים בו – כמו יצירתיות ורעיונות חדשים – לבין מה שמחשבים טובים בו, כמו עיבוד מידע מהיר. כשמשלבים את שני הדברים האלה ביחד, אפשר ליצור דברים חדשים, לחשוב על פתרונות מקוריים, ולפתור בעיות גדולות שמשפיעות על כל העולם. זו הזדמנות לעשות דברים שלא יכולנו לעשות קודם".
עוד בנושא באתר הידען:
