השימוש העיקרי הוא לאימון רובוטים שיצטרכו להסתדר בסביבה שקשה לתכנן את כל הדברים שיקרו בה. עם עליית הטכנולוגיה הגנרטיבית, ההולודק צפוי להפוך לחלק אינטגרלי מהמערכת האקולוגית של הבינה המלאכותית ולשנות את הדרך שבה אנו חיים, עובדים ולומדים בעידן הדיגיטלי.
במאמץ לאמן רובוטים לביצוע משימות בעולם האמיתי, חוקרים מאוניברסיטת פנסילבניה פיתחו את ה"הולודק", מערכת בינה מלאכותית המיועדת ליצירת סביבות תלת-ממד מפורטות ומותאמות אישית על פי דרישת המשתמש, בהשראת טכנולוגיית ההולודק מסדרת "מסע בין כוכבים". המערכת משתמשת במודלים גדולים של שפה כדי לפרש בקשות מהמשתמשים וליצור מגוון רחב של תרחישים וירטואליים, המאפשרים לרובוטים לצבור ניסיון בניווט במרחבים חדשים בצורה טובה יותר.
ה"הולודק" היא מערכת מתקדמת שפותחה בשיתוף פעולה בין חוקרי אוניברסיטת פנסילבניה ו-AI2, ומסוגלת ליצור סביבות וירטואליות מגוונות לאימון סוכני בינה מלאכותית. בסדרה "מסע בין כוכבים: הדור הבא", ההולודק שימש את צוות ה-U.S.S. Enterprise ליצירת סביבות תלת-ממדיות לצורכי הכנה למבצעים ולבידור. טכנולוגיה זו מאפשרת דימוי של סביבות שונות, החל מיערות עבותים ועד ללונדון של שרלוק הולמס.
נכון להיום, סביבות וירטואליות אינטראקטיביות משמשות לאימון רובוטים בתהליך הידוע כ-"Sim2Real". עם זאת, קיימת בעיה של מחסור בלתי צפוי בסביבות וירטואליות הנדרשות לאימון רובוטים. תהליך יצירת הסביבות הללו הוא ידני וגוזל זמן רב, כאשר כל אמן עשוי להקדיש שבוע שלם ליצירת סביבה אחת.Lhttps://youtu.be/LWYGVjr9lIA
אתגרים ביצירת סביבות אימון וירטואליות
המחסור בסביבות וירטואליות מהווה אתגר משמעותי לאימון רובוטים לנווט בעולם האמיתי, המלא במורכבויות. רשתות עצביות, המהוות את הבסיס למהפכת הבינה המלאכותית הנוכחית, דורשות כמויות עצומות של נתונים, ובמקרה זה – סימולציות של העולם הפיזי. מערכות בינה מלאכותית גנרטיביות כמו ChatGPT ומחוללי תמונות כמו Midjourney ו-DALL·E מאומנים על מיליארדי תמונות, אך יש רק חלק קטן מהסביבות התלת-ממדיות הנדרשות לאימון בינה מלאכותית פיזית.
ה"הולודק" פותחה בשיתוף פעולה בין קאליסון-ברץ', יטסקאר, יאנג ולינגג'י ליו מאוניברסיטת פנסילבניה, בשיתוף עם אוניברסיטת סטנפורד, אוניברסיטת וושינגטון והמכון לאינטליגנציה מלאכותית של אלן (AI2). המערכת מסוגלת לייצר סביבות פנימיות בעזרת בינה מלאכותית המפרשת את בקשות המשתמשים, תוך שימוש בשפה יומיומית. המשתמשים יכולים להנחות את המערכת לייצר מגוון כמעט בלתי מוגבל של מרחבים תלת-ממדיים לאימון רובוטים בעולם האמיתי.
יישום ובדיקת ההולודק בעולם האמיתי
לצורך הערכת רמת הריאליזם והדיוק של ההולודק, החוקרים יצרו 120 סצנות באמצעות המערכת ו-ProcTHOR, כלי קודם שפיתח AI2, וביקשו ממאות סטודנטים להנדסה באוניברסיטת פנסילבניה להצביע על הגרסה המועדפת עליהם. התוצאות הראו שהסטודנטים דירגו את הסביבות שנוצרו בהולודק כעל פי המידה המועדפת.
החוקרים בדקו גם את יכולת ההולודק ליצור סצנות פחות טיפוסיות במחקר רובוטיקה, כמו חנויות, מרחבים ציבוריים ומשרדים. בהשוואת הפלטים של ההולודק עם הפלטים של ProcTHOR, נמצא כי השופטים האנושיים העדיפו את הסצנות שנוצרו על ידי ההולודק.
ההשלכות העתידיות על מחקר ואימון רובוטים
ההולודק מספק פתרון לבעיות הקיימות בעבודה עם סביבות אימון, ומציע פוטנציאל רחב לקידום תחומי מחקר שונים. המערכת מאפשרת לסוכני בינה מלאכותית להיות מוכנים להתמודד עם תרחישים מורכבים ומגוונים בסביבה האמיתית.
יישומים פוטנציאליים נוספים
בנוסף לאימון רובוטים, טכנולוגיית ההולודק עשויה למצוא יישומים רבים בתחומים כמו חינוך, רפואה ועיצוב. לדוגמה, מורים יכולים ליצור סביבות לימוד אינטראקטיביות, רופאים יכולים לדמות סביבות רפואיות לסטודנטים, ומעצבים יכולים להמחיש רעיונות עיצוביים בצורה אינטראקטיבית.
עוד בנושא באתר הידען:
