תהליך האימון נעשה באמצעות טכניקת המיחשוב המקבילי. הדבר איפשר להשלים את תהליך האימון הרבה יותר מהר מאשר אם היה נעשה על GPU או מעבד יחיד. לפני אימון המערכת הנתונים עובדו כך שיוסרו מהם נתונים אישיים מזהים
Nvidia שיתפה פעולה עם OpenAI כדי לאמן גרסה של 6 מיליארד פרמטרים של ChatGPT באמצעות 30,000 מעבדים גרפיים של Nvidia. על פי הדיווחים, תהליך האימון ארך מספר חודשים וצרך כמות משמעותית של אנרגיה
תהליך האימון נעשה באמצעות טכניק,ת המיחשוב המקבילי הכוללת פירוק משימת האימון בקנה מידה גדול לתת-משימות קטנות יותר שניתן לבצע בו זמנית על פני מספר מעבדים גרפיים. הדבר איפשר להשלים את תהליך האימון הרבה יותר מהר מאשר אם זה היה נעשה על GPU או מעבד יחיד.
מטרת האימון של מודלים לשוניים כה גדולים היא לשפר את יכולתם ליצור תגובות דמויות אדם שאינן ניתנות להבחנה מאלו של אדם. לטכנולוגיה זו יש יישומים פוטנציאליים רבים, כולל בצ’אטבוטים, עוזרים וירטואליים ומערכות שירות לקוחות אוטומטיים.
OpenAI התיחסה לחששות האתיים סביב פיתוח ופריסה של מודלים של שפות גדולות, כולל הפוטנציאל של מודלים אלה להנציח הטיות ומידע שגוי. OpenAI וארגונים אחרים פועלים כדי לטפל בבעיות אלה על ידי יישום אמצעי הגנה ושקיפות בפיתוח ובפריסה של מודלים אלה.
נתוני האימון של המודל עובדו מראש כדי להסיר כל מידע המאפשר זיהוי אישי או נתונים רגישים שיכולים לשמש לזיהוי אנשים או קבוצות. בנוסף, OpenAI ו-Nvidia יישמו אמצעי הגנה שונים כדי להבטיח שהמודל לא יהיה מוטה או יעורר תגובות בלתי הולמות.
עוד בנושא באתר הידען:
