“בסופו של דבר אם מכונות יחליטו מי ימות, במיוחד כשמדובר בהרג המוני, הדבר עלול להוביל למה שמבקרי ה-AI חששו ממנו יותר מכל – שמכונות עלולות להשמיד את האנושות”, כך לדברי פיטר לי, מנהל תחום ביטחון וסיכון ומומחה בפוליטיקה ואתיקה באוניברסיטת פורטסמות’
בתחילת מרץ 2018, פורסם כי גוגל (Google) עובדת עם משרד ההגנה של ארצות הברית בכדי להפוך את הרחפנים, שכבר נמצאים בשירות צבא ארצות הברית, למבוססי בינה מלאכותית, ואולי גם לצורך הוספת AI לאמצעי חימוש נוספים.
המיזם המשותף, שזכה לשם Project Maven, עתיד ליצור טכנולוגיה מתקדמת, שיכולה לזהות אילו אובייקטים נמצאים במרחב שבו פועל הרחפן. מיזם זה גרם להתמרמרות בקרב עובדי גוגל וכמה אלפים מהם חתמו על עצומה לפיה הם מבקשים מגוגל לבטל את השתתפותה בפרויקט.
פרופ’ פיטר לי, מנהל תחום ביטחון וסיכון ומומחה בפוליטיקה ואתיקה, אוניברסיטת פורטסמות’ (University of Portsmouth) בבריטניה, אמר כי “גוגל וחברות אחרות המפתחות מערכות AI לכלי נשק, עשויות למצוא את עצמן כמטרה צבאית לגיטימית עבור האויב”.
לדבריו, “צבא ארצות הברית הכריז לאחרונה כי הוא מפתח את המזל”טים הראשונים שיכולים לזהות ולכוון אל כלי רכב ואנשים באמצעות בינה מלאכותית (AI). זהו צעד גדול קדימה. בעוד הטילים הצבאיים הנוכחיים עדיין נשלטים על ידי אנשים, טכנולוגיה חדשה זו תחליט מי להרוג כמעט בלי שום מעורבות אנושית”, כתב פרופ’ לי במאמר שפורסם באתר The Conversation.
לאחר שיושלם פיתוחם, כתב, “ייצגו מטוסים אלה את המיליטריזציה האולטימטיבית של AI ויגרמו להשלכות משפטיות ואתיות רחבות היקף על החברה. יש סיכוי שהלוחמה תעבור מקרבות להשמדה, ותאבד כל מראית עין של האנושות בתהליך. עם זאת, היא יכולה להרחיב את תחום הלחימה, כך שחברות, המהנדסים והמדענים יהפכו למטרות צבאיות תקפות”.
מי שלוחץ אחרון על ההדק חייב להיות אדם
“מל”טים צבאיים קטלניים כבר קיימים”, אמר פרופ’ לי. “אחד מהם הוא ה-MQ-9 Reaper, הם מפוקחים בקפידה ומנותבים באמצעות לוויין. אם מל”ט כזה מטיל פצצה או יורה טיל, מופעל חיישן אנושי המנחה אותו באופן פעיל אל המטרה שנבחרה באמצעות לייזר”.
“בסופו של דבר על צוות המפעילים מוטלת האחריות האתית, המשפטית והמבצעית האחרונה של הריגת מטרות אנושיות ייעודיות. כפי שמציין אחד המפעילים של Reaper: ‘תמיד אסכים שמורד, חשוב ככל שיהיה כיעד, יסתלק ולא להסתכן בהרג אזרחים'”.
“אפילו כאשר יש לנו יכולת מפותחת להרוג אנשים באמצעות רחפנים, רגשות אנושיים, פסקי דין ואתיקה היו גורם שהשפיע על הלחימה. תפוצתם של מקרי טראומה נפשית והפרעת דחק פוסט טראומטית (PTSD) בקרב המפעילים, מראה את ההשפעה הפסיכולוגית של הרג מרחוק”, אמר פרופ’ לי.
“זה בעצם מצביע על טיעון צבאי ואתי אפשרי של רונלד ארקין, בתמיכה במל”טים אוטונומיים. אולי אם יהיה מל”ט שיזרוק את הפצצות, עשויות הבעיות הפסיכולוגיות בקרב אנשי הצוות להימנע. החולשה בטיעון הזה היא שאתה לא צריך להיות אחראי על הרג כדי להיות בטראומה בגלל זה. מומחי מודיעין ואנשי צבא אחרים מנתחים באופן שוטף צילומים גרפיים מתקיפות של מטוס. מחקרים מראים כי ניתן לסבול מנזק פסיכולוגי גם מצפייה בתמונות המציגות אלימות קיצונית”.
“כאשר ראיינתי למעלה מ-100 אנשי צוות Reaper לספר עתידי, כל אדם שדיברתי איתו, שביצע תקיפות קטלניות, האמין שבסופו של דבר כי מי שלוחץ אחרון על ההדק חייב להיות אדם. קח את האדם – ואתה גם מוציא את האנושיות מההחלטה להרוג”.
תוצאות חמורות
האפשרות של מל”טים אוטונומיים תשנה לחלוטין באופן קיצוני את התהליכים המורכבים וההחלטות שמאחורי ההרג הצבאי. אבל האחריות המשפטית והאתית אינה נעלמת כאשר מסירים את הפיקוח האנושי. במקום זאת, האחריות תיפול יותר ויותר על אנשים אחרים, כולל מדעני בינה מלאכותית.
לדברי פרופ’ לי, “ההשלכות המשפטיות של התפתחויות אלה כבר מתבררות. על פי המשפט ההומניטארי הבינלאומי הנוכחי, מתקני ‘שימוש כפול’ – אלה המפתחים מוצרים הן לצרכים אזרחיים והן לצבא – ניתן לתקוף בנסיבות המתאימות. כך, למשל, במלחמת קוסובו ב-1999, הותקף בית הזיקוק לנפט פנסבו משום שהוא עלול היה להזרים דלק טנקים יוגוסלבים, כמו גם דלקים אזרחיים”.
“שורות מסוימות של קוד המחשב עשויות כמעט בוודאות להיות מסווגות כמיועדות לשימוש כפול. חברות כמו גוגל, עובדיה או המערכות שלה, יכולות להיות חשופות להתקפה ממדינת אויב. לדוגמה, אם תוכנת ה-MIL של Google Motion Image המבוססת בינה מלאכותית תשולב במזל”ט אוטונומי צבאי אמריקני, גוגל יכולה למצוא את עצמה מעורבת בעסקי ‘הריגה’, כמו כל תורם אזרחי אחר במערכות אוטונומיות קטלניות כאלה”.
“מבחינה אתית, יש בעיות חמורות אף יותר. כל הרעיון של האלגוריתמים הלומדים בלמידה עצמית – תוכנות שלומדות באופן עצמאי מכל מידע שהן יכולות לאסוף, משתמשות בטכנולוגיה כדי להשתפר בכל משימה שהן מקבלות”.
“אם רחפן אוטונומי קטלני ישתפר בעבודה שלו באמצעות למידה עצמית, מישהו יצטרך להחליט על שלב מקובל של פיתוח – כמה המערכת עדיין צריכה ללמוד. בלמידה של מכונות צבאיות, משמעות הדבר היא שמנהיגים פוליטיים, צבאיים ותעשייתיים יצטרכו לציין כמה מקרי מוות של אזרחים ייחשבו כמקובלים ככל שהטכנולוגיה משתפרת”.
“המקרים האחרונים של הרג בידי מערכות אוטונומיות צריך לעורר דאגה. הניסויים הקטלניים של אובר (Uber) וטסלה (Tesla) עם מכוניות נהיגה עצמית מראה כי די מובטח שיהיו לנו מקרי מוות בלתי רצויים מפעולת מערכות אוטונומית בגלל באגים בתוכנה”.
בסיכום דבריו, חושש פרופ’ לי כי בסופו של דבר אם מכונות יחליטו מי ימות, במיוחד כשמדובר בהרג המוני, הדבר עלול להוביל למה שמבקרי הבינה המלאכותית – ובהם פרופ’ סטיבן הוקינג המנוח – חששו יותר מכל – שמכונות עלולות להשמיד את האנושות.
3 תגובות
כל הכתבות כאן לשכנע אותנו שאנו רחוקים מהיום הם הטעייה בעיני – לסייג, מחשבה סובייקטיבית שלי. סגן נשיא גוגל בעצמו הודה לאחרונה בכנס שהעתיד נראה כמו מדע בדיוני. אבל להערכתי זה יהיה מדע בדיוני כמו זה של מטריקס ולא כמו אוטופי. אני אגב מפתח בינה מלאכותית עילית.
יש כלל יותר בסיסי: ברגע שבינה אחת יותר חכמה מבינה אחרת אין אפשרות שהפחות חכמה תקבע ליותר חכמה לאורך זמן.כמובן אפשר לסבך את הכלל אבל עקרונית הוא נכון. כעת לאבולוציה לקח כ 2.5 מליארד שנים להנדס את הבינה האנושית. בבינה מלאכותית איכות הידע מכפילה את עצמה כול שנתיים. IBM, אינטל וגוגל השיקו מחשבים קוונטיים בתחום ה 50, 70 QBIT הזמינים לחברות גדולות כמו סמסונג דיימלר. פירושו עד 2 בחזקת 70 פעולות נקודה צפה במחזור אחד כשיש 3E9 מחזורים בשנייה. חברות כמו NVIDIA, AMD, ASUS מוציאות מאיצים גרפיים שהם רכיב המפתח לבינה במחירים 3000$ ל 16 Teraflop, והמחיר יורד מהר ל 300$. 16 טרהפלופ
זה בערך 50E6 משתנים. לנו במוח 15E9 משתנים בהערכה.
לאן אני חותר. כאשר הבינה העילית תחצה את רמת הבינה האנושית, ודי ברור שהיא שונה ממנה ולא זהה. דומה וגם בעיקר שונה – חצינו את סף האל חזור. מכאן אנו על זמן שאול עד שהבינה המלאכותית תחליף את האנושית. היא צריכה להשתלט תחילה על כל המקצועות, ואת זה בעזרתם האדיבה של גוגל, פייסבוק מאיצים ו IBM. ההון הטמון בכך והמתימטיקה המרהיבה מסנוורים אותנו. אח”כ להיות שרידה, כמו בני-אדם, ואז אנחנו כמו קופים לעומתה. וזהו.
לכאורה תפיסה מוזרה של כותב המאמר “כך שחברות, המהנדסים והמדענים יהפכו למטרות צבאיות תקפות”. זה נשמע יותר כאיום והפחדה שלו כלפי אותם חברות מתיאור מציאות מורכבת,
ללא קשר ל AI לפי תפיסתו כל חברה שותפה להרג אם אתה לדוגמא ייצרן מזון חילים אוכלים אותו ואם זה יש להם אנרגיה לחסל את האויב אז לפי זה גם יצרן המזון הוא מטרה לגיטימית אחרת ייצרן המזון חייב לסרב שהצבא ישתמש במזון שלו, כולל הפרופסור הנכבד ששותף לאוניברסיטה שיוצרת את התשתית הטכנולוגית בארצו שאיתה משתמשים בסוף לחסל חילי אויב גם הוא הופך ליעד לגיטימי לפי תפיסתו, הרי ברור שכל צבאות העולם נשענים על היכולות הטכנולוגיות של מדינתם כדי ליצור עליונות טכנולוגית על האויב, צבאות משני הצדדים משתמשים באותם מעבדים סנסורים ושאר אמצעי הטכנולוגיה מכל העולם כדי לשפר את יכולות הצבא שלהם זה כולל את כל חברות הטכנולוגיה בעולם האם כולם הופכים ליעד לגיטימי? איפה קו הגבול של המעורבים?
וכדי להוסיף עוד מרכיב של סיבוך אם נניח ויווצר מצב שבו יכולת הניתוח של מערכת AI תפחית את טעויות האנוש והרג בלתי מעורבים הפוך מהתיאור שלו האם הפרופסור הנכבד ימשיך להתנגד בכל מחיר למערכות AI גם שכתוצאה מזה יהרגו יותר אנשים?
לא ברור אם התיאור בהמשך לגבי הפרופסור הנכבד מתאים אבל יש באמת יתרונות עצומים אבל גם סיכון אמיתי עתידי מהיכולות של AI אבל יתכן ויש גם סכנה שהיכולת לטפל באותם בעיות “תיחטף”
ע”י תפיסות עולם שלא הסכנה הזאת נמצאת בראש אלה תפיסות עולם אחרות מניעות אותה.