# האם הבינה המלאכותית מסכנת את האנושות?

> על הכותבים

- Canonical: https://www.hayadan.org.il/2110171is-artificial-intelligence-endangering-humani-ty
- Author: סיינטיפיק אמריקן ישראל
- Published: 2017-10-21T00:10:33+03:00
- Modified: 2017-10-21T17:35:18+03:00
- Sections: בינה מלאכותית, הספקן, מייקל שרמר - קולו של הספקן
- Topics: אילון מאסק, בינה מלאכותית, מייקל שרמר, עתידנות, תבונה מלאכותית

## Article

רבים מזהירים מפני עלייתן של המכונות החושבות. מייקל שרמר, הספקן, סבור שהדאגה מוגזמת – עדיין [מאת מייקל שרמר, הכתבה מתפרסמת באישור סיינטיפיק אמריקן ישראל ורשת אורט ישראל](http://www.sciam.co.il/%D7%94%D7%90%D7%9D-%D7%94%D7%91%D7%99%D7%A0%D7%94-%D7%94%D7%9E%D7%9C%D7%90%D7%9B%D7%95%D7%AA%D7%99%D7%AA-%D7%9E%D7%A1%D7%9B%D7%A0%D7%AA-%D7%90%D7%AA-%D7%94%D7%90%D7%A0%D7%95%D7%A9%D7%95%D7%AA/) 09.05.2017 מנכ"ל חברת SpaceX אלון מאסק [צייץ](https://twitter.com/elonmusk/status/495759307346952192?lang=en) ב-2014: "שווה לקרוא את הספר [בינת־על](https://en.wikipedia.org/wiki/Superintelligence:_Paths,_Dangers,_Strategies) של [בוסטרום](https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are?language=he). אנחנו חייבים להיות זהירים מאוד לגבי בינה מלאכותית. היא עלולה להיות מסוכנת יותר מנשק גרעיני." ובאותה שנה אמר הקוסמולוג סטיבן הוקינג מאוניברסיטת קיימברידג' [בריאיון](http://www.bbc.com/news/technology-30290540) לבי בי סי: "פיתוח בינה מלאכותי מלאה עלול להמיט על המין האנושי את סופו." ביל גייטס, ממייסדי מיקרוסופט, [הזהיר](https://www.reddit.com/r/IAmA/comments/2tzjp7/hi_reddit_im_bill_gates_and_im_back_for_my_third/) אף הוא: "אני נמנה עם המחנה המודאג מבינת־על." מדען המחשבים [אליעזר יודקובסקי](http://yudkowsky.net/) תיאר כיצד אפוקליפסה של בינה מלאכותית עלולה להתרחש. במאמר מ-2008, שהתפרסם בספר [סיכונים קטסטרופליים עולמיים](https://www.amazon.com/Global-Catastrophic-Risks-Nick-Bostrom/dp/0199606501), הוא כתב: "עד כמה סביר הדבר שהבינה המלאכותית תחצה את כל הפער הרחב המשתרע מאמבה ועד לשוטה הכפר, ואז תעצור ברמה של גאון אנושי?" ותשובתו: "מבחינה פיזית יהיה אפשר לבנות מוח שיוכל לחשב פי מיליון מהר יותר ממוח אנושי… אם נאיץ כך מוח אנושי, שנה סובייקטיבית של מחשבה תתכווץ ל-31 שניות פיזיקליות בעולם החיצוני, ואלף שנה יחלפו בתוך שמונה שעות וחצי." יודקובסקי סבור שאם לא נרד לעומקם של הדברים האלה עכשיו, זה יהיה מאוחר מדי: "הבינה המלאכותית נעה בציר־זמן שונה משלנו; בזמן שתאי העצב שלנו משלימים לחשוב את המילים 'עלי לעשות משהו', כבר הפסדנו במערכה." דוגמה לפרדיגמה הזאת הציע הפילוסוף ניק בוסטרום מאוניברסיטת אוקספורד בספרו בינת־על (עליו המליץ אלון מאסק). הוא ערך ניסוי מחשבתי שאפשר לכנותו "[גולם המהדקים המשרדיים](https://en.wikipedia.org/wiki/Instrumental_convergence#Paperclip_maximizer)": בינה מלאכותית מתוכננת ליצור מהדקים משרדיים. לאחר שהיא מנצלת את כל חומרי הגלם הזמינים, היא משתמשת בכל האטומים הנקרים בדרכה, ובהם אלה המרכיבים בני אדם. וכפי שהוא מתאר במאמרו מ-2003, מרגע זה היא "מתחילה לעבד את כל כדור הארץ, ואחר כך נתחים הולכים וגדלים של החלל ולעצב מהם מתקנים לייצור מהדקים משרדיים." לא יחלוף זמן רב עד שהיקום כולו יהיה עשוי ממהדקים או ממכונות לייצור מהדקים. אני ספקן. ראשית, כל תרחישי יום הדין האלה כרוכים ברצף ארוך של תנאי אם-אז, כשל שיכול למנוע את האפוקליפסה בכל שלב. פרופסור [אלן וינפילד](http://people.uwe.ac.uk/Pages/person.aspx?accountname=campus%5Ca-winfield), מומחה להנדסת חשמל באוניברסיטת מערב אנגליה בבריסטול, תיאר זאת כך במאמר ב-2014: "אם נצליח לבנות בינה מלאכותית שתהיה שקולה לאדם, ואםהבינה המלאכותית הזאת תצליח להגיע להבנה מלאה של אופן פעולתה היא, ואם היא תצליח לאחר מכן לשפר את עצמה וליצור בינת־על מלאכותית, ואם בינת העל המלאכותית הזאת תתחיל לצרוך משאבים, בין אם בטעות ובין אם בכוונה זדונית, ואם ניכשל ולא נצליח לשלוף את התקע מן החשמל, אז כן, סביר להניח שיש לנו בעיה. הסיכון שכך אכן יקרה, גם אם הוא לא בלתי אפשרי, הוא בלתי סביר. שנית, פיתוח הבינה המלאכותית עד עתה היה הרבה יותר אִטי מן הצפוי, והדבר מעניק די זמן לבנות בלמים לכל אחד מן השלבים. וכפי שיו"ר גוגל, [אריק שמידט](https://he.wikipedia.org/wiki/%D7%90%D7%A8%D7%99%D7%A7_%D7%A9%D7%9E%D7%99%D7%93%D7%98), השיב למאסק ולהוקינג: "אינכם סבורים שבני האדם יבחינו שהדבר מתרחש? ואינכם סבורים שכשבני האדם יבחינו בכך הם פשוט יכבו את המחשבים האלה?" ואכן, חברת [DeepMind](https://deepmind.com/), שבבעלות גוגל, פיתחה את רעיון מתג הכיבוי של הבינה המלאכותית וכינתה אותו בהומור "הכפתור האדום הגדול", שעליו נצטרך ללחוץ במקרה שבינה מלאכותית תנסה להשתלט. וכפי שסגן הנשיא של חברת [באידו](https://en.wikipedia.org/wiki/Baidu), [אנדרו נג](http://www.andrewng.org/) ניסח (בעקיצה לדברי אלון מאסק), "זה כמו לדאוג מפני אכלוס־יתר של מאדים, כשעדיין לא הצבנו כף רגל על פני כוכב הלכת." שלישית, תרחישי יום הדין הקשורים לבינה מלאכותית מבוססים לעתים קרובות על סמך ההשוואה השגויה בין בינה טבעית ובין בינה מלאכותית. ב-2015 הציג האתר [Edge.org](https://www.edge.org/) את [השאלה השנתית](https://www.edge.org/annual-questions) המסורתית שלו (לאנשי רוח ולמדענים): "[מה אתם חושבים על מכונות חושבות?](https://www.edge.org/annual-question/what-do-you-think-about-machines-that-think)" וכך ענה הפסיכולוג הניסויי [סטיבן פינקר](https://en.wikipedia.org/wiki/Steven_Pinker) מאוניברסיטת הרווארד: "תרחישי הדיסטופיה של בינה מלאכותית מבוססים על תפיסות קרתניות המאפיינות את הפסיכולוגיה של זכרי אלפא ומשליכים אותן על מושג התבונה. התרחישים האלה מניחים שרובוטים בעלי תבונה על־אנושית יפתחו מטרות כגון הדחת האדונים שלהם או השתלטות על העולם." באותה מידה של סבירות, מציע פינקר, "התבונה המלאכותית עשויה להתפתח באופן טבעי על פי מתווה נשי: יכולת מלאה בפתרון בעיות, אבל בלי תשוקה לחסל חפים מפשע או לשלוט בציביליזציה." רביעית, אם טוענים שמחשבים "ירצו" לעשות דבר כלשהו (כמו להמיר את העולם למהדקי משרד), משתמע מכך שלבינה המלאכותית יש רגשות. וכפי שכתב סופר המדע [מייקל קורוסט](https://en.wikipedia.org/wiki/Michael_Chorost): "ברגע שבינה מלאכותית תרצה משהו, היא תחיה ביקום שיש בו גמול ועונש, ובכלל זה עונשים שאנו נטיל עליה על התנהגות רעה." בהתחשב באפס אחוזי ההצלחה של תחזיות אפוקליפטיות לאורך ההיסטוריה, בשילוב עם ההתפתחות ההדרגתית והמדודה של הבינה המלאכותית לאורך עשרות השנים האחרונות, יש לנו שפע של זמן לבנות מערכות אל־כשל שימנעו אפוקליפסת בינה מלאכותית כעין זו. על הכותבים [מייקל שרמר](http://www.sciam.co.il/%d7%a2%d7%9e%d7%95%d7%93-%d7%9e%d7%97%d7%91%d7%a8/?author=%D7%9E%D7%99%D7%99%D7%A7%D7%9C+%D7%A9%D7%A8%D7%9E%D7%A8&group_id=1&post_id=16607) - המו"ל של כתב העת (Skeptic ( www.skeptic.co. ספרו החדש: "תיבת נח המוסרית" ראה אור לאחרונה. עקבו אחריו בטוויטר: @michaelshermer