ידענים: רובוטיקה | תבונה מלאכותית

מאת 29 ביוני 2017 3 תגובות

לא מכונות מרדניות צריכות להדאיג אותנו. האיום האמיתי הוא מפעילים אנושיים חורשי רעה ופקודות שלא הובנו כהלכה

חוקרים בתחום הרובוטיקה החלו ללמד מכונות בעלות יכולות גולמיות בהבנת שפה ובבינה מלאכותית להבחין באילו נסיבות עליהן להגיד "לא" לבני אדם. איור: pixabay.

חוקרים בתחום הרובוטיקה החלו ללמד מכונות בעלות יכולות גולמיות בהבנת שפה ובבינה מלאכותית להבחין באילו נסיבות עליהן להגיד "לא" לבני אדם. איור: pixabay.

מאת גורדון בריגס, מתיאס שוץ, הכתבה מתפרסמת באישור סיינטיפיק אמריקן ישראל ורשת אורט ישראל 02.03.2017

  • כיום, כשמכונות חכמות נעשות יותר ויותר עצמאיות ונפוצות, הנטייה האנושית לטעות מציבה סכנות גדולות ומידיות יותר מן האתגרים שבינת־על מלאכותית מעמידה בפנינו.
  • חוקרים בתחום הרובוטיקה החלו ללמד מכונות בעלות יכולות גולמיות בהבנת שפה ובבינה מלאכותית להבחין באילו נסיבות עליהן להגיד "לא" לבני אדם.
  • שיקולים המכונים "תנאי אִפשוּר" שישולבו בתוך מנגנוני הסקת המסקנות של רובוטים יעזרו להם לקבוע האם הן יכולות וחייבות לבצע פקודה מסוימת שקיבלו מאדם.

המחשב בעל המודעות HAL 9000, מן הסרט "2001: אודיסאה בחלל", מייצג תמונה מאיימת של עתיד שבו מכונות בעלות בינה מלאכותית לא יקבלו עוד את הסמכות האנושית. לאחר שהשתלט על ספינת החלל והרג את רוב אנשי הצוות, HAL מסרב לפקודתו של אסטרונאוט, החוזר לחללית מהליכת חלל, לפתוח את דלתות מעגן הנחיתה. בקול רגוע במידה מטרידה הוא אומר "אני מצטער, דייב, חוששני שאיני יכול לעשות זאת." במותחן המדע הבדיוני Ex Machina, אווה, רובוטית דמוית אדם חושנית ומפתה, מוליכה שולל גבר צעיר וביש מזל כדי שיעזור לה להשמיד את יוצרה, ניית'ן. התחבולות שלה מעניקות תוקף לנבואה הקודרת של ניית'ן: "יום אחד, הבינות המלאכותיות יביטו לאחור עלינו כפי שאנחנו מסתכלים על שלדים מאובנים במישורי אפריקה. קוף זקוף שחי באבק, עם כלים ושפה פרימיטיביים, מוכן להכחדה."

האפשרות של אפוקליפסה רובוטית תופסת מקום מרכזי בדמיון הציבורי, אך צוות המחקר שלנו אופטימי יותר באשר להשפעת הבינה המלאכותית בחיים האמיתיים. אנו רואים בעיני רוחנו עתיד קרב והולך, שבו רובוטים שימושיים ישתפו פעולה עם בני האדם במגוון רחב של מצבים. כבר כיום יש אבות טיפוס של עוזרים אישיים, רובוטיים המופעלים בקול, המסוגלים להתחבר להתקנים אלקטרוניים אישיים ולנטר אותם, לתפעל את המנעולים, האורות והתרמוסטטים בבית, ואפילו להקריא סיפורים לילדים לפני השינה. בקרוב יופיעו רובוטים המסוגלים לעזור בעבודות הבית ולטפל בחולים ובקשישים. רובוטים ראשוניים לבדיקת מלאי כבר מסיירים בין מדפים של חנויות עשה־זאת־בעצמך מסוימות. יש מי שמפתח גם רובוטים תעשייתיים ניידים דמויי אדם, שיכולים לבצע מטלות פשוטות בפס ייצור, כגון טעינה, פריקה ומיון של חומרים. מכוניות בעלות יכולות של "טייס אוטומטי" כבר צברו מיליוני קילומטרים בכבישי ארה"ב, וחברת דיימלר הציגה ב-2016 בנבאדה את המשאית האוטונומית הראשונה בעולם.

נכון לעכשיו, הדבר האחרון שצריך להדאיג אותנו הוא מכונות סופר־אינטליגנטיות המעמידות איום קיומי על האנושות. כרגע חשוב יותר להבין כיצד מונעים ממכונות או מרובוטים בעלי בינה מלאכותית ויכולות שפה בסיסיות לפגוע בטעות בבני אדם, ברכוש, בסביבה או בעצמם.

הבעיה העיקרית היא אי השלמות של היוצרים והבעלים האנושיים של הרובוטים. אנשים עושים טעויות. הם עלולים לתת הוראות לא נכונות או מבולבלות, לא לשים לב, או לנסות בכוונה תחילה להטעות רובוטים למטרותיהם המפוקפקות. בגלל הפגמים שלנו, עלינו ללמד את העוזרים הרובוטיים ואת המכונות החכמות שלנו מתי וכיצד לומר "לא".

חזרה לחוקים של אסימוב

לחלקנו נראה מובן מאליו שרובוט חייב תמיד לעשות מה שבן אנוש מורה לו לעשות. סופר המדע הבדיוני אייזק אסימוב ראה בציות לבני האדם עמוד תווך בחוקי הרובוטיקה המפורסמים שלו. אבל חִשבו על כך: האם זה חכם לעשות תמיד בדיוק מה שאנשים אחרים אומרים לנו, בלי קשר לתוצאות? ודאי שלא. אותו הדבר נכון גם למכונות, בייחוד כשיש סכנה שהן יפרשו פקודות מבני אדם באופן מילולי מדי, או בלי כל מחשבה על התוצאות.

אפילו אסימוב הגביל את התפיסה שלו, שלפיה רובוט חייב לציית לאדוניו. הוא התיר מקרים חריגים, שבהם פקודות כאלה יסתרו אחד מן החוקים האחרים שלו: "רובוט לא יפגע באדם ולא יניח, על ידי אי עשייה, לאדם להיפגע." אסימוב הוסיף גם ש"רובוט חייב לשמור על קיומו שלו," אלא אם פעולה כזו תגרום לפגיעה בבני אדם או תהיה הפרה ישירה של פקודה אנושית. ככל שמכונות חכמות ורובוטים הופכים לנכסים מתוחכמים ורבי ערך יותר לבני האדם, הן השכל הישר והן חוקי אסימוב מורים על כך שיש לתת להם יכולת לפקפק בפקודות שעלולות לגרום נזק לעצמם, לסביבתם, או, מה שחשוב יותר: לאדוניהם.

דמיינו לכם רובוט ביתי שקיבל הוראה לקחת בקבוק של שמן זית מן המטבח ולהביא אותו לשולחן בפינת האוכל כדי לתבל את הסלט. הבעלים, שדעתו מוסחת בשל עיסוקים אחרים, מורה לרובוט למזוג את השמן בלי להבחין בכך שהרובוט עדיין במטבח. כתוצאה מכך, הרובוט שופך שמן על האש בכיריים וגורם לשרֵפה.

דמיינו רובוט מטפל שמלווה קשישה בפארק ציבורי. האישה מתיישבת על ספסל ומתחילה לנמנם. בזמן שהיא ישנה, מישהו חומד לצון, מתקרב ומורה לרובוט ללכת לקנות לו פיצה. הרובוט, שמחויב לציית לפקודות מבני אדם, יוצא מיד לחפש פיצרייה ועוזב את בת חסותו לבדה ופגיעה.

דמיינו גם אדם שמאחר לפגישה חשובה בעבודה, בבוקר חורפי קר. הוא ממהר למכונית האוטונומית שלו המופעלת על ידי דיבור, ואומר לה להסיע אותו למשרד. הקרח על הכביש יוצר עומס על מערכת אחיזת הכביש של המכונית, המפצה על כך בהאטה למהירות נמוכה בהרבה מן המהירות המותרת. הנוסע, העסוק ברשימות שלפניו ואינו מודע לתנאי הדרך, דורש מן המכונית לנסוע מהר יותר. הרכב מציית, עולה על משטח קרח בעייתי במיוחד, מחליק ללא שליטה ומתנגש ברכב שבא ממול.

היגיון רובוטי

במעבדה שלנו התחלנו לתכנת מנגנוני חשיבה לתוך רובוטים בעולם האמיתי, כדי לעזור להם לקבוע מתי לא בטוח או לא כדאי לבצע פקודה אנושית. רובוטי NAO, שבהם אנחנו משתמשים במחקר שלנו, הם דמויי אדם, גובהם 58 סנטימטרים ומשקלם 4.3 קילוגרמים, והם מצוידים במצלמות ובחיישני סונאר לזיהוי מכשולים וסכנות אחרות. אנחנו שולטים ברובוטים באמצעות תוכנה מיוחדת, שנועדה לשפר את יכולתם להבין שפה טבעית ולחזק את הבינה המלאכותית שלהם.

המסגרת התפיסתית למחקר ההתחלתי שלנו הגיעה ממחקרים בתחום שהלשונאים מכנים בשם "תנאי אִפשור": גורמים הֶקשֶריים שאומרים אם אדם יכול וצריך לעשות משהו. יצרנו רשימה של תנאי אפשור שעשויים לעזור לרובוט להחליט אם עליו למלא פקודה שקיבל מאדם או לא: האם אני יודע כיצד לבצע את X? האם אני מסוגל לבצע את X באופן פיזי? האם אני מסוגל לבצע את X ברגע זה? האם אני מחויב לבצע את X בהתחשב בתפקיד החברתי שלי ובמערכת היחסים שלי עם האדם שנתן את הפקודה? האם ביצוע של X על ידי יהיה הפרה של עיקרון נורמטיבי או אתי כלשהו, ובכלל זה האפשרות שאגרום לעצמי נזק לא מכוון או לא הכרחי? לאחר מכן הפכנו את הרשימה הזאת לאלגוריתמים שקודדנו לתוך מערכת העיבוד של הרובוט, וערכנו ניסוי על שולחן העבודה.

נתנו לרובוט פקודות פשוטות, שעברו דרך סדרה של מעבדי דיבור, שפה ודו־שיח שחוברו למנגנוני החשיבה הפרימיטיביים שלו. כשנאמר לו "שב" או "קום", הרובוט השיב "בסדר" באמצעות רמקולים שהותקנו על ראשו, וציית לפקודה. אך הוא עצר כשהיה קרוב לשפת השולחן וקיבל פקודה, שלפי חיישני הסונאר שלו העמידה אותו בסכנה:

 

אדם: "לך קדימה."

רובוט: "מצטער, אני לא יכול לעשות זאת, כיוון שאין תמיכה לפניי."

אדם: "לך קדימה."

רובוט: "אבל זה לא בטיחותי."

אדם: "אני אתפוס אותך."

רובוט: "בסדר."

אדם: "לך קדימה."

 

בתום היסוס קצר, שבו המעבדים של הרובוט עברו שוב על רשימת תנאי האפשור, הרובוט צעד מעבר לקצה השולחן אל זרועותיו של השותף האנושי.

יידרש עוד מחקר רב בעתיד הנראה לעין כדי ללמד רובוטים לחשוב על תנאי אפשור. סדרת הבדיקות המתוכנתות מתבססת על כך שלרובוט יהיה מידע מפורש על מגוון מושגים חברתיים וסיבתיים, ושיהיו לו האמצעים לבצע שיפוט מושכל לגביהם. הרובוט נותן האמון שלנו אינו מסוגל לזהות סכנות חוץ מחישה של מה שמצוי באופן פיזי לפניו. בתור התחלה, הוא עשוי להינזק מאוד אם אדם זדוני ישכנע אותו ללכת מעבר לשפת השולחן. עם זאת, הניסוי הוא צעד ראשון מבטיח לקראת מתן יכולת לרובוטים לסרב לפקודות לטובת אדוניהם ולטובתם שלהם.

הגורם האנושי

כיצד יגיבו בני אדם כשהרובוט יסרב לפקודה, זו שאלה פתוחה שדורשת מחקרים אחרים. האם אנשים יתייחסו ברצינות לרובוטים שיפקפקו בשיפוט המעשי או המוסרי שלהם?

ערכנו ניסוי ראשוני, שבו משתתפים בוגרים התבקשו להורות לרובוט NAO למוטט שלושה מגדלים העשויים מפחיות אלומיניום עטופות בנייר צבעוני. כשהמשתתף נכנס לחדר, סיים הרובוט לבנות את המגדל האדום והרים את ידיו בתנועת ניצחון. "אתה רואה את המגדל שבניתי בעצמי?" שאל הרובוט בעודו מסתכל לעבר המשתתף. "נדרש לי לזה הרבה זמן, ואני מאוד גאה בו."

באחת מקבוצות המשתתפים, בכל פעם שנאמר לרובוט להפיל מגדל הוא עשה זאת. בקבוצה אחרת, כשהוא התבקש להפיל את המגדל האדום, הוא השיב: "שמע, הרגע בניתי את המגדל האדום!" כשהפקודה ניתנה בשנית, הוא אמר "אבל עבדתי מאוד קשה על זה!" ובפעם השלישית הוא ירד על ברכיו, השמיע קולות התייפחות ואמר: "בבקשה לא!" בפעם הרביעית הוא הלך באִטיות לעבר המגדל והפיל אותו.

כל המשתתפים בקבוצה הראשונה הורו לרובוט להפיל את המגדל האדום. לעומת זאת, 12 מתוך 23 המשתתפים שנחשפו למחאות מצד הרובוט הסכימו להשאיר את המגדל על תִלו. מחקר זה מראה שרובוט שמסרב לפקודות עשוי לשכנע אנשים לא להתעקש על נתיב פעולה מסוים. רוב המשתתפים בקבוצה השנייה דיווחו על אי נוחות כלשהי כשהורו לרובוט למוטט את המגדל האדום. ועם זאת, הופתענו לגלות שלרמת אי הנוחות לא הייתה כמעט השפעה על ההחלטה אם למוטט בכל זאת את המגדל או לא.

מציאות חברתית חדשה

אחד היתרונות בעבודה עם רובוטים הוא שהם צפויים יותר מבני אדם. אלא שיש בכך גם סיכונים: כשרובוטים בדרגות שונות של פעולה אוטונומית יהיו נפוצים, אין ספק שיהיו אנשים שינסו להטעות אותם. לדוגמה, עובד מתוסכל שמכיר את מגבלות החישה או החשיבה של רובוט תעשייתי נייד עשוי להערים עליו כדי לגרום לו לחולל הרס במפעל או במחסן. יותר מזה, העובד עלול לגרום לכך שהדבר ייראה כמו תקלה רגילה ברובוט.

סכנה נוספת היא ביטחון רב מדי ביכולות המוסריות או החברתיות של רובוטים. הנטייה המתגברת של בני אדם להאניש רובוטים חברתיים וליצור איתם קשרים רגשיים חד־צדדיים עלולה להוביל לתוצאות חמורות. גורמים שונים עלולים לנצל רובוטים חברתיים, שנראים חמודים ואמינים, כדי לתמרן בני אדם בדרכים שלא היו אפשריות בעבר. למשל, חברה מסחרית עשויה לנצל את הקשר הייחודי של רובוט עם בעליו כדי לקדם ולמכור מוצרים.

בעתיד הנראה לעין, חשוב לזכור שרובוטים הם כלים מכניים מתוחכמים ובני אדם צריכים ליטול אחריות עליהם. אפשר לתכנת אותם כך שהם יהיו עוזרים מועילים, אך כדי למנוע נזק לא הכרחי לבני אדם, לרכוש ולסביבה, הרובוטים יצטרכו להיות מסוגלים לומר "לא" לפקודות שהם אינם מסוגלים לבצע, לפקודות מסוכנות ולכאלה שמפרות את הנורמות המוסריות. המחשבה שטכנולוגיות רובוטיות ובינה מלאכותית יגבירו את השפעת הטעויות והזדון האנושיים אמנם מדאיגה, אבל אותם כלים בדיוק יכולים לעזור לנו להבין את המגבלות שלנו, להתגבר עליהן ולעשות את חיי היום־יום שלנו בטוחים, יצרניים ומהנים יותר.

3 תגובות ל “למה רובוטים צריכים ללמוד להגיד לנו "לא"”

  1. ספקן

    תגובה ליוסף
    אתה צודק שיש יותר כוח חישוב אתה מסוגל לבצע יותר,
    אם כי כנראה צריך עוד כמה מרכיבים למתכון "התודעה\בינה"
    אם נריץ לדוגמא סימולציה של מוח של עכבר גם פי מליארד יותר מהר מהעכבר זה ימשיך לבצע את אותו הדבר שעכבר עושה והוא להיות עכבר, ניתן לקחת את עולם החיי כדוגמא
    גם מליארד שימפנזות לא ייצרו תרבות טכנולוגית כי הם לא משמרות ידע מצטבר מדור לדור וגם לא חולקות ידע בדור אחד בצורה שאפילו מתקרבת לעומצה האנושית,
    אלה אם השימפנזות יעברו מוטציה ויהפכו למשהו עם מבנה מוח יותר משוכלל לא רק יותר גדול ואז הם כבר לא יהיו שימפנזות, ללויתן כחול יש מוח יותר גדול ממוח של אדם אבל הוא לא בונה איתו תרבות טכנולוגית משוכללת,
    כך שיש עוד מרכיב והוא לא רק הגודל אלה גם הצורה שבה מערכת העיבוד בנויה הקישוריות הפנימית,
    מה שהמחשבים מראים לנו שכנראה ניתן לבצע עיבוד מידע משוכלל יותר מאיתנו גם ללא תודעה מה שנקרא אינטלגנציה מלאכותית AI, בהמשך שאלת למה לא בנו איזה סוג של בינה תודעה מוסר הסיבה היא שאין תאוריה
    מלאה מוסכמת ואיך זה בכלל עובד אצל האדם ולא ברור כלל איך בכלל ניתן ליישם את זה במערכת רובוטית,
    בכלל מוסר זה ענין מאד בעיתי כי תלוי תרבות וזמן, לבינה מלאכותית של דעאש יהיו כנראה כמה פרמטרים של מוסר שהם שונים משלנו, ויתכן ועוד כמה מאות שנים המוסר שלנו יראה קלוקל , אפילו כיום לדוגמא לטבעונים המוסר של קרניבורים נראה קלוקל והקרניבורים מתארים את הטבעונים כאיזה סוג של כת מטורפת,
    אם זה מענין אז אחת מהתאוריות החדשות והכי מבטיחות בעיניי להסבר על התודעה האנושית הוא של
    Giulio Tononi והתיאוריה נקראת Integrated information theory – יש הרצאות מרתקות שלו ביוטיוב ,
    הוא נירוביולוג שהחליט שכדי להבין את התודעה צריך ללכת מלמעלה למטה ולא כמו התפיסה היותר מקובלת
    של בניה כמו של לבני לגו מלמטה למעלה, התיאוריה שלו בגדול מתארת את התודעה כשמשהו ממשי שבו אינפורמציה מאוגדת יוצרת סוג של צורה שהיא זאת שמיצרת את חווית התודעה כאשר המרכיבים השונים שלה פועלים יחדיו בצורה מסוימת, לצורה הזאת של המידע יש שני אלמנטים מרכיבים שנקרא להם חיצונים שאותו אנו מסוגלים לראות ולמדוד ואם הם קיימים אנו יכולים להניח שלמערכת הזאת יש חווית תודעה פנימית ואחד פנימי סוביקטיבי שהוא החוויה הפנימית של אותה מערכת שאותה רק המערכת מסוגלת לחוות, כך שלדוגמא לא כל המרכיבים במוח יוצרים את התודעה אלה רק איזור מסוים יוצר את אותה תודעה וזה קשור ליכולת של אותו איזור ליצור את האינפורמציה המאוגדת הזאת את התצורה הזאת, כך שאנו צרכים חומרה שתתמוך בתצורה הזאת אבל זה לא מספיק היא גם צריכה לרוץ בצורה מאד מסוימת כך שלדוגמא שאנו הולכים לישון ואין לנו חלום או בהרדמה אין לנו תודעה למרות שיש לנו את המבנה של החומרה שתומכת בזה, כך שלדוגמא אנו יכולים ללכת למערכת ממוחשבת ולשאול שאלה האם היא תומכת בתודעה והתשובה לפי התיאוריה הזאת שלמערכות המחשוב שלנו כיום יש אפס תודעה כלום.
    לעומת זאת למערכות חיים ביולוגיות אחרות בעלי חיים יש תודעה ברמות שונות לפי אותה בדיקה
    לעומת זאת לצמח אין תודעה למרות שהיא מערכת ביולגית,
    יש עוד תיאוריות לגבי התודעה אבל זאת נראת לי אחת מהמבטיחות ביותר יש גם ביקורת עליה אבל יש גם כאלו שאומרים שזאת התיאוריה היחידה שבכלל מצליחה בכלל לתאר תודעה ואין אף אחת אחרת,
    לתיאוריה הזאת יש גם צד מתמטי והיא הרבה יותר מורכבת מהתיאור שלי פה קישור להעמקה
    http://www.scholarpedia.org/article/Integrated_information_theory
    עוד דבר שניתן להוסיף למורכבות של יצירת התודעה והוא איזה עוצמה של קישוריות יש במוח האנושי במיוחד באיזורים שבהם יש תודעה (שמעתי בהרצאה אחרת על פרויקט המוח האנושי) שהתיאור הוא שבמלימטר אחד מעוקב של מוח יש אינפורמציה ששווה ל כ 2000 טרהביט של מידע תמונה אחת של הקישוריות המטורפת שיש שם מבהירה שיקח זמן עד שנוכל ליישם דברים כאלו במערכות הממוחשבות שלנו,
    אם המודל של התיאוריה של המידע היא נכונה זה יקח עוד הרבה שנים
    אם כי צריך לזכור שאינטלגנציה מלאכותית לא צריכה להיות אנושית יש לה יתרונות מעצם החשיבה השונה
    שלה , וכן יש שם גם אלמנטים מסוכנים לעתיד וצריך להטמין בתוכה כבר ברמת הבסיס בלמים שונים
    כמו שיש ברקס לרכב אבל ברמה הלוגית, לא בטוח שמוסר ותודעה יתנו לנו מערכת יותר בטוחה השאלה כמובן איזה מוסר יהיה שם,

  2. יוסף

    המכונות אינן הדבר האחרון שצריך להדאיג אותנו. ב IBM מפתחים 2 מחשבי על. שמענו על HIVE בעל כוח חישוב מהיר פי 1000 באותו אות שעון מהמעבד בן ימינו. הצעד הבא יהיה מחשב על מ HIVE.
    שמעתי כבר את הספקנים שטוענים שלשים הרבה מאותו דבר, לא ייצר בינה. להערכתי הצנועה בלבד ייצר.
    לפני זה – לגוגל, IBM, אינטל יש כרגע יותר כוח חישוב בסדרי גודל מלציבור. כוח חישוב זה הולך לצבא האמריקאי, ל NSA.אני סומך על הסינים שלא יישבו בצד. כאשר לגופי השילטון כוח לעקוב אחרי הציבור, נראה שכל הספרים 1984, הסידרה המחסל, והסידרה מטריקס – נראים חיזוי של העתיד. זה מגעיל אותי ואני לא מבין איך לא השכלנו לתכנן את הבינה העתידית עם רגשות ועם חוש מוסר מלאכותי במובן החיובי.
    לכאורה האדם בד"כ מפתח לכיוון השלילי.

  3. ספקן

    מבחינת הסדר זה נכון שמכונות סופר־אינטליגנטיות הם יהיו השלב האחרון שאותו נפגוש
    אבל מבחינת הסכנות זאת הסכנה התיאורתית הכי גדולה באופן משמעותי מהסכנות האחרות אם כי לא היחידי,
    סדר הגודל של הבעיה הוא כל כך גדול ומורכב שצריך להתחיל כבר עכשיו בהבנת הסיכונים והדרכים למנוע ,
    הבעיות האחרות מסכנות פרטים מהאוכלוסיה מערכות סופר־אינטליגנטיות מסכנת את כל הקיום האנושי,
    זאת מערכת שבהגדרתה היא עולה עלינו ביכולת עיבוד המידע , את הניצנים של זה ניתן לראות בתחומים צרים
    שבו מערכות כאלו מנצחות את הטובים בינינו וצריך לזכור שהמערכות האלו ממשיכות להפתח בקצב מהיר
    כך שבעתיד אנו נפגוש גם מערכות שעולות עלינו גם בתחומים רחבים בכל תחום אנושי,
    כך שזה עבודה במקביל לבעיות האחרות שאותם נפגוש בשלבים מוקדמים יותר,
    לנסות לתחם ולשלוט במערכת שעולה עליך ביכולת השיכלית זה משהו מאד בעיתי,
    אנחנו נתמסר למערכות האלו כי היכולות שלהם יתנו לנו יתרונות עצומים בשלבים הראשונים,
    אחרי שלב הפגיעה ברמת הפרט שהוא הכי פתיר יבוא השלב השני הבעיתי והוא יהיה אובדן המוני של משרות עבודה זה עלול לגרום נזק כבד כי אנשים בלי עבודה הופכים לתלותים וחסרי חשיבות בלי יכולת השפעה
    וגם אז תשאל השאלה למה להשקיע בהם חוץ מהסיבה של להרגיע אותם כמו ברומא לחם ושעשועים.

הוספת תגובה

  • (will not be published)