עשר אצבעות על הצג

צגי מחשב המזהים נגיעות מרובות בו-זמנית יוכלו לשפר עבודת צוות ללא צורך בעכבר או במקלדת

מאת סטיוארט פ' בראון

כשהוציאה חברת אפל את האייפון שלה לשוק ב-2007 היא גם חשפה לציבור הרחב צגי רב-מגע (multi-touch) המזהים נגיעות מרובות בו-זמנית. אפשר להזיז תמונה על פני הצג במגע אצבע או להגדיל ולהקטין אותה אם נוגעים בשוליה ומרחיקים את קצות האצבעות או מקרבים אותן זו לזו. ההנאה הכרוכה בנגיעה בממשק, לבד מן השימושיות שלו, זיכתה אותו במהרה בשבחים. ההפעלה הייתה אינטואיטיבית, חושנית אפילו. אך כבר בזמן השקתו של האייפון, התקדמו צגי המולטי טאץ' במעבדות ברחבי העולם הרבה מעבר לפקודות בשתי אצבעות. מהנדסים פיתחו צגים גדולים הרבה יותר, שמגיבים לעשר אצבעות בו-זמנית ואפילו לידיים רבות של משתמשים רבים.

קל לדמיין כיצד צלמים, מעצבים גרפיים או אדריכלים – אנשי מקצוע שצריכים לטפל בחומר חזותי רב ועובדים לעתים קרובות בצוותים – יקבלו בברכה את השיטה הזאת להפעלת המחשב. עם זאת, הטכנולוגיה כבר מיושמת במצבים כלליים עוד יותר, שבהם יכול כל אדם, ללא הכשרה, להושיט יד במהלך פגישה של סיעור מוחות ולהזיז או לסמן עצמים ותכניות.

פיקסלים מהירי תפיסה

ג'ף האן, יועץ במדעי המחשב לאוניברסיטת ניו יורק ומייסד חברת Perceptive Pixel בעיר ניו יורק, עומד בקדמת הטכנולוגיה של צגי רב-מגע. צג שטוח בגודל של כמעט מטר על שני מטרים וחצי מקבל את פני המבקרים במבואה של בניין החברה. האן ניגש אל הקיר האלקטרוני ומעורר עולם שלם של תמונות באמצעות מגע אצבעותיו בלבד. אפשר להריץ יותר מעשר הזנות וידאו בו-זמנית, ולא רואים שום סרגל כלים. כשהאן מעוניין להציג קבצים אחרים הוא מקיש פעמיים על הצג ומעלה תרשימים או תפריטים שגם עליהם אפשר להקיש.

כמה חלוצים הנוטים להקדים ולאמץ טכנולוגיות חדשות כבר רכשו מערכות שלמות, ובהם גופי מודיעין שבחדרי המצב שלהם משווים ומסדרים תמונות שהתקבלו במעקבים על פי המיקום הגאוגרפי שלהן. מגישי חדשות ב-CNN השתמשו במערכת גדולה של Perspective Pixel שהציגה בגאון את תוצאות בחירת המועמדים לנשיאות בכל 50 המדינות של ארצות הברית. כדי להמחיש את התוצאות הגדילו המגישים שעמדו לפני הצג את המפות של מדינות מסוימות, ואפילו של מחוזות, והקטינו אותן שוב במחוות דרמתיות של הזזת האצבעות על פני המפה. האן צופה שבעתיד, תמצא הטכנולוגיה את מקומה בכל התחומים שמשתמשים בהם בהרבה גרפיקה, כגון סחר באנרגיה או הדמיה רפואית.

לדברי ביל בקסטון, חוקר ראשי בחטיבת המחקר של מיקרוסופט, העבודה הראשונית בתחום ממשקי רב-מגע התחילה כבר בראשית שנות ה-80. אך בערך בשנת 2000 יצא האן באוניברסיטת ניו יורק למסע שנועד להתגבר על אחד המכשולים הגדולים שעצרו את הטכנולוגיה: השגת חישה בכושר הפרדה גבוה של קצות האצבעות. הפתרון דרש הן חידושי חומרה והן חידושי תוכנה.

החידוש המהותי ביותר היה אולי ניצולו של אפקט אופטי הידוע בשם “החזרה פנימית מלאה מסוכלת” (FTIR – frustrated total internal reflection), שמשמש גם בציוד לזיהוי טביעות אצבעות [ראו “עניינים טכניים”, סיינטיפיק אמריקן ישראל, אוקטובר-נובמבר 2004]. האן, שמתאר את עצמו כ”אדם מישושי מאוד”, התוודע לאפקט כשהביט יום אחד דרך כוס זכוכית מלאה מים. הוא הבחין עד כמה ברורה נראתה טביעת האצבע שלו על הכוס כשהתבונן בה דרך המים בזווית חדה. הוא דמיין מערכת אלקטרונית שתוכל לבצע מעקב אופטי אחר קצות אצבעות שיונחו על פני צג מחשב שקוף. כך החלה ההתעמקות שלו בממשקי רב-מגע שנמשכת שש שנים.

בתחילה, שקל האן לבנות גרסה בעלת רזולוציה גבוהה מאוד של צגי מגע יחיד המשמשים במכונות ממכר ומידע אוטומטיות. צגים אלו חשים לרוב בקיבוליות החשמלית שנוצרת כשאצבע נוגעת בנקודות מוגדרות מראש על גבי הצג. אלא שמעקב אחר אצבע שנעה באקראי על פני הצג היה דורש חיווט מטורף מאחורי הצג שהיה מגביל גם את השימושיות בו. בסופו של דבר, פיתח האן לוח מרובע של חומר פלסטי שקוף שפועל כמנחה של גלי האור. דיודות פולטות אור (LED) מסביב לשולי הלוח מקרינות לתוכו אור אינפרה-אדום. האור שעובר דרך הלוח מוחזר מדפנותיו הפנימיות, בדומה לאופן שבו עובר אור בסיב אופטי. כל עוד לא נוגעים בלוח, שום אור אינו זולג החוצה. אך כשמישהו מניח אצבע על אחת מדפנות הלוח, מתפזר מקצת האור הפוגע בה, חוצה את הלוח ויוצא דרך הדופן הנגדית. מצלמות המצויות מאחורי הצג חשות באור הדולף הזה (כתוצאה מאפקט FTIR) ומזהות את המקום שבו התקיים המגע. המצלמות יכולות לעקוב אחרי דליפת האור גם מנקודות רבות בו-זמנית.

עד מהרה גילה האן שהלוח הפלסטי יכול לשמש גם כצג פיזור; מקרן המצוי מאחורי הלוח ומחובר למחשב יכול להקרין עליו תמונות שיעברו דרכו ויופיעו על פני צדו האחר. באופן זה, הצג יכול לשמש הן כפלט חזותי והן כאמצעי קלט של נגיעות באותן תמונות.

חישת המיקום המדויק של האצבעות הייתה אתגר אחד. אך יצירת שגרות תוכנה שמסוגלות לעקוב אחרי תנועות האצבעות ולהמיר אותן להוראות טיפול בתמונות שעל הצג הייתה קשה עוד יותר. ששת מפתחי התוכנה שעבדו עם האן היו צריכים, ראשית כול, לכתוב תוכנה שתתפקד כמנוע גרפי רב עוצמה, בין השאר כדי להעניק לתצוגה זמן תגובה קצר, או לצמצם את הופעת “תמונת הרפאים” הנוצרת כשהאצבעות גוררות במהירות עצמים על פני הצג. כמו כן, היה עליהם להתמודד עם פלט אור ה-FTIR הבלתי צפוי שמתקבל מקצות אצבעות שחולפים בכיוונים אקראיים.

עמוק בארכיטקטורה של מערכת ההפעלה של כל מחשב טמונה ההנחה שהקלט יגיע מן המשתמש באמצעות מקלדת או עכבר. מקלדות הן חד-משמעיות: “ק” פירושו תמיד “ק”. תזוזה של עכבר מיוצגת באמצעות קואורדינטות קרטזיות, ערכי X ו-Y על גבי רשת דו-ממדית. שיטות כאלה לייצוג קלט שייכות לתחום כללי המוכר בשם “ממשק משתמש גרפי”, או GUI. צג הרב-מגע של האן מייצר עשרה מקורות של קואורדינטות X ו-Y בו-זמנית או יותר. “ממשקי ה-GUI המסורתיים אינם בנויים למידה כזאת של בו-זמניות,” אומר האן. מערכות ההפעלה של היום – חלונות, מקינטוש, לינוקס – תלויות כל כך בסמן היחיד של העכבר, עד ש”נאלצנו לפרק הרבה צנרת כדי ליצור מסגרת עבודה גרפית חדשה של מגעים מרובים,” אומר האן.

במהלך כל העבודה הזאת, גילה האן שאפשר להשיג גם חישה של לחץ אם פורסים על פני הלוח הפלסטי שכבה דקה של פולימר שפני השטח שלו מחורצים בתלמים מיקרוסקופיים. כשהמשתמש לוחץ חזק יותר או חלש יותר בנקודה כלשהי מתעקם הפולימר מעט, אזור טביעת האצבע גדל או קטן, וכתם האור המפוזר מתבהר או מתכהה – ואת זה המצלמה יכולה לזהות. משתמש שלוחץ לחיצה ממושכת וחזקה על עצם כלשהו המוצג על הצג יכול להחליק אותו אל מתחת לעצם סמוך.

צוות Perceptive Pixel של האן, שהוקם ב-2006, חיבר את כל המרכיבים האלה יחד והדגים את המערכת בכנס TED (טכנולוגיה, בידור ועיצוב) באותה שנה מול קהל נלהב. מאז, הולכות ההזמנות למערכת ומתרבות. חברת Perceptive Pixel אינה חושפת את מחיריה.

מיקרוסופט מגרדת את פני השטח

בזמן ששכלל האן את ההמצאה שלו, מהנדסים במקומות אחרים חתרו לאותם יעדים באמצעים אחרים. ענקית התוכנה מיקרוסופט מציעה כעת מחשב רב-מגע קטן יותר הנקרא בשם Surface (משטח) ומנסה למתג קטגוריה זו של חומרה בשם “מחשבי משטח”. היוזמה החלה ב-2001, כשסטיבי בתיצ'ה מחטיבת החומרה ואנדי וילסון מחטיבת המחקר של מיקרוסופט החלו לפתח התקן שולחני אינטראקטיבי שמסוגל לזהות גופים פיזיים המונחים עליו. שני הממציאים דמיינו כיצד יוכל ההתקן לשמש כמכונת “פליפר” אלקטרונית, כתצרף וידאו או כדפדפן לתמונות.

לאחר יותר מ-85 דגמי אב-טיפוס, יצרו השניים שולחן בעל משטח עליון פלסטי שקוף ומקרן המותקן על הרצפה. המקרן מציג תמונות על הצג האופקי שגודלו30 אינץ' . אור LED אינפרה-אדום מאיר גם הוא את המשטח, ניתז מקצות אצבעות או מחפצים בצד השני ומאפשר להתקן לזהות פקודות מאצבעות של בני אדם. העיבוד נעשה על מחשב שהותקנה בו מערכת ההפעלה “חלונות ויסטה”.

מיקרוסופט משווקת מחשבי Surface שולחניים לארבעה שותפים בתעשיות הפנאי, הקמעונות והבידור, שלדעתה סביר ביותר שישתמשו בטכנולוגיה. לדוגמה, רשת שרתון של מלונות סטארווד תנסה להתקין מחשבי משטח באולמות הכניסה של מלונותיה שיאפשרו לאורחים לבחור קטעי מוסיקה ולהאזין להם, לשלוח הביתה תמונות דיגיטליות או להזמין ארוחות ומשקאות. לקוחות בחנויות T-Mobile בארה”ב יוכלו להשוות דגמים שונים של טלפונים סלולריים פשוט על ידי הנחתם על גבי צג המשטח; תגיות דמויות “דומינו” מנוקדות בשחור בתחתית הטלפונים יורו למערכת להציג פרטי מחירים, תכונות ותכניות שימוש. תוכנות נוספות של מיקרוסופט יאפשרו להציב מצלמה דיגיטלית בעלת קישוריות אלחוטית על גבי המשטח, והצילומים יורדו למחשב בלי כבל.

מחיריהן של מערכות משטח מן הדור הראשון נעים מ-5,000 עד 10,000 דולר. כמו ברוב המוצרים האלקטרוניים, צופה החברה שהמחיר ירד ככל שנפחי הייצור יגדלו. לדברי מיקרוסופט, מחשבי Surface יוצעו במחירים סבירים לצרכן הפרטי בתוך שלוש עד חמש שנים.

גם מיצובישי מתחברת

מפתחי טכנולוגיה עשויים לגלות עניין בשולחן DiamondTouch של חברת הזנק ושמה Circle Twelve מפראמינגהאם שבמסצ'וסטס, שהתפצלה לאחרונה ממעבדות המחקר של מיצובישי. השולחן, שפותח במיצובישי, מתוכנן כך שמפתחים חיצוניים יכולים לכתוב תוכנות ליישומים כרצונם. כמה עשרות שולחנות כבר מצויים בידי חוקרים אקדמאים ולקוחות עסקיים.

המטרה של DiamondTouch היא “לתמוך בשיתוף פעולה בעבודת צוות בקבוצות קטנות,” אומר אדם בוג, סגן נשיא השיווק של מיצובישי. “כמה אנשים יכולים לעבוד זה עם זה, והמערכת יודעת לזהות כל אחד.” האנשים יושבים בכיסאות סביב השולחן ומקושרים למחשב שמתחתיו. כשאחד מהם נוגע במשטח השולחן, מערך של אנטנות המשובצות בצג שולח כמות זעירה ביותר של אנרגיות בתדירות של גלי רדיו דרך גופו של האדם הנוגע ודרך הכיסא שעליו הוא יושב אל מקלט המצוי במחשב. השיטה מוכרת בשם צימוד קיבולי. לחלופין, אפשר להשתמש בשטיח מיוחד על הרצפה כדי לסגור את המעגל. האנטנות המצומדות מורות על הנקודה שבה האדם נגע בצג.

אף על פי שלכאורה נראה ההתקן הזה כמגביל, הוא מסוגל לעקוב אחר הקלט המגיע מכל אדם, ולהעניק שליטה לזה שנוגע ראשון במשטח. במקרה זה הוא יתעלם מכל מגע אחר, שיורגש דרך סידור הישיבה שהוקצה, עד שהמשתמש הראשון ישלים את הקלט שלו או שלה. המערכת יכולה גם לזכור מי ביצע אילו שינויים בתמונות, כגון בסרטוטים של מבנים.

לאחר שחברת ההנדסה הבין-לאומית פרסונס ברינקרהוף, שמרכזה בניו יורק, התנסתה בשולחנות האלה היא מתכננת לרכוש נוספים. “במהלך פרויקט גדול אנחנו מקיימים אלפי פגישות,” אומר טימותי קייס, המנהל האזורי של מחלקת ההדמיה של החברה. “אנחנו יכולים להציב שולחנות רבים כאלה במקומות רבים, וכולם יוכלו להתבונן על אותו הדבר בדיוק.”

גם המערכות של DiamondTouch וגם המערכות של Perceptive Pixel כוללות מקלדות מדומות המוקרנות על הצג כדי לאפשר למשתמשים להקליד טקסט. אך לא סביר שהמשתמשים יעדיפו להשתמש במערכות הדינמיות למטרה יום-יומית זו. היתרון הגדול של צגי רב-מגע הוא באפשרות שאנשים רבים יעבדו יחד בפעילות מורכבת. קשה לזכור את תחושת החופש שהעניק לנו העכבר כששחרר אותנו מחִצי המקלדת עם הופעתו, לפני כ-25 שנים. בקרוב, אולי יסייע לנו ממשק המגע החדש להיפטר מן העכבר הנפוץ. “רק לעתים רחוקות מאוד נתקלים בממשק משתמש חדש לגמרי,” אומר האן. “אנחנו רק בתחילתו של הסיפור הזה.”

מושגי מפתח

צגי רב-מגע אינם מגיבים אך ורק לנוכחותה של אצבע יחידה, אלא מסוגלים לעקוב אחר הוראות שמגיעות בו-זמנית מאצבעות רבות.

מסך שגודלו כגודל קיר, שפותח בחברת Perceptive Pixel, מסוגל להגיב לעשר אצבעות או כפות ידיים של כמה אנשים. מיקרוסופט ומיצובישי מציעות מערכות מתמחות קטנות יותר לבתי מלון, לחנויות ולחברות הנדסה ועיצוב.

הפעלת המחשב בשיטה זו עשוי לפטור אותנו בעתיד מן העכבר ולשמש כממשק המחשב העיקרי שלנו כפי שבזמנו שחרר אותנו העכבר מן המקלדת.

איך זה עובד – לעקוב אחרי האצבעות

צגי רב-מגע המתקדמים ביותר מגיבים לתנועה וללחץ של אצבעות רבות. בתכנון של חברת Perceptive Pixel (קרוב מימין), התמונות מוקרנות דרך לוח פלסטיק אל משטח המצוי מול הצופה. כשאצבעות (או חפצים אחרים כגון עט מגע) נוגעים במשטח, מוחזר מהן אור אינפרה-אדום שמקרינות נוריות LED בתוך לוח הפלסטיק ונקלט בחיישנים. תוכנה מפענחת את הנתונים כתנועות אצבע. הקשה על הצג מפעילה תפריט פקודות בעת הצורך.

כדי ליצור אות, מאירות נוריות ה-LED אל תוך לוח הפלסטיק. האור מוחזר ומנתר בין הדפנות ולא נפלט החוצה. אך אם מניחים אצבע על פני השטח (למעלה), יתפזר האור ממנה אל עבר החיישנים. כמו כן, כשלוחצים בחוזקה, או בעדינות, על ציפוי רגיש ללחץ הוא מתעקם וגורם להתבהרות או להתכהות האור שקצה האצבע גרם לפיזורו. מחשב מפרש זאת כלחץ חזק או עדין יותר.

מבט פנימה – שולחן מגע

מקרן, המצוי בתוך שולחן הרב-מגע של מיקרוסופט (המכונה Surface), שולח תמונה דרך לוח של פלסטיק אקרילי. נוריות LED מקרינות כלפי מעלה אור בתדר אינפרה-אדום קרוב, שמוחזר מחפצים או מאצבעות ונקלט במצלמות אינפרה-אדום. מחשב מנטר את ההחזרות כדי לעקוב אחר תנועות האצבעות.

על המחבר

סטיוארט פ' בראון (Brown) הוא כתב טכנולוגיה והנדסה מאיירווינגטון שבמדינת ניו יורק. הוא כתב על תצוגות תלת-ממדיות בגיליון אוקטובר 2007 של סיינטיפיק אמריקן ישראל.

ועוד בנושא

• היסטוריה מפורטת של מערכות רב-מגע
• צפו בהדגמת וידאו של המערכת של Perceptive Pixel בכתובת