ראיה ממוחשבת היא מרכיב חשוב בעידן הקוגניטיבי

כך אומר טל דרורי מנהל מחלקת MULTIMEDIA ANALYTICS במעבדת המחקר של יבמ בחיפה בראיון לאתר הידען במסגרת קולוקוויום שעסק בראיה ממוחשבת, שאירחה המעבדה

לפני כשבועיים התקיים במרכז המחקר של יבמ בחיפה כנס COGNITIVE COMPUTING COLOCVIUM שעסק בראיה ממוחשבת. אחד המושבים בו הוקדש לאנליטיקה של מולטימדיה.

בראיון לאתר הידען מסביר טל דרורי מנהל מחלקת MULTIMEDIA ANALYTICS מסביר כי זו תקופת פריחה עבור תחום הראייה הממוחשבת.
במעבדה שלי אנחנו עושים מיישומים שונים של אנליטיקה ממוחשבת. בתחום ראיה ממוחשבת אנחנו עוסקים בהדמיה רפואית קוגניטיבית (ראו “עוזר הרדיולוג שאף פעם לא מתעייף ), הדמיה רפואית שיודעת לקחת בחשבון מרכיבים מהתמונות הרפואיות כמו גם מהנתונים המקיפים כמו רשומה רפואית, בדיקות אחרונות, מחקרים רפואיים וכו’. ולדבר עם הרדיולוג ולתת את התוצאות והתובנות בשפה שלו.
תחום נוסף אותו אנו חוקרים במעבדה הוא זיהוי עצמים ומציאות רבודה )object recognition and augmented reality). מציאות רבודה מתקשרת ישירות למיחשוב קוגניטיבי. אם מיחשוב קוגניטיבי מאפשר לשדרג את האינטראקציה של האדם עם הסביבה, מציאות רבודה היא האמצעי – לקחת את המציאות כפי שהאדם רואה אותה ולהעשיר אותה. דוגמה לפרויקט כזה הוא יישום במכשיר סלולארי שמצלם מדף מוצרים בסופרמרקט ומעשיר את המציאות במידע על ערכים תזונתיים, קופונים או כל דבר אחר שמצריך מהמחשב לזהות באיזה מוצר מדובר ולספק נתונים הקשורים אליו. אבל ניתן להפיק עוד תועלת מהמציאות הרבודה בתחום כגון תחזוקה: טכנאי שבא לטפל במכונה ורוצה ששתי הידיים שלו תהיינה פנויות מרכיב משקפיים חכמים לסביבה תעשייתית ובעזרתם הוא רואה גם את המכונה בה הוא אמור לטפל וגם את כל הנתונים על הרכיב – מאפיינים, מועד טיפול אחרון, וכו’. בנוסף, המערכת יכולה לשלוח שאילת לווטסון שיסביר מנסיון העבר איך מטפלים בתגלה מהסוג הזה.
קבוצה נוספת חוקרת את תחום האימות הביומטרי. ניקח למשל תסריט של למשל כניסה לחשבון הבנק מהמכשיר הנייד. המערכת שפיתחנו יודעת להפעיל את הוידאו ולבקש מהאדם לדבר אל המצלמה ולומר מספר אקראי – זאת כדי לוודא שאינו פשוט מניח צילום מול המצלמה, בשילוב זיהוי הפנים, הקול ולפעמים גם מבקשים ממנו לחתום על המסך. כל האמצעים הללו מאפשרים לספק רמה גבוהה מאוד של אימות במכשירים ניידים.
“הנושא של אימות ביומטרי רלוונטי להרבה מאוד שימושים, מכיוון שרוב האינטראקציה שלנו הן דרך הטלפון ולא דרך המחשב הקבוע הנושא של אימות הוא חשוב כאשר נכנסים למערכות רגישות. למשל גם בביקור פיזי בבנק, כאשר רובוט יקבל את פנינו בבנק ומלבד רק לומר לנו שלום הוא גם יוכל לאמת שאכן מדובר בבעל החשבון. גם במכוניות חכמות יהיה צורך באימות לפי זיהוי פנים או קול כדי שרק מי שמוסמך לנהוג במכונית יוכל לעשות זאת.

המחשב פתאום מבין לבד מה יש בוידאו
גל אשור, מנהל קבוצת טכנולוגיות הוידיאו וה-GIS במחלקת ה-Multimedia Analytcs אותה מנהל דרורי, הציג את מערכת ניתוח תכני הוידאו בכנס שערכה יבמ בלאס וגאס שבוע קודם לכן. ניתוח ממוחשב של התוכן נועד להעשיר את המידע עליו ולהקל על החיפוש בו. קבוצתו של אשור משתמשת במערכת הפעלה וירטואלית קלות משקל המכונה Dockers, כדי לעבור על הסרט ולמצות את תוכנו.

“יצרנו בעצם פתרון שאליו אנחנו מעלים וידיאו מכל מיני מקורות, לרבות אפליקציית טלפון חכם שכתבנו אשר מקליטה וידיאו תוך כדי נסיעה ביחד עם נתוני ה-GPS של מיקום הצילום”, אמר אשור. “מקור אחר הוא וידיאו שמתקבל ממצלמות וידאו לרכב (Dashboard Camera), מצלמות GoPro ועוד”.

“התכונה הבסיסית ביותר של מערכת ניתוח הוידיאו היא לזהות טקסט (למשל שילוט דרכים), וממש להפוך אותו לזיהוי תווים אופטי (OCR). אם הוידיאו מתעד הכשרה ארגונית, הוא יכול לקרוא את הטקסטים במצגות, ולציין את הזמן שבו הם מופיעים כדי שיהיה קל להגיע לנקודה זו בהרצאה”.

לסיכום אמר אשור כי “בעתיד ניתן יהיה גם להוסיף זיהוי דיבור, או זיהוי פנים ואולי אפילו לתעד את חיינו ולהצמיד מטה-דטה לכל מה שאנו רואים כדי שנוכל לחפש בעתיד ולצפות שוב באירועים רלוונטיים. לצורך כך נדרש למחשב המעבד את הנתונים יכולת אנליטית.”

כמות סרטי הוידאו גדולה מאוד ויש ערך עצום בהבנה ממוחשבת של תוכן הוידאו כדי למצוא את הוידאו הנכון ואת הקטע הנכון בתוך הוידאו זה דבר מאוד חשוב להרבה יישומים.
“העתיד הוא קוגניטיבי גם בראיה ממוחשבת. שהמערכות יעזרו לאדם להבין יותר טוב, להתנהל יותר טוב. חלק מהאינטראקציה הכי טבעית של אדם זה ראיה, אם אנחנו יכולים לעזור לאדם דרך מה שאנחנו מבינים שהוא רואה, להבין את ההקשר זו מערכת קוגניטיבית. מסכם דרורי.