מחשב, צייר לי כבשה על רקע כפרי

גם אם אינכם מוכשרים ברישום ובציור, תוכנת Sketch2Photo תקרא דרור לאמן החבוי שבכם ותסייע לכם ליצור יצירות מופת ביתיות

לעתים קרובות תמונות עדיפות על מלל. הן מושכות תשומת לב, מעבירות מסרים המערבים עובדות ותחושות ויוצרות רשמים הנשארים הרבה לאחר שהטקסט נשכח. הסיבה ברורה: מאות מיליוני שנים של אבולוציה הכינו אותנו לפענח תמונות במהירות, לעבד את המידע שבהן, לזכור אותו ולהגיב אליו.

עם זאת, היכולת להשתמש בתכונה זו כדי לשפר את התקשורת הבין-אישית מוגבלת אצל רובנו: רק יחידי סגולה ניחנים ביכולת ליצור תמונות משכנעות וקומוניקטיביות ובכישורים יצירתיים באמנויות הגרפיות והחזותיות.

בעידן המחשב והאינטרנט אנו יכולים לתבל את המסמכים והמכתבים שאנו יוצרים על-ידי הוספת תמונות מתוך המבחר העצום שאפשר למצוא באינטרנט. כלי החיפוש לתמונות משתכללים כל העת, ומתקרבים לנקודה שבה נוכל לחפש תמונות לפי תוכנן ולא רק לפי טקסט הקשור אליהן או מופיע לידן.

עם זאת, לפעמים אנו מעוניינים להעביר מסר על-ידי שילוב של כמה עצמים - לדוגמה, דינוזאור על רקע בנייני משרדים, או ילד הרוכב על אופניים ומוביל אחריו עדר כבשים לכיוון ההרים. במקרה כזה סביר כי אפילו בין מיליארדי התמונות באינטרנט לא נוכל למצוא תמונה מתאימה.

גרפיקאים מקצועיים יכולים, כמובן, ליצור תמונות כאלה על-ידי שילוב של חלקים מכמה תמונות שונות, כשהם משתמשים בתוכנות מסחריות (כמו פוטושופ או Pixel Image Editor). הם יודעים לבחור תמונות המתאימות מבחינת תאורה, הרכב צבעים, פרספקטיבה וכו', ולשלב אותן כך שה"תפרים" אינם בולטים לעין. ואולם, התוכנות המסחריות אינן תורמות לחלק הראשון (בחירת תמונות), ודורשות ידע וניסיון כדי לבצע את החלק השני ("תפירת" התמונות).

גרפיקה ללא-גרפיקאים

צוות חוקרים מסין, מסינגפור ומישראל מציע דרך שונה ליצירת תמונות, הנגישה גם לאלה החסרים כישרון והכשרה באמנויות החזותיות. שי מין הו, טאו צ'ן ומינג-מינג צ'נג ((Hu, Chen, Cheng מאוניברסיטת צ'ינגהואה, פינג טאן (Tan) מהאוניברסיטה הלאומית של סינגפור ואריאל שמירמהמרכז הבין-תחומי בהרצליה פיתחו תוכנה הנקראת Sketch2Photo("מרישום לצילום"). בתוכנה זו המשתמש רושם רישום פשוט של העצמים בתמונה המבוקשת וליד כל עצם תיאור מילולי.

התוכנה מחפשת באינטרנט תמונות מתאימות לכל אחד מהמרכיבים הנדרשים, ומשלבת אותן יחד כדי ליצור תמונות המועמדות לשילוב בקומפוזיציה הסופית. לאחר מכן היא בוחרת מבין המועמדות את התמונות המתאימות יחד בצורה הטובה ביותר, "שולפת" את החלקים המתאימים מתוך התמונות ו"מדביקה" אותם יחד.

עוד מידע על Sketch2Photo הוצג במאמר חדש בכנס ACM-SIGGRAPH Asia שנערך בדצמבר שעבר ביוקוהמה שביפן.SIGGRAPH היא קבוצת העניין (SIG: Special Interest Group) המוקדשת לגרפיקה ממוחשבת, ובכנסים שלה מוצגות לראווה ההתפתחויות החדשות של יישומים וטכנולוגיות בתחום זה.

מעניין לבחון את חלוקת התפקידים בין האדם למחשב: האדם הוא האחראי לפעולה היצירתית של החלטה על הרכב התמונה, כך שתתאים למסר המבוקש. הוא גם אחראי לגדלים היחסיים של העצמים בתמונה, על הקומפוזיציה ועל הכיוון שבו הם מופיעים.

הרישום מספק למחשב את פרטי המידע האלה, שבלעדיהם התמונה הייתה נראית מוזרה או מעבירה מסר שונה מזה שאליו התכוון המשתמש. כך פטורה התוכנה מכל דרישה להכיר או להבין את העולם, וליצור רק שילובים המצייתים לשכל הישר ולמציאות המוכרת לנו. אתגר כזה הוא עדיין מֵעבר להישג היד של הבינה המלאכותית של היום.

נוסף על כך, אם היינו יודעים כיצד לפתח תוכנה היוצרת רק סצנות שהיו עשויות להתקיים במציאות, אזי היא הייתה מגבילה את מגוון התמונות ואת החופש היצירתי: התוכנה הייתה פוסלת את האנכרוניזם של דינוזאור על רקע בנייני משרדים, הטעות הביולוגית בתמונה שבה מופיע כלב בגודל של בית, או הטעות הפיזיקלית בקומפוזיציה שבה מרחפים חפצים באוויר.

מציאת תמונות מתאימות לשילוב

השלב הראשון בפעולתה של Sketch2Photo הוא חיפוש באינטרנט, במטרה למצוא תמונות המתאימות למרכיבים הנדרשים בתמונה. האתגר הראשון הוא הקושי במציאת תמונות לפי תיאור טקסטואלי: למרות התקדמויות מחקריות מסוימות, מנועי חיפוש התמונות הזמינים היום לשימוש נרחב אינם "מסתכלים" בתמונות אלא בטקסט המשויך אליהן.

שיטה זו אינה אמינה דיה: לדוגמה, חיפוש תמונות ב-Google בעבור המילה "house" (בית) הניב, בעת כתיבת מאמר זה, תמונות של בתים אך גם שרטוטים, קריקטורות וכרזה של סדרת הטלוויזיה "האוס". הפתרון של מפתחי התוכנה הוא סיווג התמונות לפי מאפיינים שהמחשב מסוגל לנתח. ראשית, המחשב בוחר תמונות שבהן יש רקע פשוט ואחיד.

בשלב הבא מזוהה קו המתאר של העצם שהופרד מהרקע, ומושווה לקו המתאר שצייר המשתמש. התוכנה אינה דורשת התאמה מושלמת, אך לעתים קרובות תמונה שאינה מתאימה לתיאור הטקסטואלי תיפסל על-ידי הדרישה להתאמה, ולו חלקית בלבד, לקו המתאר הנדרש.

בשלב האחרון של סינון התמונות, התוכנה מחשבת מאפיינים של התמונות ששרדו את שלבי הסינון הקודמים. מאפיינים אלה הם גדלים מתמטיים הקשורים למרקם ולצבע של חלקי התמונה שבודדו מתוך הרקע. ההנחה היא כי בחיפוש בעבור "פיל", למשל, האזורים בתמונות שאכן מכילים פילים יהיו בעלי מאפיינים דומים זה לזה, בעוד שתמונות שאינן מכילות פילים ורק במקרה היו מקושרות לטקסט המכיל את המילה "פיל" - יהיו שונות זו מזו במאפייניהן.

דמוקרטיזציה של תהליך היצירה

גם כאשר נבחרו התמונות המתאימות, אין זה פשוט להרכיב אותן יחד. לאחר שנמצא הקו המתאים ביותר בעבור זוג תמונות שיש להרכיב יחד, התוכנה מחשבת את טיב ההתאמה: ההתאמה עשויה להיראות לא-ריאליסטית אם קיימים הבדלים גדולים בצבע ובמרקם.

התוצאות הסופיות בעלות ההתאמות הטובות ביותר מוצגות למשתמש. עתה גם ניתנת ההזדמנות למשתמש לפסול מרכיבי תמונה ששרדו את שלבי הסינון אף שאינם מתאימים לתוכן הנדרש, ולתקן טעויות בזיהוי קווי המתאר.

שיתוף פעולה בין שונים

האם Sketch2Photo מבשרת פיטורים המוניים בקרב הגרפיקאים? אין זה סביר. כאשר חשובה לא רק איכות התמונה אלא גם הקומפוזיציה האמנותית והתאמת התמונה למסר הנדרש, Sketch2Photo אינה מהווה תחליף ליכולת האנושית. לכן, מי שירוויח מתוכנות כאלה הם דווקא אלה שעד עתה לא יכלו להרשות לעצמם יצירת תמונות איכותיות המתאימות לצורכיהם. כך אולי תופיע דמוקרטיזציה בתחום זה.

קיימים הבדלים גדולים בין הדרכים שבהן משיגים האדם והמחשב אותה מטרה: כפי שתואר כאן, Sketch2Photo אינה מנסה לזהות את תוכן התמונה ואינה "יודעת" איך אמורים להיראות כלב, פיל או אופנוע. במקום זה היא מסווגת תמונות לפי רמזים מילוליים, ולפי ההנחה כי תמונות המתאימות לתיאור הנדרש דומות זו לזו, בעוד אלה שאינן מתאימות לתיאור יהיו שונות יותר זו מזו.

ישראל בנימיני עובד בחברת ClickSoftware בפיתוח שיטות אופטימיזציה מתקדמות.

הכתבה התפרסמה במגזין גלילאו,ינואר 2010.