גם אם אינכם מוכשרים ברישום ובציור, תוכנת Sketch2Photo תקרא דרור לאמן החבוי שבכם ותסייע לכם ליצור יצירות מופת ביתיות
לעתים קרובות תמונות עדיפות על מלל. הן מושכות תשומת לב, מעבירות מסרים המערבים עובדות ותחושות ויוצרות רשמים הנשארים הרבה לאחר שהטקסט נשכח. הסיבה ברורה: מאות מיליוני שנים של אבולוציה הכינו אותנו לפענח תמונות במהירות, לעבד את המידע שבהן, לזכור אותו ולהגיב אליו.
עם זאת, היכולת להשתמש בתכונה זו כדי לשפר את התקשורת הבין-אישית מוגבלת אצל רובנו: רק יחידי סגולה ניחנים ביכולת ליצור תמונות משכנעות וקומוניקטיביות ובכישורים יצירתיים באמנויות הגרפיות והחזותיות.
בעידן המחשב והאינטרנט אנו יכולים לתבל את המסמכים והמכתבים שאנו יוצרים על-ידי הוספת תמונות מתוך המבחר העצום שאפשר למצוא באינטרנט. כלי החיפוש לתמונות משתכללים כל העת, ומתקרבים לנקודה שבה נוכל לחפש תמונות לפי תוכנן ולא רק לפי טקסט הקשור אליהן או מופיע לידן.
עם זאת, לפעמים אנו מעוניינים להעביר מסר על-ידי שילוב של כמה עצמים – לדוגמה, דינוזאור על רקע בנייני משרדים, או ילד הרוכב על אופניים ומוביל אחריו עדר כבשים לכיוון ההרים. במקרה כזה סביר כי אפילו בין מיליארדי התמונות באינטרנט לא נוכל למצוא תמונה מתאימה.
גרפיקאים מקצועיים יכולים, כמובן, ליצור תמונות כאלה על-ידי שילוב של חלקים מכמה תמונות שונות, כשהם משתמשים בתוכנות מסחריות (כמו פוטושופ או Pixel Image Editor). הם יודעים לבחור תמונות המתאימות מבחינת תאורה, הרכב צבעים, פרספקטיבה וכו', ולשלב אותן כך שה”תפרים” אינם בולטים לעין. ואולם, התוכנות המסחריות אינן תורמות לחלק הראשון (בחירת תמונות), ודורשות ידע וניסיון כדי לבצע את החלק השני (“תפירת” התמונות).
גרפיקה ללא-גרפיקאים
צוות חוקרים מסין, מסינגפור ומישראל מציע דרך שונה ליצירת תמונות, הנגישה גם לאלה החסרים כישרון והכשרה באמנויות החזותיות. שי מין הו, טאו צ'ן ומינג-מינג צ'נג ((Hu, Chen, Cheng מאוניברסיטת צ'ינגהואה, פינג טאן (Tan) מהאוניברסיטה הלאומית של סינגפור ואריאל שמירמהמרכז הבין-תחומי בהרצליה פיתחו תוכנה הנקראת Sketch2Photo(“מרישום לצילום”). בתוכנה זו המשתמש רושם רישום פשוט של העצמים בתמונה המבוקשת וליד כל עצם תיאור מילולי.
התוכנה מחפשת באינטרנט תמונות מתאימות לכל אחד מהמרכיבים הנדרשים, ומשלבת אותן יחד כדי ליצור תמונות המועמדות לשילוב בקומפוזיציה הסופית. לאחר מכן היא בוחרת מבין המועמדות את התמונות המתאימות יחד בצורה הטובה ביותר, “שולפת” את החלקים המתאימים מתוך התמונות ו”מדביקה” אותם יחד.
עוד מידע על Sketch2Photo הוצג במאמר חדש בכנס ACM-SIGGRAPH Asia שנערך בדצמבר שעבר ביוקוהמה שביפן.SIGGRAPH היא קבוצת העניין (SIG: Special Interest Group) המוקדשת לגרפיקה ממוחשבת, ובכנסים שלה מוצגות לראווה ההתפתחויות החדשות של יישומים וטכנולוגיות בתחום זה.
מעניין לבחון את חלוקת התפקידים בין האדם למחשב: האדם הוא האחראי לפעולה היצירתית של החלטה על הרכב התמונה, כך שתתאים למסר המבוקש. הוא גם אחראי לגדלים היחסיים של העצמים בתמונה, על הקומפוזיציה ועל הכיוון שבו הם מופיעים.
הרישום מספק למחשב את פרטי המידע האלה, שבלעדיהם התמונה הייתה נראית מוזרה או מעבירה מסר שונה מזה שאליו התכוון המשתמש. כך פטורה התוכנה מכל דרישה להכיר או להבין את העולם, וליצור רק שילובים המצייתים לשכל הישר ולמציאות המוכרת לנו. אתגר כזה הוא עדיין מֵעבר להישג היד של הבינה המלאכותית של היום.
נוסף על כך, אם היינו יודעים כיצד לפתח תוכנה היוצרת רק סצנות שהיו עשויות להתקיים במציאות, אזי היא הייתה מגבילה את מגוון התמונות ואת החופש היצירתי: התוכנה הייתה פוסלת את האנכרוניזם של דינוזאור על רקע בנייני משרדים, הטעות הביולוגית בתמונה שבה מופיע כלב בגודל של בית, או הטעות הפיזיקלית בקומפוזיציה שבה מרחפים חפצים באוויר.
מציאת תמונות מתאימות לשילוב
השלב הראשון בפעולתה של Sketch2Photo הוא חיפוש באינטרנט, במטרה למצוא תמונות המתאימות למרכיבים הנדרשים בתמונה. האתגר הראשון הוא הקושי במציאת תמונות לפי תיאור טקסטואלי: למרות התקדמויות מחקריות מסוימות, מנועי חיפוש התמונות הזמינים היום לשימוש נרחב אינם “מסתכלים” בתמונות אלא בטקסט המשויך אליהן.
שיטה זו אינה אמינה דיה: לדוגמה, חיפוש תמונות ב-Google בעבור המילה “house” (בית) הניב, בעת כתיבת מאמר זה, תמונות של בתים אך גם שרטוטים, קריקטורות וכרזה של סדרת הטלוויזיה “האוס”. הפתרון של מפתחי התוכנה הוא סיווג התמונות לפי מאפיינים שהמחשב מסוגל לנתח. ראשית, המחשב בוחר תמונות שבהן יש רקע פשוט ואחיד.
בשלב הבא מזוהה קו המתאר של העצם שהופרד מהרקע, ומושווה לקו המתאר שצייר המשתמש. התוכנה אינה דורשת התאמה מושלמת, אך לעתים קרובות תמונה שאינה מתאימה לתיאור הטקסטואלי תיפסל על-ידי הדרישה להתאמה, ולו חלקית בלבד, לקו המתאר הנדרש.
בשלב האחרון של סינון התמונות, התוכנה מחשבת מאפיינים של התמונות ששרדו את שלבי הסינון הקודמים. מאפיינים אלה הם גדלים מתמטיים הקשורים למרקם ולצבע של חלקי התמונה שבודדו מתוך הרקע. ההנחה היא כי בחיפוש בעבור “פיל”, למשל, האזורים בתמונות שאכן מכילים פילים יהיו בעלי מאפיינים דומים זה לזה, בעוד שתמונות שאינן מכילות פילים ורק במקרה היו מקושרות לטקסט המכיל את המילה “פיל” – יהיו שונות זו מזו במאפייניהן.
דמוקרטיזציה של תהליך היצירה
גם כאשר נבחרו התמונות המתאימות, אין זה פשוט להרכיב אותן יחד. לאחר שנמצא הקו המתאים ביותר בעבור זוג תמונות שיש להרכיב יחד, התוכנה מחשבת את טיב ההתאמה: ההתאמה עשויה להיראות לא-ריאליסטית אם קיימים הבדלים גדולים בצבע ובמרקם.
התוצאות הסופיות בעלות ההתאמות הטובות ביותר מוצגות למשתמש. עתה גם ניתנת ההזדמנות למשתמש לפסול מרכיבי תמונה ששרדו את שלבי הסינון אף שאינם מתאימים לתוכן הנדרש, ולתקן טעויות בזיהוי קווי המתאר.
שיתוף פעולה בין שונים
האם Sketch2Photo מבשרת פיטורים המוניים בקרב הגרפיקאים? אין זה סביר. כאשר חשובה לא רק איכות התמונה אלא גם הקומפוזיציה האמנותית והתאמת התמונה למסר הנדרש, Sketch2Photo אינה מהווה תחליף ליכולת האנושית. לכן, מי שירוויח מתוכנות כאלה הם דווקא אלה שעד עתה לא יכלו להרשות לעצמם יצירת תמונות איכותיות המתאימות לצורכיהם. כך אולי תופיע דמוקרטיזציה בתחום זה.
קיימים הבדלים גדולים בין הדרכים שבהן משיגים האדם והמחשב אותה מטרה: כפי שתואר כאן, Sketch2Photo אינה מנסה לזהות את תוכן התמונה ואינה “יודעת” איך אמורים להיראות כלב, פיל או אופנוע. במקום זה היא מסווגת תמונות לפי רמזים מילוליים, ולפי ההנחה כי תמונות המתאימות לתיאור הנדרש דומות זו לזו, בעוד אלה שאינן מתאימות לתיאור יהיו שונות יותר זו מזו.
ישראל בנימיני עובד בחברת ClickSoftware בפיתוח שיטות אופטימיזציה מתקדמות.
הכתבה התפרסמה במגזין גלילאו,ינואר 2010.
15 תגובות
למה עכשיו זה רק פורסם פה..כבר לא חדשות.
right, i changed my mind
נכון מאוד תאר לך שהיו עובדים אנושיים שלא היו רוצים שיחליפו אותם במכונות היי טק מתקדמות.
לאן תתפתח הטכנולוגיה במצב כזה? או שהיא לא תתפתח?
הבינוניות אינה תוצאה של טכנולוגיה אלא תוצאה של גישה לחיים – הנובעת מתכונות אישיות ומחינוך.
אני חושב שטוב שהצילום הומצא למרות שהוא גזל פרנסה וכבוד מציירים ואני חושב שטוב שתכנה זו פותחה למרות שהיא עלולה לגזול מפרנסתם ומכבודם של מאיירים.
כל אדם מפתח את כישרונותיו בהתאם לסביבה שבה הוא גדל ובסביבה בה האיור יכול להתבצע אוטומטית יכול להיות שחלק מן המאיירים יפגינו את כשרונם בדרכים אחרות.
לכבול את כל העולם רק כדי שהמאיירים המוכשרים יזכו להכרה למרות שכשרונם כבר לא נחוץ דומה בעיני למניעת פיתוח כלי התחבורה כדי לשמור על כבודם של הרצים המוכשרים.
בינוניות:
הגעתי לנושא רפואה כי הבעיה דומה ואילו השיקול שעשית היה נכון מתוך עצמו הוא היה תופס גם בהקשר זה.
אלא מה? השיקול לא נכון – לא בנושא התמונות ולא בנושא רפואה.
מיכאל איך לעזלזל הגעת לענייני רפואה?
דיברתי על המשפט הזה ותו לא.
""הנגישה גם לאלה החסרים כישרון והכשרה באמנויות החזותיות""
ונכון אתה צודק, הרי התוכנה פותחה למטרת העברת רעיונות חשובים מדי,
זה בעיקר יעזור לעורכי צהובונים.
וכפי שאמרתי לא דיברתי דווקא על המקרה הספציפי הזה, אלא בעיקר על תרבות.
עמיחי:
אינני אומר שאין לדון בנושאים אלה.
אני אומר רק שאין לקבוע חוקים שקובעים מסמרות בנושאים שאין לנו מידע עליהם.
כאמור – כל מה שהתגובה נועדה לעשות זה להצביע על חוסר העקביות בדברי "בינוניות".
ביחס לעמדה שעל המדענים לגבש בשאלות מוסריות, הרי שלמרות שאני באמת מאמין שהעיסוק במדע הופך את האדם למוסרי יותר (או אולי להיפך – מוסריות היא שמביאה את האדם לעיסוק במדע) הרי ברור שיש לעניין גם יוצאים מן הכלל (ע"ע הייזנברג).
מדענים – אחרי הכל – הם גם אזרחים – וככאלה הם צריכים להביע את דעתם בשאלות מוסריות.
את כובע המדען מותר שילבשו רק כשהם מדברים על מדע וברור שבמסגרת עיסוקם זה עליהם לחתור לגילוי נתונים אובייקטיביים ושיקולים הגיוניים שעשויים לעזור בהכרעתן של שאלות מוסריות.
גם הפצצה האטומית – עם כל זה שהיא מהווה דוגמה מובהקת לשאלה מוסרית – היא ממשיכה להוות דוגמה מובהקת לשאלה שלמדע אין עליה תשובה ועד היום יש מדענים משני צדי המתרס.
מיכאל:
אינני יכול להסכים איתך, כי מוטב לנו שלא לדון בבעיות של חיים ומוות
נכון שבמישור הפרט הנושא סבוך ביותר,ויש לדון בו ברגישות עליונה אך במישור העקרוני חובתנו לדון בכל הבעיות שמציבה בפנינו ההתפתחות המדעית, ביחוד כשיש לכך השפעות על דילמות חיים ומוות או על עתיד המין האנושי.
כשמדענים לא נוקטים עמדה, נכנסים לנושא גורמים אחרים בדרך כלל דתיים למיניהם, שברגל גסה וללא שום הכשרה בנושא קובעים בשבילנו פסיקות והלכות בהתאם למסורותיהן הישנות, ללא כל קשר לתועלת הפרט או החברה. ואיני מתכוון רק לאנשי דת יהודיים.
כך רבנים מסוימים אינם מכירים במוות מוחי וכתוצאה מכך מתנגדים לתרומות אברים מצילות חיים.
כך נאסרו באר"הב ,בהשפעת השדולה הדתית בממשל בוש, ניסויים בתאי גזע עובריים. רק לאחרונה ממישל אובמה ביטל את האיסור.
מדען איטלקי שגידל במעבדה עובר אנושי היפסיק את הניסוי לאחר פניה נימרצת של האפיפיור בכבודו ובעצמו.( אם זיכרוני אינו מטעה אותי, אך בוודאי אישיות דתית רמת דרג). יתכן כי היה נכון להפסיק את הניסוי אך ההחלטה היתה צריכה להיות חברתית מדעית, ולא דתית!
אנשי דת קיצוניים מורים לנשים הרות שלא לבצע בדיקות אולטרהסאונד, פן יתגלו בעובר מומים שישכנעו את האישה לבצע הפלה. רק בימים האחרונים היה ויכוח בנושא זה בין שני רבנים.
כשאתה מזכיר את איינשטיין והיטלר בהקשר של חיים ומוות,כדאי להזכיר אותם בהקשר של חיים ומוות של רבים רבים. ידוע כי אינשטיין נימנע בזמנו מלהמליץ על יצור הפצצה האטומית , ושלח את מיכתב ההמלצה שלו לנשיא טרומן רק לאחר ששוכנע ע"י חבריו כי הנאצים מיתקדמים בחקר האטום ועלולים להיות ראשונים ביצור הפצצה.
מאז משמשת פרשת יצור הפצצה כמודל לדילמה מדעית מוסרית, האם נכון מצד המדענים לקדם את מחקרם בלי להתחשב בהשפעות על הסביבה ועל האנושות, כשאז משאירים למעשה את ההחלטות בידי הפוליטיקאים, או חובה עלינו להקים גופים ציבוריים מוסכמים שידונו בכל ההשלכות של דילמות מדעיות מוסריות.
כדאיגם לציין כי מחקר הגנום האנושי פותח ועוד יפתח לנו, דילמות רבות קשות ועמוקות מיני ים.
מה שאני רוצה שיובן מתוך דברי הוא, שכל שטח שאנשים מתקדמים ונאורים ימנעו מלהיכנס אליו, יתפס במהרה בדיוק על ידי אותם גורמים שלא הינו רוצים לראותם שם.
עמיחי:
אני לגמרי מודע לבעיות שפתחתי.
באופן כללי, האבולוציה מבוססת על התאמה של בעל החיים (ובמקרה זה – האדם) לסביבה.
כלל לא מפתיע שהוא מנסה לשנות את הסביבה כדי שתתאים לו.
אם הסביבה שיצרנו מאפשרת את שרידתם של יותר אנשים – מה טוב!
אף פעם אין לנו מספיק נתונים כדי לחשב באופן מושכל כמה שווים חייו של אדם זה או אחר (אולי יהיה האיינשטיין הבא? אבל אולי, בעצם יהיה ההיטלר הבא?).
תחושתי האינטואיטיבית היא שטוב שכך ושבכלל איננו בנויים נפשית להתמודד עם שאלות של חיים ומוות של פרט זה או אחר באמצעות סטטיסטיקות.
איך שלא יהיה – תגובתי נכתבה בעיקר כדי להאיר למר בינוניות את ההיבטים בחיים שהצעתו מתעלמת מהם למרות שהם מציבים בדיוק את אותה דילמה.
מיכאל
תגובתך גוררת את הדיון לאפיקים נוספים והתשובה לשאלתך הריאשונה אינה מובנת מאליה.
הרפואה המודרנית מאפשרת כיום לאנשים רבים בעלי פגם גנטי לטלי, להגיע לגיל פיריון ולהעמיד צאצאים שכולם ישאו את הגן וחלקם גם יזדקקו שוב לשרותי רפואה מסובכים (ניתוחים) כדי להישאר בחיים.
אני אישית מכיר משפחה שבה בשלושת הדורות שאני מכיר, חלק מהילדים נאלץ לעבור בגיל ילדות מוקדמת, ניתוח לב מורכב לתיקון מומים קשים בוואריציות שונות.
אם ניתעלם לרגע מההיבט האישי אנו מגיעים לסוגיה רפואית-פילוסופית לא פשוטה שכבר נכתבו עליה ספרים ומאמרים רבים כמו הספר "קיללת הרפואה".
כמובן שלא כאן המקום לפתח את הנושא, אך הוא פותח שער לבעיות פילוסופיות מוסריות קשות הקשורות ברפואה מתקדמת, גנטיקה מהפכנית וזכויות הפרט מול טובת החברה.
מר בינוניות:
כן! המשך בבקשה! למה בעצם להציל ממוות חולים ש"באופן טבעי" היו מתים? למה לתת לנכים אמצעים להתגבר על נכותם ולא לעזוב אותם לסבלם?
אתה פשוט לא מבין שהסביבה נועדה להשתנות והאדם – ככל בעל חיים אחר – מנסה לשנות אותה לטובתו.
לפעמים איור יכול לעזור בהמחשת רעיון שיקדם את האנושות אבל בעל הרעיון אינו יודע לאייר ומי שיודע לאייר אינו עולה על הרעיון. אני מניח שלשיטתך כדאי פשוט לוותר על הרעיון (טוב ככל שיהיה) רק כדי לשמור על מקצועו של המאייר.
אילו היה הדבר תלוי בך גם לא היינו מפעילים מכונות שגזלו את המקצוע מבני אדם (שעכשיו חיים הרבה יותר טוב בזכות המכונות).
למה שקורה לא קוראים "בינוניות" אלא "שילוב כוחות" ולמה שאתה מציע לא קוראים "הצטיינות" אלא קיבעון וקיפאון.
סליחה על ההצפה, אבל תתעלמו מהשורה הזו:
שלא ממש נמצאת בהשיגם של אלו שצריכים שיכירו בהם רק בגלל כשרונם.
בניה=ביניהם.
התגובה הקדומת עלתה בטעות ורק חציה, אבל העקרון ברור.
עכשיו הנקודה שלי היא, שעכשיו לא רק שאנשים לא כשרונים יקבלו הכרה [לפעמים גם על חשבון הכישרונות האמיתיים] אלא גם יקבלו הערכה.
יד המקרה כבר לא שולטת בנו, הכל אנחנו משנים בעצמנו, והשיטה הזו לא ממש הולכת עם הקפיטליזם, מילא אם אנרכיזם, אבל בקפיטליזם שאין ממש צדק, החסרי כישרון במקום –
שיחפשו משהו שהם כשרונים בו פשוט יעזרו במה שנראה להם, ותיהיה להם גם את הטכנולוגיה.
שלא ממש נמצאת בהשיגם של אלו שצריכים שיכירו בהם רק בגלל כשרונם.
אני לאו דווקא מדבר על המקרה הספציפי של התוכנה הזו, אלא להמון דברים שהמדע ממציא
וחוסך מאנשים את מה שאין להם, והורס לאנשים שיש להם, בזה שהוא קצת משווה בניה,
ושוב זה לא הולך עם קפיטליזם.
הנגישה גם לאלה החסרים כישרון והכשרה באמנויות החזותיות""
שתשמור עלינו האבולוציה, JK,
עוד בינוניות, פשוט נפלא, נהדר, הטכונלוגיה של החנונים חסרי הכישרון [לא אינטלגנציה].
זה מתחיל באנשים שלא נועדו לשיר, ומחליטים להיות זמרים, ובעזרת טכנולוגיה ואולפן מתקדם.
יוצרים שירים,
התוכנה לא מפרה כמהזכויות יוצרים?
לא הייתי רוצה שהכבשה שצילמתי תופיע בתמונות של אחרים….