ראשי מאמרים Sketch2Photo – תנו למחשב לשלב

Sketch2Photo – תנו למחשב לשלב

2
0

הצילום הוא פעמים רבות רק השלב הראשון בדרכה של התמונה. בעידן הפוטושופ יש לנו לעיתים קרובות צורך לשפר, לרטש ולעיתים אף לשפץ תמונה מן היסוד. אלא שמזה מספר שנים גרפיקאים לוקחים את “עיבוד” התמונה שלב נוסף קדימה ועושים שימוש בטכניקות מתקדמות בכדי לשלב תמונות שונות במטרה ליצור תמונות חדשות שלא היו קיימות קודם ולמעשה לא צולמו מעולם.

יצירת קולאז’ים ושילוב תמונות איננו דבר חדש, אבל עד כה בכדי ליצור שילובים מורכבים באיכות טובה נדרשו לרוב תוכנות מתקדמות ובעיקר ידע וניסיון בעיבוד תמונה. אלא שלאחרונה הציע צוות מסינגפור, סין וישראל דרך אחרת ויצירתית לשילוב תמונות בסיוע המחשב. באמצעות תוכנה המכונה Sketch2Photo אותה פיתחו חוקרים משלושת המדינות יכול כל משתמש לבצע רישום בסיסי ופשוט המוזן למחשב. על בסיס הרישום מחפשת התוכנה ברשת תמונות תואמות (למשל רישום של אדם, כלב , מטוס וכו’) ומציגה למשתמש רשימה של תמונות לבחירה עבור כל אובייקט המצוי ברישום. לאחר שהמשתמש ניפה מתוך רשימת התמונות אותה הציגה התוכנה את התמונות הרלוונטיות, התוכנה יוצרת קולאז’ מן התמונות השונות באופן המתאים לרישום הבסיסי אותו שירטט המשתמש הן מבחינת המיקום היחסי בין האובייקטים והן מבחינת הגודל היחסי.

Sketch2Photo scatch
ה-Sketch2Photo בפעולה

התוכנה החדשה אשר הוצגה בכנס SIGGRAPH Asia שהתקיים ביוקוהמה שביפן בדצמבר 2009 עוררה עניין רב הן בשל תוצאותיה והן בשל הפעולות המורכבות שהיא מסוגלת לבצע. ה-Sketch2Photo מקבלת את הקלט הוויזואלי מהמשתמש ומתחילה בעיבודו. הבעיה הראשונה בה נתקלו מתכנני התוכנה קשורה בתיוג התמונות ברשת. בעוד בני אדם הם בעלי יכולת גבוהה לזיהוי עצמים המופיעים בתמונות, מנועי החיפוש הנוכחיים מתקשים מאד בביצוע מטלה זו. למעשה מרבית מנועי החיפוש לתמונות דוגמת גוגל תמונותpicsearchaltavista image ו-pixsy, עושים שימוש בעיקר בכותרות ובמקרים מסוימים גם בתגיות אותן שייכו היוצרים או משתמשים אחרים. תכונות מתקדמות יותר כגון חיפוש לפי מאפיינים (דוגמת חיפוש תמונות הכוללות פנים אנושיות) זמינות אף הן מזה מספר שנים אך בהיקף מצומצם למדי.

לאחר שהמשתמש צייר באופן סכמטי (ביותר) את האובייקטים אותם הוא מעוניין שהתוכנה תשלב בתמונה הסופית עוברת התוכנה לשלב החיפוש. ה-Sketch2Photo איננה כוללת אלגוריתם חיפוש תמונות משלה אלא עושה שימוש במאגרי תמונות קיימים ובמנועי חיפוש תמונות נפוצים דוגמת גוגל (אם כי לא מן הנמנע שבעתיד ניתן יהיה להתאים את המערכת כך שתעשה שימוש במאגרי תמונות איכותיות בתשלום כגון Getty ImagesCorbis ואחרים הכוללים מיליוני תמונות אשר עברו שיום, תיוג וחלוקה לתחומים).

השלב הבא מתחיל למעשה את החלק המתקדם של התוכנה אשר בו בוררת התוכנה מתוך התמונות שנמצאו את המתאימות ביותר לשימוש. התוכנה מבצעת מספר רמות של ניפוי הכוללות בחירה של תמונות בעלות אובייקטים רצויים הניתנים להפרדה טובה מהרקע וכן ברירה על בסיס ההתאמה המיטבית של תמונות האובייקטים השונים זה לזה. בשלב הבא משתמשת התוכנה באלגוריתם גזירה מתקדם בכדי לגזור את האובייקטים מהתמונות שנבחרו “ומלבישה” אותם על הרקע אותו בחר המשתמש.

היה אפשר לצפות כי משתמשים לא מנוסים אשר יעשו שימוש בתוכנה יקבלו תוצאות ברמה נמוכה משמעותית מגרפיקאים מקצועיים אשר יקבלו מטלה דומה ויעשו שימוש בכלים מסורתיים דוגמת פוטושופ (תוך שימוש באותו מאגר תמונות). למרבה ההפתעה הראו החוקרים כי כאשר ניתנה מטלה למספר משתמשים חסרי ניסיון או היכרות עם התוכנה (מלבד הסבר קצר), אלו הצליחו להגיע לציון דומה לזה אותו השיגו גרפיקאים מקצועיים. אלא שלצורך ביצוע המטלה נדרש למשתמשים הלא מנוסים שליש מהזמן לו נדרשו גרפיקאים מקצועיים. העבודות של שתי הקבוצות נשפטו על ידי מומחים בלי שידעו אילו מהעבודות נוצרו על ידי מי מבין הקבוצות.

ה-Sketch2Photo לא תגרום כנראה להחלפתם של גרפיקאים באלגוריתמים רובוטיים בזמן הקרוב. לעבודת הגרפיקאי יש היבטים רבים ומורכבים יותר מגזירה והדבקה של תמונות קיימות. ובכל זאת אם ה-Sketch2Photo או גרסאות חופשיות/מסחריות המבוססות עליה ימצאו דרכן לשוק בעתיד (כרגע מדובר במחקר אקדמי בלבד) משתמשים רבים יוכלו לעשות בהן שימוש ולחסוך זמן רב (ואולי אף כסף) בכדי להגיע לתוצאות מספקות למדי בעיקר עבור שימושי רשת שונים.

למחקר פורץ הדרך אחראים כאמור חוקרים מסין, סינגפור וישראל. אריאל שמיר אשר הוביל את הצד הישראלי במחקר חתום זה מכבר על שורה של פיתוחים מתקדמים בתחומי הבינה המלאכותית והמחשוב אשר חלקם קשורים גם לתחום הגרפי. אחד המחקרים המפורסמים ביותר של שמיר מהשנים האחרונות מהווה בסיס ל-Content Aware Scaling – יכולת מתקדמת אשר שולבה בתוכנת ה-Adobe Photoshop CS4 ומאפשרת שינוי יחס תוך התחשבות בתוכן התמונה (למשל שינוי פרופורציות של תמונה מיחס של 4:3 ליחס של 16:9 תוך פגיעה מינימאלית באובייקטים המוצגים בה וצמצום עיוותים). יש לקוות כי בדומה למחקר הקודם גם המחקר הנוכחי ימצא את דרכו לשוק בעתיד הקרוב.

את המאמר המקורי של פרופסור אריאל שמיר מהמרכז הבינתחומי בהרצליה ויתר החוקרים וכן מידע נוסף ניתן למצוא בקישור הבא. דוגמאות נוספות ניתן למצוא בקובץ הבא (PDF).

עידו גנוטעידו גנוט
עידו גנוט הוא עורך ומייסד אתר הצילום מגה פיקסל. הוא מסקר חדשות טכנולוגיה מאז סוף שנות ה-90 וכתב וערך עבור שורה של מגזינים בינלאומיים מובילים. הוא עוסק בתחום הצילום מאז שנת 2009. עידו הוא גם מייסד שותף בחברת ההפקה Shooteat.co.il העוסקת ביצירת תוכן ויזואלי עבור חברות מסחריות.
טען עוד כתבות קשורות
טען עוד ב מאמרים

2 תגובות

  1. Avatar

    דבורה ברנע

    25/04/2010 ב 11:37 AM

    הכתבה ממש מעניינת נראה כי אתם לא חדלים להפתיע בכל תחום
    כולל דור העתיד
     

    השב

  2. Avatar

    משה ברנע

    03/04/2011 ב 12:41 PM

    ראסמי

    השב

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *