מגמות בתחום בינה עסקית 2017-2018

מגמות בתחום בינה עסקית 2017-2018

במאמר זה אסקור ממבט על את המגמות בתחום הבינה העסקית לשנים הקרובות. הסקירה מכילה buzzwords מהתחום, הסבר בנוגע לתתי התחומים הקיימים, אנשי המקצוע השונים הנדרשים לביצוע פרויקט בינה עסקית וכן דוגמאות למערכות / תוכנות אשר כל אחד מהם הוא עולם ומלואו.

המאמר נכתב ע”י מנכ”ל אינפלואו מערכות – שטינברג איתמר. אינפלואו הינה חברה של מומחים בבינה עסקית.

אז מהי בינה עסקית:

מדובר בניתוח המידע הקיים במערכות הארגון וכן במידע הנוגע לארגון אשר קיים במערכות חיצוניות .
התוצרים של בינה עסקית הינם אמצעים ויזואליים כגון גרפים, טבלאות, pivot, שעונים , מפות ועוד.

כלי הבינה העסקית מאפשרים יכולת “משחק” עם המידע כגון slice and dice , drill down , drill through . בשנים האחרונות נוספו גם יכולות של ניתוח אד הוק, תזמון דו”חות על בסיס כללים, התרעות , שיתוף מידע, אבטחה על בסיס המשתמש ועוד תכונות רבות.
ישנם כלים רבים בשוק ולכל אחד מהם חוזקות וחולשות בהתבסס על הפתרון המסוים עבורו הוא נוצר.

מטרת הבינה העסקית היא לעזור למנהלים בדרג הביניים וההנהלה הבכירה לקבל החלטות על בסיס ידע במקום על בסיס תחושות. לאחרונה נוסף תחום שלם שמטרתו לעזור לארגון להציע ללקוחות שירותים מותאמים על בסיס סטטיסטיקה על Big data תוך שימוש ב machine learning .

הבסיס לכל ניתוח וביצוע פרויקט בינה עסקית הינם הנתונים עצמם.

מקורות המידע יכולים להיות שונים ומגוונים.
א. מערכות פנימיות כגון:
ERP , CRM , מרכזיה (call center) , מערכות ייעודיות שנבנו עבור הארגון, אתר האינטרנט של החברה ועוד.

ב. מערכות חיצוניות כגון:
רשתות חברתיות, עיתונות גלויה, אתרי מתחרים, ספקי שירות חיצוניים המספקים גישה למידע (API ) ועוד.

מי עוסק בבינה עסקית :
בשנים האחרונות התחום הפך רחב וישנם מספר גורמים בשרשרת הנדרשים לשם ביצוע המשימה.
החל מאנשי ETL, דרך DBA , מנתחי מערכות BI, מיישמי בינה עסקית frontend ועד אנשי מתמטיקה וסטטיסטיקה.

כמעט ואין אנשים אשר מומחים בכל רוחב התחום על אף שהצעת עבודה ממוצעת נראית כך:

דרוש מומחה BI:
• ידע נרחב בבסיסי נתונים מכל הסוגים (רלציוניים / nosql / columnar )
• שליטה מוחלטת במספר כלי ETL
• ד”ר בסטטיסטיקה ומתמטיקה ידע וניסיון ב Python , R ו machine learning
• ניסיון בשפת תכנות אחת לפחות (C# / python) – מינימום 5 שנים
• מומחיות ב big data : הקמת תשתיות Hadoop / spark על גבי AWS
• ניסיון בכלי BI tableau, sisense, BO, cognos
• חגורה שחורה בקרטה
• ניסיון רב בתיקון קרבורטורים של רכבי צמ”ה.

אין ממש אנשים כאלו.

דוגמאות למימוש בינה עסקית:

בחברות מסורתיות:
ניתוח מכירות , מלאי , רכש , פיננסים, מרכזיה…
מנהלים בדרג ביניים ובכירים יכולים להגיב למגמות בארגון, קרוב לזמן אמת בנושאים כגון:

• ירידה במכירות של מוצר מסוים (ERP )
• עליה בכמות ההחזרות (ERP )
• שינויים בכמות התלונות (CRM )
• שינויים בהכנסות (ERP )
• עליית משך זמן המענה של נציגים (מרכזייה)
• ביצוע תחרויות בין עובדי החברה בשביעות רצון לקוחות (CRM )
• נטישה של לקוחות (ERP ).

חברות ללא מוצרים פיסיים – חברות אינטרנט / gaming / תוכן / מוצר WEB כגון:

• כמויות נרשמים למוצר
• כמות הורדות של התוכנה על פני הזמן
• אחוז צריכת תוכן / משך שהייה
• הכנסות על בסיס תחומים
• ניתוח affiliates (שותפים עסקיים)
• ניתוח Risk
• ניתוח פרסום ב web

IOT – Internet of things

• ניתוח מדי מים לצרכני העיר
• מוצרים רפואיים שמשדרים נתונים על המשתמש
• אפליקציות ריצה וספורט
• מדידת שימוש באינטרנט

מה כולל תחום בינה עסקית
בינה עסקית היא תחום טכנולוגי רחב הכולל בתוכו מספר תתי תחומים שונים אשר יחד מהווים פתרון בינה עסקית. ישנו בלבול רב בהגדרות, כיוון שחלק מתתי התחומים בתוך התחום הרחב גדולים מספיק על מנת להוות תחום בפני עצמם.

להלן התחומים המרכזיים בבינה העסקית:

תחום מקורות המידע והאחסון
עד לפני מספר שנים נושא אחסון המידע היה סטאטי טכנולוגית. המידע אוחסן בבסיסי נתונים רלציוניים אשר שימשו כמחסני נתונים (data warehouse ) ומקורות המידע היו בסיסי נתונים (mssql, mysql, postgres sql …), קבצים (csv,txt ), בקרים (שיצאו נתונים לקבצים בדרך כלל).

התפקיד שאחראי על תחום זה הינו מנהל בסיסי נתונים (database administrator או בקיצור DBA ) תפקידו הוא לשמור על בסיס הנתונים תקין ובמצב אופטימלי. התקנות , גיבויים , אופטימיזציה ותקלות.

מגמות בתחום האחסון:
כמות המידע הנצבר שובר שיאים, ארגונים שומרים נתונים גם כאשר אין עדיין הגדרה האם יהיה בהם צורך. מחירי האחסון ירדו משמעותית ובחלק גדול מהמקרים התוכן נשמר על גבי שרתים בענן כגון: הענן של אמזון (S3) או של מיקרוסופט (azure ).

מבנה המידע משתנה דרמטית עקב הצורך לאחסן מידע רב באזורים גיאוגרפיים שונים, על גבי שרתים מבוזרים והצורך בגמישות מבנה הנתונים עצמו. לדוגמא חברות כגון: גוגל, פייסבוק , Airbnb, fiverr , wordpress.com ורבות אחרות הנדרשות לתת מענה כלל עולמי בזמן תגובה מהיר.

בסיסי נתונים מסוגים שונים החלו להופיע הן לתחום אחסון וגישה של מערכות תפעוליות (Nosql כגון mongodb), בסיסי נתונים מבוזרים רילציונים (כגון : nuodb) ועד בסיסי נתונים לניתוח אנליטי (עבור בינה עסקית) columnar (לדוגמא: redshift,vertica ,(in memory, realtime (לדוגמא: memsql ) וכן בסיסי נתונים לניתוח חיפוש כגון הפתרונות של elastic וכן crate.io .

המידע לא נשמר רק בצורה מובנית טבלאית (structured) אלא רובו כלא מובנה (unstructured ) כאלפי מיליוני קבצים הנשמרים במערכות מבוזרות של שרתים כגון Hadoop והניתוח שלהם מורכב יותר שכן יש צורך “לחלץ “מהם את המידע ולתשאל אותם על אף היותם מבוזרים.

כך כאשר נשאלת שאלה המערכת צריכה לגשת לעשרות / מאות שרתים לארגן את המידע ולהחזיר אותו באופן שניתן יהיה לפענח ולנתח אותו, לשם כך נוצרו כלים טכנולוגיים רבים המנסים לעזור בביצוע פעולות אלו.

כאשר משתמשים במונחים כגון: Hadoop / / spark / map reduce hive / scala ועוד…בעצם נוגעים בתחום ה big data שהוא תחום בפני עצמו הכולל עשרות כלים ואין ממש הגדרה ברורה מתי עוברים את הקו מכמות נתונים “נורמלית” ל big data .

תחום ה ETL – אינטגרציית נתונים (extract – transfer – load)

תחום אינטגרציית הנתונים מהווה כ 60% מהזמן הנדרש בביצוע פרויקט בינה עסקית. תהליך ה ETL כולל:

1. מקור – גישה למקורות המידע (בסיסי נתונים / big data / קבצים / web services / בקרים …)
2. שינוי – טיפול בנתונים המגיעים (עיצוב / שינוי / סידור / טיפול בשגיאות)
3. יעד – טעינה ליעד (data warehouse / מערכות חיצונית ) באופן מסודר ומתוזמן

בעבר תהליך זה בוצע בשפות תכנות או כתהליכים בבסיס הנתונים ( stored procedure )
במהלך שנות ה 90 פותחו כלים לביצוע פעולות אילו באמצעים ויזואליים ונוחים שהתאימו לחברות גדולות בלבד עקב המחיר והמומחיות הנדרשת .
כלים כגון: datastage , informatica , ssis

מגמות בתחום ה ETL :
פותחו עשרות כלים במחירים המתאימים גם לחברות קטנות ובינוניות וכן כלי open source כגון: pentaho ו talend שאינם עולים כסף ויש להם יכולות טובות מאוד.
חלק מהכלים אף פועלים ב”ענן” באופן מלא כגון : dell boomi / jitterbit

נוצרו גם כלי נישה למטרות ייעודיות כגון EDI (קישור בין מערכות Ecommerce והלוגיסטיקה) וכן כלים שיודעים להתחבר לכלים נפוצים כגון: google analytics , github ,mailchimp salesforce, ורבים אחרים.

הכלים הללו משתכללים עם הזמן וככול שישנם שינויים במקורות המידע (ראה תחום בסיסי נתונים) כך גם הכלים מוסיפים יכולות של קריאה מהם בהתאם כגון: גישה ל API ו webservices , גישה ישירה ל Hadoop , vertica , redshift , Cassandra , קריאה ישירות מ Json /xml ועוד.
כמו כן יכולת ה “משחק” עם המידע הזורם השתפר באופן משמעותי והפך נוח וויזואלי.

זהו תחום מרתק ונדרש , מומחה בו נוגע בחלק גדול מעולמות ה BI כמקור נתונים וכדרישת היעד.
אנו באינפלואו מערכות מתמחים ב ETL בכלי open source ובעיקר ב Pentaho.

תחום הוויזואליזציה:
תחום זה הוא הדובדבן שבקצפת. הצגת המידע למנהל. כשמדברים על מערכת בינה עסקית (BI ) סביר שהדובר מתכוון למערכות אלה. 

עד לפני כעשור (אל תתפסו אותי במילה) “שיחקו” בשוק מספר כלים מובילים, יקרים, אשר נתנו מענה לחברות הבינוניות גדולות.

כלים כגון: cognos שנמכרה ל IBM , business objects שנמכרה ל SAP .
הכלים אפשרו חיבור לבסיס הנתונים (DWH ), יצירת קוביות (שיורדות מהפרק לאט לאט) , הגדרת השכבה הסמנטית לצרכן הסופי, יכולת בניית דוחות ודשבורדים ע”י מומחה בתחום (מיישם בינה עסקית).

בשנים האחרונות נוצרו עשרות כלים טובים שנועדו למטרות שונות והמגוון יצר בידול אשר אני מחלק ל 3 סוגי כלים מרכזיים :

הכלים המסורתיים :
אלו שציינתי למעלה, אליהם הצטרפו Yellowfin , Pentaho ואחרים . אלה הם כלים אשר נותנים פתרון ארגוני כולל דוחות ודשבורדים , אבטחה וניהול . עם השנים נוספו תכונות שאותן אסקור בהמשך.

כלי אנליזה / דשבורדים : in memory
כלים אלו מאפשרים ביצוע של ניתוח אד הוק ע”י כך שהם מאחסנים את המידע כחלק מהכלי, תוך שימוש בזיכרון ה RAM וטכנולוגיות חדשניות אחרות..
לצורך הדוגמא : מחירי הזיכרון (RAM) ירדו לרמה שארגון בינוני יכול לרכוש שרת עם 256 ג’יגה RAM במחיר סביר (לעומת העבר) .

כלים כגון: tableau , qlikview , sisense . כל אחד מהם עושה שימוש שונה בזיכרון וב CPU. החוזק של מערכות אילו הינו במימוש דשבורדים, תצוגה GUI מושכת וכן ניתוח אד הוק .

לאחרונה הצטרפה גם Microsoft שמנסה כבר שנים להיכנס עם כלי באיכות טובה ויצרה לאחרונה את powerBI שנראה מבטיח.

מערכות אילו מאוד נפוצות בשנים האחרונות, כאשר tableau מובילה את השוק ו sisense נותנת פתרון טוב מאוד לנישה של big data על גבי חומרה לא יקרה.

בדרך כלל יעשו במערכות אילו שימוש מספר קטן של משתמשים חזקים (power users ) בארגון כגון אנשי כספים , כלכלנים , אנשי IT עבור מנהלי החברה.

פחות נפוץ כפתרון ארגוני בארגון גדול, על אף שזה קיים, בדרך כלל לארגון גדול יבחרו הכלים המסורתיים. לא מן הנמנע שבחברה גדולה יהיו מספר כלים על מנת לענות על הצורך.

דוחות בלבד
כלים אילו מאפשרים לכתוב דוחות ארגוניים באופן יחסית נוח ומהיר. כגון crystal reports , pentaho open source, Microsoft web reporting services

גם בנושא זה ישנם כלים חדשים שפותחו ע”י חברות קטנות ואשר מאפשרים לייצר דוחות באופן מהיר בטכנולוגיה מתקדמת . (לדוגמא: rix ad hoc,dbxtra,holistic )

אם ניקח כדוגמא חברה שמועסקים בה כ 100 מנהלים בכירים ומנהלי ביניים אזי סביר שהחברה תידרש למאות דוחות והצרכנים הפנימיים יבקשו דוחות חדשים חדשות לבקרים. דוחות תפעוליים יכולים להכיל מאות ולעיתים אלפי שורות לצורך ביצוע המשימה ולשם כך נצטרך את אחד מכלים המסורתיים.

לעומת זאת, מחלקות פיתוח עסקי , כלכלנים ורו”ח ירצו כלי המאפשר לבצע ניתוח על פני תקופות ארוכות, אד הוק, על מנת לזהות מגמות והצורך בכלי גמיש חשוב מאוד . לכן עבורם יהיה כלי אנליטי המאפשר זאת.

מגמות בתחום מערכות בינה עסקית – ויזואליזציה

1. מובייל – בחלק מהמערכות כבר יש פתרון ולאילו שלא, סביר שייכנס בקרוב. תמיכה מלאה במובייל הן כממשק responsive והן כאפליקציות עבור אנדרואיד ו IOS מתוך הבנה שאנשים צורכים תוכן ברמה הולכת וגוברת מהסלולרי (כי מנהלים רוצים את המידע שלהם עכשיו)

2. Embedded BI – חלק לא קטן מחברות התוכנה בעלות כלים בענן / אפליקציות/ אתרים לא מעוניינות שהמשתמש יאלץ להיכנס לממשק אחר על מנת לצפות במידע הרלוונטי שלהן.
לכן פיתחו עבורם את היכולת להטמיע את מערכת ה BI כולה או חלקים ממנה לתוך מערכות שונות.

לדוגמא: מערכת CRM שיש לה דשבורד פנימי סביר שהוא לא פותח במיוחד, אלא מוצר BI צד ג’ שהוטמע במערכת.

התכונה קיימת היום ב Yellowfin , sisense ובהמשך לדעתי כל החברות הצטרפו. מדובר בנושא חם . יכולות התממשקות כוללת גישה active directory , SSO , API …

חברה המפתחת אפליקציה / תוכנה לא מעוניינת להשקיע אנשי פיתוח שיפתחו תת מוצר שאינו בליבה של האפליקציה. עדיף להם לעשות שימוש במוצר צד ג’ שכבר קיים וכולל הרבה יותר מאפיינים ממה שהם יוכלו לפתח.

3. ענן – Cloud – היכולת להשתמש בדפדפן על מנת לגשת למידע ולהציג אותו תוך שמירה על אבטחת המידע וכן להימנע מהתקנת תוכנה על מחשב המשתמש. חלק מהמערכות מעבירות גם את כלי הפיתוח עצמם לממשק WEB . (בחלק מהתוכנות הפיתוח הוא במחשב פיסי ולאחר הפיתוח מעבירים לענן – publish)

4. Self service BI – החברות השונות מבינות כי מחלקת ה IT איננה יכולה לספק בזמן סביר את כל הצרכים בחברות עתירות עובדים . 4 אנשי מערכות מידע על 1200 עובדים לדוגמא. לכן הכלים הופכים להיות נגישים למשתמש החזק (power user) . כך אדם שעבד בעבר באקסל על מנת לנתח מידע מקבל גישה ישירה לבסיס הנתונים המחזיק מיליוני רשומות אך בכלים נוחים הוא מסוגל לבנות דוחות , pivot , גרפים ואף לייצא אותם ולשתף אותם בארגון.
יש לשים לב שלא כל מוצר שטוען שהוא כזה אכן כזה .

5. מצגות – story telling . כאשר כלכלן עובד על סדרה של דוחות ודשבורדים להצגה בהנהלה , התוצר הסופי שלו בדרך כלל יתורגם למצגת Power point. חלק מהכלים , לדוגמא Yellowfin מאפשרת יצירת מצגת בתוך הכלי, תוך שילוב שקופיות ודוחות “חיים” הכוללים גרפיים וכן שיתוף המצגת עם משתמשי המערכת ללא צורך להשקיע זמן בעיצוב מצגת או ב copy paste כל שבוע של המידע המעודכן. כך שלדוגמא אם כלכלן יצר מצגת בנושא החזרות מוצרים לפי פרמטרים שונים (לקוחות / קבוצת לקוחות / סוגי מוצרים ) על פני 8 שקופיות . כל פעם שהצרכן יפתח את המצגת המידע יהיה רלוונטי לעכשיו.

6. Social BI – שיתוף המידע, התכתבות על תוכן המידע, הוספת שכבות של הערות על המידע / גרפים / טבלאות. לדוגמא אם מנהל רואה שיש מגמה שלילית בשבוע שעבר הוא יכול לסמן בעזרת העכבר על הגרף ולשאול שאלה הממוענת למנהל הרלוונטי אשר בתורו יכול לענות לו . כל זאת מבלי לצאת מהכלי.

7. Statistical BI – machine learning – המוצרים, מתוך הבנה שנושא הניתוח בעזרת כלים סטטיסטים ( R , python , spark ) הופך להיות חלק בלתי נפרד מעולם ה BI . מוסיפים פונקציונליות כגון: trends , linear regression לתוך מנגנוני בניית הדוחות. כך לאחרונה Yellowfin הוסיפה פונקציונליות של trends ו sisense הוסיפה שילוב של R בפונקציונליות. חברות עושות שימוש בתכונות אלו הן בניתוח המידע הפנימי שלהם (לדוגמא: חיזוי התנהגות, Risk) והן כחלק אינטגרלי מהמוצר שלהם לדוגמא: הצעת חברים בפייסבוק, מוצרים שתהיה מעוניין בהם באמזון, אנשים שאולי תרצה להיות בקשר איתם בלינקדאין, מלון שיש באיזור שלך וחיפשת דומה לו ב booking.com ועוד…

8. IOT – internet of things : בתקופה האחרונה מחברים כמעט לכל מוצר מדיד, רכיב המאפשר לו לשדר / לשמור נתונים (לוגים) אשר ניתן להעבירם לענן . מספר דוגמאות מתוך רבות : מדי מים (קר”מ), שערים אוטומטיים, ניטור אבטחת כניסה, מד צעדים, מוצרים לבישים, מכשור רפואי ועוד..
כגון: מכשירי CPAP הבודקים את איכות השינה ועצירת הנשימה ומשדרים סטטיסטיקות לאתר החברה ולאחר מכן לרופא . האפשרויות כאן הם בלתי מוגבלות למעט אחסון המידע וניתוחו . זהו כמובן Big data קלאסי.

לסיכום:
עולם הבינה העסקית הוא תחום מעניין ורחב, יש בו מספר תתי תחומים אשר כל אחד מהם יכול להוות מקצוע בפני עצמו. התחום משתנה בקצב מהיר מאוד ונושאים כגון Big Data , IOT, Machine learning ו embedded BI הם ה buzzwords של העתיד הקרוב. קיימים פתרונות רבים מסוגים שונים לצרכים שונים.

הכותב הוא שטינברג איתמר, מנכ”ל חברת אינפלואו מערכות (Inflow systems ltd) . חברה של מומחים בתחום הבינה העסקית. איתמר הינו מומחה בינה עסקית בעל שם עולמי, כותב קורסים ומרצה בתחום. אימייל: [email protected]
לינקדאין: https://www.linkedin.com/in/steinbergitamar

מטרת החברה הוא לעזור לעסקים בכל גודל (מ startups ועד חברות גדולות) לבחור את הכלים המתאימים לצרכים הספציפיים שלהם ע”י איפיון, יישום והדרכה.