פלטפורמה טכנולוגית של מיקרוספט לבינה עסקית ב- 2012

By | 10 בינואר 2012

הקדמה

באמצעות השילוב של SQL Server 2012, Excel 2010, SharePoint 2010, הגדירה מיקרוסופט מחדש את פלטפורמת הבינה העסקית שלה.

מטרת חיבור זה הינה להציג את היכולות החדשות של חבילה זו. במסגרת חיבור זה השתדלתי להציג את התכונות החדשות מלמעלה, מבלי לגעת בכל תכונה ותכונה. קיצוץ זה בהיקף החיבור נוצר משלושה טעמים:

1. קוצר במשאבי זמן שלי מנע כניסה לפרטי פרטים של כל אחת מהתכונות.

2. רציתי שהחיבור ישרת גם כלכלנים ואנשי כספים / דיווח כספי ולא רק אנשי טכנולוגיה ומפתחים. חשתי שפירוט יתר של כל התכונות יכביד.

3. בעולם המקוון שלנו, אפשר להשיג מידע על כל תכונה מבוקשת במהירות באמצעות גוגל. הקושי הוא בדרך כלל להגדיר מהן התכונות הנדרשות. חיבור זה נועד על מנת להציג יותר את המה ופחות את האיך.

.

מבט מעלמעלה על הסביבה הטכנולוגית

ארגון הבוחר לבנות מערכת בינה עסקית מבוססת מיקרוסופט ישתמש ברכיבי התוכנה:

1. חבילת 2012 SQL Server הכוללת:

א. SQL Server database engine: בסיס נתונים טבלאי (רלציוני). משמש עבור מחסן נתונים (Data warehouse) או Data Mart (מתורגם לעיתים כמרכול נתונים).

ב. SQL Server Analysis Services SSAS: בסיס נתונים רב מימדי – OLAP (On-Line Analytical Process). משמש לניהול קוביות אשר מאפשרות תחקור נתונים מהיר וקל ברמת המקרו. קוביות מהוות גם תשתית לחישובים שונים, לניהול יעדים באמצעות הגדרת KPI (Key Performance Indicators). מגרסה 2012 של SQL, ניתן להתקין רכיב זה בשלוש תצורות:

ג. OLAP – בסיס הנתונים הרב מימדי המסורתי.

ד. Tabular mode – מנוע תחקור In-Memory (משתמש במנוע Vertipack)

ה. SharePoint Integrated Mode – מנוע In-Memory לשירות ה- SharePoint בלבד.

ו. SQL Server Integration Services – SSIS: כלי ה- ETL (Extract Transform Load) של מיקרוסופט. משמש את כל התהליכים הקשורים לשינוע נתונים: משיכתם ממערכת המקור (Extract), ביצוע עיבודים לנתונים (Transform), ולבסוף טעינת הנתונים אל מחסן הנתונים.

ז. SQL Server Reporting Services – SSRS: כלי הפקת הדוחו"ת של SQL Server. כלי זה נועד על מנת להציג למשתמש באמצעות דפדפן האינטרנט נתונים מתוך מחסן הנתונים או קוביות ה- OLAP.

ח. SQL Server Agent: תפקידו של ה- Agent הינו לתזמן תהליכים. מחסן הנתונים נטען באמצעות סדרה של תהליכים קבועים אשר במועד מסויים (על פי שעה או על פי אינדיקציה לסיום תהליך במערכת המקור) מתחילים לפעול. תפקידו של ה- Agent הוא להפעיל תהליכים אלו, לנהל תלות בין שלבים שונים (שלב 2 יתחיל רק אם שלב א' הסתיים בהצלחה) ולשלוח הודעות למנהל המערכת על בעיות בתהליכים.

ט. SQL Server Management Studio סביבת פיתוח בסיס הנתונים והשאילתות (בשפת SQL).

י. SQL Server Business Intelligance Studio – סביבת הפיתוח של תהליכי ה- ETL, דוחו"ת וקוביות OLAP.

2. Excel – משמש לתחקור נתונים הנמצאים בקובית ה- OLAP. טבלת הציר המשמשת את אקסל יכולה לשמש גם כסוג של דפדפן נתונים המתחבר אל בסיס הנתונים בשרת ומאפשרת תחקור הנתונים הרב מימדיים ובניה של גראפים. אקסל מגרסה 2010 כולל גם את רכיב ה- PowerPivot עליו ידובר בהמשך.

3. "רכיב רשות" – SharePoint Server , enterprise edition – פורטל המאפשר הפצה של דוחו"ת בכל רחבי הארגון בכפוף להרשאות.

את רכיבי התוכנה שתוארו למעלה ניתן לחלק לשלוש קבוצות (עם חפיפה מסויימת בינהן):

1. תוכנות שרת.

2. תוכנות מפתח מערכת.

3. תוכנות משתמש.

הקו של מיקרוסופט בעשר השנים האחרונות מדבר על BI לכולם. דהיינו שכל שכבות העובדים בארגון ישתמשו במערכת BI כאלו ואחרות. חלק מהמשתמשים כגון כלכלנים ישתמשו במערכות BI בצורה ישירה כצרכני דוחו"ת ומנתחי נתונים. חלק אחר של המשתמשים כגון הפקיד בדלפק הקבלה, יקבל מידע ממערכת ה- BI כחלק אינטגרלי מהמערכת התפעולית בה הוא משתמש. לדוגמה: כאשר לקוח יישב מולו ומספר הזהות שלו יוכנס למערכת, הלקוח יוגדר כלקוח פלטינה, זהב או כסף על בסיס ניתוח פעילותו במערכת ה- BI.

בנוסף על כך, ההגדרה "מפתח BI" עוברת שינוי גדול. במקום לכלול רק את קבוצת האנשים הטכניים שמפעילים Visual Studio ומפתחים מערכות BI קלאסיות (ETL à Data warehouse à OLAP cubes à Reports ) , יכול כיום כל כלכלן עם אקסל 2010 ותוסף PowerPivot (בחינם) לייצר אפליקציית BI מלאה מול המערכת התפעולית, מערכת חיצונית (כגון נתונים מבנק ישראל, הלישכה המרכזית לסטטיסטיקה, ארגון יבואני הרכב וכו') או מחסן הנתונים הארגוני.

מיקרוסופט מכירה בעובדה שאנשי מחלקת ה- IT הינם בהגדרה צעד אחד (לפחות) מאחורי המשתמשים: המשתמשים מגדירים צורך ואז המפתחים אצים רצים לנסות למלאו בזמן הקצר ביותר. מצב זה יוצר לחץ וקונפליקט מובנה הנובע מהצורך לתעדף בקשות של משתמשים שונים. כדי לצמצם נקודות חיכוך אלו נוצרו הטכנולוגיות התומכות ב- Self Service BI דהיינו, אפליקציות בינה עסקית המפותחות על ידי המשתמשים עם כלים של משתמש ולא של מפתחים. שני הכלים הראשונים שנוצרו על מנת לאפשר BI עצמאי למשתמשים היו ה- Report Builder אשר מאפשר למשתמש להפיק באופן עצמאי דו"ח מתוך בסיס הנתונים הטבלאי או הקובייתי, ו- PowerPivot אשר הינו מנוע In-Memory המאפשר למשתמש ממש למשוך אליו כמויות גדולות של נתונים (עשרות מיליוני רשומות) ולעבוד עליהם כמעין קובייה פרטית באקסל 2010.

עתה משתמש יכול ליצור אפליקציות הכוללות רכיבים גראפיים ומספריים על מסך אחד, כפתורי בחירה ופילטרים. וכל זאת באופן עצמאי לחלוטין. לאחר שיצר המשתמש דו"ח עם רכיבים שונים, הוא עשוי לרצות לשתפו עם אחרים בכפוף להרשאות ועם רענון אוטומטי של הנתונים. כאן נכנס לתמונה שרת SharePoint (enterprise edition) אשר מאפשר לקחת את דו"ח האקסל עם אפליקציית ה- PowerPivot אשר כזכור מחזיקה מיליוני רשומות ולהעלותו אל ה- web, כך שכל אחד בעל הרשאה יוכל לראות דו"ח זה.

את דוחו"ת ה- Report Builder (במידה ובחרנו מקודם בכלי זה) ניתן להעלות לרשת באמצעות שרת Reporting Services רגיל או באמצעות SharePoint עליו מותקן Reporting Services ב- Integrated Mode, כלומר שהוא מציג את הדוחו"ת של RS בתוך SharePoint בצורה שקופה.

העלאת דוחו"ת Excel – PowerPivot אל שרת SharePoint עשויה להתקל בשלושה קשיים עיקריים:

1. SharePoint מאפשר גודל קובץ מקסימלי של כ- 2.4 GB. במידה והכנסנו לקובץ האקסל שלנו עשרות ומאות מיליוני רשומות, אנו עלולים להגיע למגבלה זו.

2. כמות גדולה של דוחות עם נתוני In-Memory ימלאו את ה- RAM של שרת ה- SharePoint ועלולים גם לסבול מביצועים נמוכים במידה והרבה משתמשים יפנו אל קבצים אלו.

3. SharePoint enterprise edition הינו מוצר יקר גם בכסף וגם בהשקעת זמן לימוד ותמיכה. ישנם ארגונים שיחליטו שאינם מעוניינים להשקיע בשרת זה.

SQL Server 2012 BI or enterprise edition נותן מענה מסויים לכל אחד משלושת הקשיים שהוצגו מעלה. באמצעות התקנת Analysis Services במצב של Tabular Mode (נקרא לעיתים VertiPack על שם מנוע דחיסת הנתונים שלו). שירות ה- Tabular הינו למעשה מנוע In-memory המחזיק את הנתונים בזיכרון כל הזמן ועובד ברמת השרת באופן דומה ל- PowerPivot על תחנת המשתמש.

SSAS במצב Tabular עוזר לנו לפתור את הקשיים שתוארו לעיל בשתי צורות:

א. הוא יכול להיות סוג של מיקור חוץ עבור SharePoint באופן שבלוק הנתונים אשר הועלה ל-SharePoint יחד עם גליון האקסל ו-PowerPivot יעבור למעשה אל SSAS והאקסל על SharePoint יהווה רק Viewer לנתונים אשר הועלו יחד איתו אך בפועל עברו לניהול SSAS. באופן זה נפתרים קשיים 1,2 לעיל.

ב. במידה ואין SharePoint כלל בארגון ומשתמש רוצה להפיץ אפליקציית BI אשר נבנתה באמצעות אקסל ו- PowerPivot, הוא יכול לשלוח אותה אל מפתח (הפעם כן צריך עזרה מצוות הפיתוח) אשר יעלה את המודל שנבנה ב- PowrPivot אל SSAS וכך גם משתמשים אחרים יוכלו לצרוך נתונים אלו ולשלבם באפליקציות שלהם.

לסיכום:

פלטפורמת BI מבוססת טכנולוגיית מיקרוסופט תכלול בדרך כלל א הרכיבים הבאים:

1. SQL Server database engine – בסיס נתונים טבלאי.

2. SQL Server Analysis services – מנוע שמירת קוביות OLAP בתצורת התקנה אחת או מנוע לשמירת טבלאות בזיכרון לאחר דחיסתן בתצורת עבודה שניה.

3. SQL Server Reporting Services – שרת הפצת דוחו"ת באמצעות ה- Web

4. SQL Server Integration Services – שרת ETL.

5. Excel 2010 – כלי תחקור הנתונים של המשתמש. מאפשר ניתוח נתונים מתוך קובית OLAP, מודל Tabular או יצירת ענן נתונים עצמאי באמצעות PowerPivot.

6. שרת SharePoint לצורך הפצת דוחו"ת וגליונות אקסל בצורה של פורטל ארגוני מלא בעל מערכת לניהול הרשאות.

 

תודה רבה ליוסי אלקיים ממיקרוסופט ישראל אשר מאמר זה נכתב בהשראת ההרצאה המעניינת שלו במסגרת מפגש משתמשי Microsoft BI

Share

One thought on “פלטפורמה טכנולוגית של מיקרוספט לבינה עסקית ב- 2012

  1. יוסי אלקיים

    רימון , פוסט מדהים! קראתי-נהניתי.
    בנוסף לכך יש את הרכיב בדור הבא PowerView הפרויקט שנקרא Project Crscent.
    בהצלחה ונתראה בקרוב במפגש הקהילה של הבינה העסקית

כתיבת תגובה

האימייל לא יוצג באתר.