A/B testing – קבלת החלטות מונעת נתונים

A/B testing – קבלת החלטות מונעת נתונים

תכנית AB TESTING  חזקה תאפשר לכם לשפר באופן משמעותי ועקבי את המוצר ואת ה KPIs בארגון. הידע  המצטבר כתוצאה מכך הוא עמוק ומדויק ויעזור להבין את ההעדפות של הלקוחות והתפיסות של המוצר או הצעה. באמצעות תהליכי בדיקות AB TESTING  המשולבים בתהליך הפיתוח  ניתן לשפר את המוצר  באופן משמעותי ולהגיע לתוצאות עסקיות משופרות.. הטמעת AB TESTING בארגון הוא בעל ROI גבוה.

המידע  המתקבל  והמשולב במערכות הBI and Analytics יהפוך את כל תהליך קבלת ההחלטות לגבי המוצר, השיווק וקבלת החלטות אסטרטגיות אחרות להרבה יותר יעילה, עקבית, מובנת והמביאה לתוצאות עסקיות טובות יותר.

תהליכי AB TESTING מייצרים ראיות מוצקות לגבי מה עובד בפועל במוצר או השירות שאתם מציעים. בנוסף לתובנות נוספות על מוצר ושיווק. רצף בדיקת השערות שלך גם תניב שיעורי המרה מוצלחים ותוכלו לשפר כל Conversion Funnel הקיים בארגון.

AB TESTING שייכת לקטגוריה של טכניקות אופטימיזציה, שבו כלים סטטיסטיים ומודלים משמשים כדי להגדיל את הסיכויים לתוצאה מסוימת, לדוגמה, באתר משתמשים  יקבלו את הגרסה בעלת הביצועים הטובים ביותר. (CTR יותר גבוה, CPA יותר נמוך וכד')  עמוד שעבר תהליכי אופטימיזציה בעקבות בדיקות רבות שנעשו.

אופטימיזציה המדעית יכולה להיות בחלוקה לשלוש קטגוריות:

  1. Split AB Testing -בדיקות פשוטות של אלמנט אחד נגד השני כדי לראות איזו מהן מבצעת טוב יותר.
  2. Multivariate Testing – בדיקת מספר אלמנטים בכל פעם.
  3. Custom Experimental Design – פיתוח שיטת מחקר משלך עבור ניתוח מעמיק.

בפוסט זה אתמקד ב- Split AB Testing מאחר ושיטה זאת מייצרת את הרווח המהיר ביותר וכן כי הסיכויים לשגיאה וטעויות אחרות מופחתים.  כמו כן, ישנו ערך מוסף לכך שבשיטה זאת הפרשנות מאוד מובנת לכלל הארגון וניתן לשתף זאת עם אחרים. כאשר משתמשים בשיטות יותר מורכבות הפרשנות היא מאוד סטטיסטית ודורשת ידע מקצועי מעמיק יותר.

AB Testing

מחויבות ל- AB Testing

AB Testing דורשת השקעה של זמן ומשאבים ברחבי הארגון. ההיקף ההשקעה תלוי בתשתית הקיימת והזמינה לבדיקות אלו. כדי שבדיקות מסוג זה ייצרו שיפור מרבי של כל האינטראקציות עם הלקוחות, חשוב לבצע אופטימיזציה לכל ה-FUNNELS. לפני היציאה לדרך, חשוב כי כל המחלקות בחברה יהיו מחויבות לתהליכים אלו על מנת שהתהליך יהיה אפקטיבי ככל האפשר.

דוגמא לתהליך  ה-AB Testing בתהליך רישום לאפליקציה

  1. שאל שאלה –  "איך אני יכול לקבל יותר למשתמשים להירשם לאפליקציה?"
  2. בצע מחקר רקע – השתמש בEVENT  עבור אפליקציות או עבור ניתוח האינטרנט בכלים כגון Google FIREBASE כדי לעקוב אחר התנהגות המשתמש. חקור ב-BI  היכן  מרבית המשתמשים נופלים ברישום, הסתכלות על בדיקות קודמות וכד'.
  3. מהי הנחת היסוד –  "הסרת FACEBOOK מחלון ההתחברות האפליקציה תשפר את  אחוז המשתמשים המשלימים רישום ב-20%" ( יש להבין מה ה-KPI אותו מודדים כתנאי להצלחה או כישלון)
  4. צור עיצוב מתאים  – צור בדיקת A / B שבה הגרסה היא העתק מדויק של הממשק הקיים אך ללא  ההתחברות עם FB.
  5. הקצאת אוכלוסייה למבחן לתקופה מוגדרת – הקצאה של 20% מהמשתמשים לתקופה של שבועיים.
  6. לניתוח הנתונים והסקת מסקנות –  אם בגרסה ללא מסך התחברות עם  FB שיעור השלמה  גבוה יותר ומובהק סטטיסטית מהבקרה שלך, אתה יכול להסיק כי הסרת FB ממסך ההתחברות , ככל הנראה, להגדיל השלמת רישום.  מאוד חשוב להחליט אל רמת המובהקות המקובלת בארגון ( לרוב PVALUE של  0.01 או 0.05)
  7. תאר את התוצאות – שתף את הממצאים עם כלל בעלי העניין בבדיקה  שנערך. זה יאפשר לכולם להיות  מסונכרנים ועם אותו יעד מוגדר. היתרונות הם:
  • הבטחה כי מחלקות אחרות לא מבזבזות זמן יקר בחיפוש למשהו שכבר נחקר.
  • מתן  רעיונות לעמיתיך למתודולוגיה ויישומי AB Testing שנערכו , אשר אולי רלוונטיים לתחומים שלהם

( בסדרה של Split AB tests  שאני הרצתי על אפליקציית צ'טים שיפרנו ב34% את תוצאות הרישום כתוצאה ממספר בדיקות מסוג זה)

רשימת AB Best Practices  שניתן לבצע מיד:

כותרות, צבע / גודל של לחצנים, קריאות לפעולה, עיצוב בית, יישומונים שיתוף חברתי, תמונות, קופי-רייטינג, Funnels, ציטוטי מדיה, תכונות חדשות ועדכונים

חשיבות של בחירת ה-Framework המתאים ביותר עבור AB Testing  בחברה שלך

לחברות שונות צרכים שונים לבדיקה שכן המוצר שונה ומדדי ההצלחה משתנים על פני חברות ומוצרים. זה חיוני למפות ולהבין את הצרכים והדרישות בחברה לפני רכישת כל פתרון SaaS ( כגון optimizely ,apptimize, וגם Firebase מאפשר Split tests) או בנייה של מערכת בדיקות פנימית. מצד אחד, בניית מערכת פנימית להרצת הבדיקות  תעניק את הגמישות והיכולות שהחברה צריכה בדיוק מירבי, מצד שני,  העלות לפיתוח עלולה להיות מאוד גבוהה. הייתי מייעץ להתחיל עם MVP ובנייה עליו בהדרגה. השימוש בSaaS יקנה לחברה זמן הגעה לשוק מהיר, אבל לא תמיד נותן בדיוק את מה שצריך. כלומר יהיה צורך בעבודות תשתית  ופיתוח כדי שהמערכת  תרוץ ביעילות מקסימלית וגם לכך יש עלות שהרבה פעמים היא יותר ממה שחושבים מתחילה.

לדוגמה: אם מדד ההצלחה הוא כזה שפתרון ה-SaaS  אינו יכול לעבוד איתו ( לדוגמה  Revenue/Pageview )   כי המערכת עובדת רק לפי GOALS ( לדוגמה – הגיע לעמוד מסוים) שימוש במערכת מסוג זה תדרוש שינויים משמעותיים כדי לתת תפוקה חיובית או שמדד זה יינטש לעת עתה. במקרים כגון אלה, חברות נוטות לבנות מערכת משלהם, בכפוף למגבלות התקציביות שלהם.

אל תעשה :

  • אל תתחילו בדיקות ללא השערה מכוונת למידה ( לא השערה כללית)
  • אל תבואו עם דעות קדומות לגבי איזה Variant ינצח ואיזה יפסיד. ישנה הרבה הפתעות כאשר עושים בדיקות מסוג זה
  • אל תמהרו  לסיים בדיקות. זמן הוא גורם קריטי  ואסור לזלזל יש צורך בסבלנות. כל בדיקה צריכה להיות למשך המיועד לו בתלות בגורמים חיצוניים ( לדוגמה : Pageviews). ככלל אצבע, אני מציע להריץ כל בדיקה במשך שבועיים לפחות. וכן לא לבדוק שבועות חלקיים רק שבועות מלאים בכל פעם.
  • אל תוותרו לאחר הבדיקה הראשונה גם אם ההשערה שלכם נכשלה. בחנו על בסיס קבוע כדי לשפר את התוצאות. מצד השני, אם ההשערה שלך נכשלת באופן עקבי, שקלו לבדוק אם יש בעיות טכניות בדיווח הנתונים.
  • אל תבדקו כאשר הצפי לעוצמת ההשפעה מאוד נמוך, יש להתמקד בשינויים בעלי ההשפעה הגבוהה ביותר והמשמעותית ביותר ( דפים עם שיעור נטישה גבוה, נקודות קריטיות ב-FUNNEL, שיעור נטישת חנות וכו')

לסיכום

AB Testing מורכבת משיטות סטטיסטיות וניתוחים המאפשרים שיפור המוצר וה- KPIs, בתנאי שהחברה מחויבת למתודולוגיות הבדיקות לאורך כל תהליך הפיתוח והיישום וככלל מחויבים ל-Data driven decision making. עם זאת, כאשר התשתית נבחרה ומומשה והמדדים מוגדרים היטב, אין צורך להיות סטטיסטיקאי כדי להבין את המושגים ואת המשמעות של הבדיקות שעורכים על אחת כמה וכמה אם במערכת ה-BI הבדיקות  מוצגות בצורה ברורה לכל.

לפני היציאה לדרך, יש צורך להחליט על תשתית הבדיקות שתאפשרנה בדיקות אופטימליות של המוצר או השירות.  בין אם זה אתר, אפליקציה, מכשיר IOT ובין אם מוצר תוכנתי אחר לכל אחד מהם פרופיל בדיקות ייחודי שתשתית הבדיקות ( פיתוח פנימי, חיצוני , שירות או מוצר) צריכה להיות מסוגלת לבדוק.

אמנם ישנם מיומנויות הנרכשות עם הזמן בביצוע AB TESTING. אבל סדרת בדיקות מתוכננת היטב, יכולה לספק תובנות בעלות ערך משמעותי ו-ROI גבוה לכל חברה המעוניינת לייעל את מוצר, שירות, שיווק  וככלל את תהליך קבלת ההחלטות ולצעוד לכיוון קבלת החלטות Data driven.

דטה קיוב פועלת בעולם המידע העסקי מעל עשור ומתמחה במידול ויישום פתרונות בטכנולוגיות המתקדמות ביותר.

נשמח להציג את ניסיונינו בתחום – לתאום פגישה ייעוץ לחץ כאן.

שלום דינור, Chief Data Scientist

דטה קיוב.