בדיקת כדאיות שיווק בניסוי קבוצות תאומות

תאומיםחברת lastminute.com פרסמו מקרה מבחן בו הם השתמשו בשיטה של "קבוצות תאומות" עליה כתבתי לפני כחודש. הפרסום שלהם מאפשר לי להתמקד בשיטה הזו ולהרחיב קצת על מה זה "קבוצות תאומות", מה היתרון בהן ואיך נכון להשתמש בהן.

במאמר הקודם שלי, בו עסקתי ב ROI ובשיווק להמרות, הצגתי את נושא הבדיקות:

כשאנחנו מנסים לבדוק את השפעתו של קמפיין מסוים ותרומתו ל ROI של החברה, אנחנו מבצעים בדיקה בה אנחנו מוצאים שתי קבוצות של קהל, קבוצות תאומות בהתנהגותן, ומבודדים אותן. על קבוצה אחת אנחנו מפעילים את הקמפיין ובשנייה נמנעים ממנו. כך, כשאנחנו מודדים את הקבוצות זו מול זו, אנו יכולים לגלות את השפעת הקמפיין בצורה נקייה יחסית מהפרעות של עונתיות, שינוי בתחרות, קמפיינים אחרים שהפעלנו ועוד ועוד.

"אין באמת קבוצות תאומות" – זו הייתה הביקורת שכתבה לי מיכל מורנו על השיטה.

היא צודקת כמובן אם אנחנו מחפשים וודאות של 100% אבל אנחנו כאנליסטים מחפשים מובהקות סטטיסטית וברמה הזו בהחלט אפשר וצריך לעבוד.

המבחן של lastminute.com

חברת lastminute.com היו מעוניינים לבדוק עד כמה מסע הפרסום פרסום הלא ממותג (non branded) שלהם, שבוצע במודעות גוגל, תורם באמת לרווחי החברה. מזל שהמקרה שלהם פורסם רק בסוף ינואר כי  אחרת הייתי מאמין שהעתקתי מהם.

לכאורה המבחן שהם עשו מוזר, הרי אנחנו אמורים להיות מסוגלים לנטר באנליטיקס כניסות מקמפיין ולקשר בינן לבין רכישה, גם אם בפועל עבר זמן בין השלבים (multi channel funnels). אבל כולנו יודעים שכשאתה מסתמך על קוקיה (cookie) אתה מפסיד מידע כשלקוח עובר וגולש במספר מכשירים ובטח ובטח כשהלקוח מבצע רכישה טלפונית. הניסוי הראה שהייתה להם סטייה של 43% בהערכה לגבי יעילות הקמפיין בגוגל, אבל זה לא חשוב בכלל, מה שכן חשוב זו שיטת הבדיקה והניסוי.

שיטת הניסוי

האנליסטים של lastminute.com חשדו שישנו הפרש בין ההמרות שהם רואים כמשויכות לקמפיין מסוים לעומת המצב האמיתי בשטח. הם החליטו לבדוק את זה בניסוי. הם בחרו ליצור שתי קבוצות ולהפעיל את הקמפיין רק מול אחת מהן. כשכל שאר הקמפיינים פועלים ושאר התנאים דומים, ההפרש בין הקבוצות בניסוי יכול להיות משויך להעדרו של הקמפיין הבודד הזה.

הפרדת הקבוצות

מתכנני הניסוי הסתמכו על העובדה שקל לקבוע במערכת הפרסום של גוגל חלוקה גיאוגרפית על פיה יופצו המודעות. הם בחרו ערים מייצגות וחילקו אותן לשתי קבוצות – קבוצת הטיפול וקבוצת המבחן. לערים בקבוצת המבחן הם הפסיקו לחלוטין את מסע הפרסום המדובר. הניסוי נמשך במהלך 12 שבועות וכלל ערים מהן היו מספר הזמנות גדול יחסית.

נקודות מפתח בניסוי

  • השבועות הראשונים נקבעו כ"תקופת צינון" כדי לנתק את המסקנות מהשפעה מתמשכת של הקמפיין שפעל בעבר.
  • הבחירה של הערים לניסוי כללה רק ערים שהיו בקורלציה גבוהה, לאורך זמן, עם הביצועים הכלליים של החברה. כך נוטרלו השפעות עונתיות וכן השפעות הנובעות מהבדלים דמוגרפיים בין הערים השונות, הבדלי הכרות עם המותג וכדומה.
  • מאחר וקיימים בניסוי מקורות "רעש" רבים ולא ידועים, ננקטה שיטת מדידה הלוקחת בחשבון את אי הוודאות שהייתה צפויה.

תוצאת הניסוי כאמור הייתה שלמעשה, על כל רכישה שהחברה שייכה בעבר כתרומה של קמפיין זה, היו בפועל 1.43 רכישות (43% יותר). התוצאה הייתה ברמת מובהקות של 95% וכתוצאה מהבנה זו שוקלל החישוב כולו בתכנית הקמפיינים של החברה ויעילותם גברה.

תוכלו לקרוא את תקציר המחקר כאן.

כמה מילים לסיכום

למעשה כיום בכל אתר אינטרנט אנחנו מבצעים בדיקות דומות, בדיקות AB המפלחות את הקהל לקבוצות בצורה רנדומלית (ולכן, סטטיסטית לפחות, לקבוצות תאומות). ההבדל בין הניסויים הפשוטים האלה לניסוי של lastminute.com הוא בהיקף ובעובדה שהוא כלל את כל הרכישות שנעשו בחברה, גם רכישות טלפוניות שקודם לכן לא קושרו לקמפיין. אמינותו של ניסוי כזה תלויה כמובן בתכנון נכון, ביכולת לפלח את הקהל ולבודד את הקבוצות.