כללי עצירה לניסויים בפרסום ממומן צריכים להיקבע לפני שהמודעה הראשונה עולה לאוויר, לא אחרי יום חלש או זינוק רגעי בהמרות. בלי כללים כאלה, קל לכבות ניסוי שעוד לא קיבל הזדמנות הוגנת או להמשיך לממן גרסה שלא מצדיקה את העלות. המטרה היא להגדיר מראש איזה מידע דרוש להחלטה, כמה כסף מוכנים לסכן ובאילו מצבים עוצרים גם בלי תשובה חד־משמעית.
כלל עצירה טוב מפריד בין שתי שאלות: האם כדאי להמשיך להוציא כסף? ו־האם יש מספיק ראיות לכך שגרסה אחת טובה מהאחרת? לפעמים התשובה לראשונה היא לא, בעוד שהתשובה לשנייה עדיין אינה ידועה.
מה כוללים כללי עצירה לניסויים בפרסום ממומן?
כלל עצירה הוא תנאי שנכתב מראש ומגדיר מתי מפסיקים להקצות תנועה או תקציב לניסוי. הוא יכול להתייחס להוצאה, למשך הפעילות, לכמות הנתונים או לתוצאה עסקית. חשוב גם להגדיר מה עושים אחרי העצירה: מסכמים תוצאות, ממתינים להבשלת המרות או מתקנים תקלה ומתחילים ניסוי חדש.
יש שלושה סוגים עיקריים של החלטות:
| סוג ההחלטה | הסיבה לעצירה | מה אפשר להסיק |
|---|---|---|
| עצירת בטיחות | תקלה, חריגה מתקציב או פגיעה עסקית | אי אפשר להמשיך בתנאים הנוכחיים |
| עצירה עקב ביצועים לא מספקים | נחצה גבול הפסד שנקבע מראש | הגרסה אינה מצדיקה כרגע הוצאה נוספת לפי מדיניות העסק |
| סיום לצורך הכרעה | הושלמו תנאי המדידה שנקבעו | אפשר לנתח את ההבדל ולבדוק אם הוא תומך בהחלטה |
עצירת הוצאה אינה בהכרח הוכחה לכישלון. אם התקציב נגמר לפני שנאספו מספיק נתונים, התוצאה הנכונה יכולה להיות "אין הכרעה". זו מסקנה מועילה יותר מהכרזה על מנצח שלא נבדק כראוי.
לפני העצירה: מגדירים מה בדיוק בודקים
השערה אחת והשוואה הוגנת
נסחו שאלה שאפשר לענות עליה. למשל: "האם מסר שמציג את תהליך השירות מפחית את העלות לליד איכותי לעומת המסר הקיים?" זו שאלה ברורה יותר מ־"האם הקריאייטיב החדש עובד?".
כדי לייחס את ההבדל למסר, שמרו ככל האפשר על אותם תנאי קהל, הצעה ודף נחיתה. אם משנים כמה רכיבים יחד, הניסוי יכול לבחון את החבילה החדשה, אך לא לזהות איזה רכיב גרם לשינוי.
גם אופן חלוקת התנועה חשוב. שני קמפיינים שפונים לאותו קהל אינם בהכרח ניסוי מבוקר: הם עשויים להתחרות ביניהם או לקבל תנועה שונה. כאשר יש אפשרות מתאימה, השתמשו בכלי ניסויים עם חלוקה אקראית והפרדה בין הקבוצות. בדקו מראש מהי יחידת ההקצאה, כדי שאותו אדם לא ייחשב בטעות לכמה תצפיות עצמאיות.
מדד ראשי שמחובר לתוצאה העסקית
בחרו מדד ראשי אחד שעליו תתבסס ההחלטה. בעסק שירותים זה יכול להיות עלות לליד איכותי, ובעסק מסחר הכנסה או רווח תרומה ביחס להוצאה. קליקים ושיעור הקלקה יכולים לסייע באבחון, אך אינם תחליף לתוצאה העסקית.
הגדירו גם מה נחשב ליד איכותי ומתי מתקבל הסיווג. אם גרסה אחת מביאה פניות זולות שאינן מתאימות לשירות, העלות לטופס לבדה עלולה להטעות. כשאיכות הפניות תלויה במה שקורה לאחר השארת הפרטים, כדאי להבין איך לזהות צוואר בקבוק בין ליד לפגישת מכירה לפני שמשתמשים בפגישות כמדד להכרעה.
קבעו מראש גם מדדי הגנה, כמו שיעור פניות לא תקינות או ביטולים. כך לא תבחרו גרסה שמשפרת את המדד הראשי במחיר של בעיה אחרת.
כמה נתונים צריך לפני שמותר להכריע?
אין מספר אוניברסלי של ימים, קליקים או המרות שמספיק לכל ניסוי. גודל המדגם תלוי בשיעור הבסיס, בשיפור שרוצים לזהות וברמת אי־הוודאות שמוכנים לקבל.
לדוגמה, בהשוואה פשוטה בין שני שיעורי המרה, זיהוי עלייה מ־5% ל־6% דורש בקירוב 8,200 תצפיות עצמאיות בכל קבוצה, בהנחות של בדיקה דו־צדדית, רמת מובהקות של 5% ועוצמה של 80%. זהו חישוב תכנוני מקורב, לא המלצה קבועה לחשבון פרסום. העלייה היא נקודת אחוז אחת, או שיפור יחסי של 20%.
הדוגמה ממחישה מדוע כמה עשרות המרות לא בהכרח מספיקות כדי לזהות שיפור מתון. במדדי עלות או הכנסה נדרש תכנון שמתחשב גם בשונות של הנתונים; חישוב לשיעור המרה בלבד לא עונה בהכרח על השאלה העסקית.
בחרו גם משך מינימלי שמתאים למחזור הפעילות. מדגם שנאסף כולו ביום מבצע חריג עשוי לא לייצג פעילות רגילה. אם התקציב אינו מאפשר את המדגם הדרוש, עדיף להגדיר את הבדיקה כפיילוט ללמידה ולא להבטיח הכרעה סטטיסטית.
בונים גבולות נפרדים לכסף, לביצועים ולראיות
תקרת תקציב ועצירת בטיחות
קבעו סכום מרבי לכל גרסה ולניסוי כולו. התקרה נגזרת מכושר הספיגה של העסק ומערך המידע הצפוי, לא רק מתקציב הפרסום החודשי.
תקלות אינן צריכות להמתין לסוף הניסוי. טופס שלא שולח פניות, עמוד תשלום שבור או אירוע המרה שמדווח פעמיים מצדיקים עצירה ובדיקה מיידית. אם התקלה פגעה רק בקבוצה אחת, ההשוואה כבר אינה נקייה. תעדו את התקופה שנפגעה והחליטו אם צריך להתחיל מחדש.
כלל תקציבי קובע גבול להוצאה, אך אינו קובע איזו גרסה טובה יותר. חשוב לשמור את ההבחנה הזאת גם בדוח הסיכום.
גבול לביצועים שאינם מצדיקים המשך
אפשר להגדיר גבול עסקי, למשל עלות לליד איכותי שמעליה לא ממשיכים להשקיע לאחר הוצאה מינימלית והמתנה להבשלת הנתונים. הגבול צריך להיות כתוב מראש, כולל מועד הבדיקה והטיפול במקרה שאין המרות כלל.
זו החלטה לניהול סיכון. היא אינה מוכיחה שהגרסה גרועה בכל מצב או שהפער מובהק סטטיסטית. ניסוי קטן יכול להגיע לגבול ההפסד בגלל תנודה מקרית, והעסק עדיין רשאי לבחור שלא לממן את המשך הבדיקה.
אם רוצים לעצור מוקדם על בסיס מסקנה סטטיסטית של חוסר תועלת, נדרשת שיטה מתוכננת שמתירה זאת. לא מספיק לבדוק שוב ושוב אם התוצאה "נראית חלשה".
תנאי הצלחה שלא משתנים באמצע
הגדירו מהו שיפור שמצדיק שינוי בפועל. הפחתה זעירה בעלות עשויה לא להצדיק החלפת מסר, תהליך או דף נחיתה, גם אם יש לה תמיכה סטטיסטית.
בבדיקה רגילה עם מדגם קבוע, מבצעים את ההכרעה במועד שתוכנן. הסתכלות יומית ועצירה ברגע שמופיעה מובהקות מגדילות את הסיכון להכרזה שגויה. אם רוצים אפשרות להכריע מוקדם, השתמשו בשיטת בדיקה סדרתית שהוגדרה מראש ושבאמת מתאימה לכלי ולנתונים.
גם בדיקת הרבה גרסאות או חיפוש אחר מדד מנצח בדיעבד דורשים טיפול בריבוי השוואות. מובהקות ביחס להיעדר הבדל אינה מוכיחה כשלעצמה שהשיפור גדול מספיק מבחינה עסקית.
מתחשבים בהשהיית המרות לפני שמכבים גרסה
בניהול קמפיינים דיגיטליים יש פער בין מועד החשיפה או הקליק לבין המועד שבו התוצאה נרשמת. רכישה יכולה להגיע אחרי כמה ימים, וסיווג ליד איכותי יכול להמתין לשיחה עם איש מכירות.
לכן, נתוני הימים האחרונים לעיתים אינם בשלים להשוואה. לפי ההסבר של Google Ads על הזמן עד להמרה, השהיית המרות משפיעה על האופן שבו מפרשים ביצועים סמוך למועד הפעילות. אין מספר שעות אחיד שמתאים לכל חשבון.
הגדירו חלון הבשלה לפי הנתונים שלכם והבחינו בינו לבין חלון הייחוס של מערכת הפרסום. חלון ייחוס קובע אילו המרות עשויות להיזקף לזכות הפרסום; חלון הבשלה קובע כמה זמן מחכים לפני שמנתחים קבוצה מסוימת של תנועה.
אפשר לעצור הוצאה כשמגיעים לתקרה ולהמשיך להמתין לתוצאות של התנועה שכבר נרכשה. כדי לעשות זאת באופן אמין, צריך לחבר את דף הפרסום למדידה ולטיפול בלידים, כך שהשיוך לגרסה ואיכות הפנייה יישמרו גם בהמשך התהליך.
דוגמה: כללי עצירה לפיילוט בתקציב מוגבל
נניח שעסק שירותים בודק מסר חדש מול מסר קיים. העלות הרצויה לליד איכותי היא עד 300 ש״ח. הדוגמה הבאה היא מדיניות המחשה בלבד, לא ספים מומלצים לכל עסק.
| רכיב | כלל שנקבע לפני ההשקה |
|---|---|
| מדד ראשי | עלות לליד איכותי לפי הגדרה אחידה ב־CRM |
| רף עסקי רצוי | שיפור נצפה של לפחות 20% מול הביקורת ועלות שאינה עולה על 300 ש״ח |
| תקופת פעילות מתוכננת | 14 ימים, אלא אם נחצה גבול בטיחות או תקציב |
| תקרת הוצאה | 6,000 ש״ח לכל גרסה ו־12,000 ש״ח בסך הכול |
| חלון הבשלת איכות | 72 שעות, בהנחה שזה מתאים לזמני הסיווג שנמדדו בעסק |
| בדיקת גבול הפסד | במועד בדיקה שנקבע מראש, לאחר לפחות 4,500 ש״ח הוצאה שהנתונים שלה הבשילו |
| גבול הפסד | עלות מעל 450 ש״ח לליד איכותי, או אפס לידים איכותיים בתנאי הבדיקה |
במועד הבדיקה, גרסה חדשה שהוציאה 4,500 ש״ח והניבה שמונה לידים איכותיים מציגה עלות של 562.5 ש״ח לליד. לפי המדיניות הזאת מפסיקים להזרים אליה תקציב. ההחלטה היא שאין הצדקה עסקית להמשיך תחת הגבול שנקבע, לא שהוכח בוודאות שהמסר נכשל.
לעומת זאת, גרסה שנראית טובה יותר אינה מוכרזת מיד כמנצחת. בתום הפיילוט בודקים אם כמות הנתונים מאפשרת ניתוח אמין. אם לא, אפשר לתכנן בדיקת המשך, אך אין להפוך את אותה תוצאה לראיה חזקה באמצעות הארכה חוזרת עד שהיא נעשית מובהקת.
איך מפעילים את הכללים בלי ליצור עצירות שגויות?
הפרידו בין ניטור תפעולי לבין ניתוח לצורך הכרעה. אפשר לבדוק מדי יום שהתקציב, הטפסים והמדידה תקינים. אין צורך לבצע מדי יום בדיקת מובהקות רגילה כדי להחליט אם יש מנצח.
באוטומציה, התחילו מהכללים הפשוטים והאמינים ביותר: התראה על תקלה או על התקרבות לתקרת ההוצאה. לפני שמפעילים כיבוי אוטומטי לפי עלות להמרה, ודאו שהמערכת יודעת להתייחס להשהיית הנתונים ולמדד הנכון. כלל שמבוסס על טפסים במערכת הפרסום אינו שקול לכלל שמבוסס על לידים איכותיים ב־CRM.
לכל כלל צריך להיות אחראי ברור ותהליך חזרה לפעילות. אחרת, קמפיין עלול להישאר כבוי אחרי תיקון תקלה, או להיפתח מחדש בלי שהסיבה לעצירה נפתרה.
מסכמים את הניסוי בלי לשנות את השאלה
בדוח הסיום תעדו את ההשערה המקורית, תנאי ההשוואה, ההוצאה, כמות הנתונים הבשלים וסיבת העצירה. ציינו גם תקלות ושינויים שנעשו במהלך הפעילות. כך ניתן להבחין בין תוצאה חלשה לבין ניסוי שלא בוצע בתנאים שתוכננו.
שמרו שלוש אפשרויות סיכום נפרדות: יתרון שנתמך בנתונים, עצירה בגלל גבול עסקי או היעדר הכרעה. היעדר הבדל מובהק אינו הוכחה ששתי הגרסאות שוות. לפעמים פשוט לא נאסף מספיק מידע כדי לזהות את ההבדל שמעניין את העסק.
כללי עצירה לניסויים בפרסום ממומן מועילים במיוחד כשהם נשמרים לצד התוצאה. הם מאפשרים להבין לא רק מה הוחלט, אלא גם אם ההחלטה התקבלה לפי התכנון או בעקבות שינוי לא מתוכנן.
שאלות נפוצות
האם אפשר לעצור ניסוי אחרי יומיים? כן, במקרה של תקלה או חציית גבול בטיחות שהוגדר מראש. יומיים אינם כשלעצמם בסיס מספיק להכרעה על ביצועים. ההחלטה תלויה בתכנון המדגם, במחזור הפעילות ובהבשלת התוצאות.
האם עלות גבוהה לליד היא סיבה אוטומטית לכיבוי? רק אם הוגדרו גם תנאי הבדיקה: איזו עלות נמדדת, כמה הוצאה נדרשת ואילו נתונים כבר הבשילו. עלות גבוהה בתחילת הפעילות יכולה להתבסס על מעט מאוד תוצאות.
מה עושים כשהתקציב נגמר בלי מנצח? עוצרים את ההוצאה, ממתינים להבשלת הנתונים ומסכמים שאין הכרעה אם זו המסקנה. בדיקת המשך צריכה לקבל תכנון חדש שמתחשב במה שנלמד ובתקציב הזמין.
האם מותר לשנות את כלל העצירה באמצע? שינוי יכול להיות נחוץ עקב תקלה או אילוץ עסקי, אך צריך לתעד אותו. שינוי שנעשה בעקבות התוצאות עלול לפגוע בתקפות של ההכרעה המתוכננת, ולכן אין להציג אותה כאילו הניסוי התנהל ללא שינוי.
מגדירים את גבולות הניסוי לפני ההשקה
לפני הניסוי הבא, כתבו מסמך קצר עם השערה, מדד ראשי, תקרת הוצאה, תנאי מדגם, חלון הבשלה והחלטה לכל תרחיש. אם אתם צריכים לחבר בין התכנון הזה, מעקב ההמרות והביצוע השוטף, אפשר לפנות ליובל ב־Brandbuilder's Collective ולבחון ניהול קמפיינים שמתבסס על מדידה ועל גבולות החלטה ברורים.