اجرای آزمون لیفت

لیفت چه چیزی را می‌سنجد#

هر بار که بودجه‌ای را بالا می‌برید یا کمپینی را خاموش می‌کنید، پرسش بعدی همیشه یکی است: «واقعا فرقی کرد؟» عدد خام دو هفتهٔ بعد جواب نمی‌دهد، چون فروش شما به‌هرحال روند و فصل و نوسان روزانه دارد.

لیفت این کار را می‌کند: از داده‌های پیش از تاریخ اقدام یک مدل می‌سازد، با آن پیش‌بینی می‌کند اگر هیچ کاری نمی‌کردید روزهای بعد چه می‌شد — این همان ضدواقعیت است — و تفاوت واقعیت با ضدواقعیت را جمع می‌زند. آن مجموع، لیفت افزایشی است و همیشه با یک بازه اطمینان ۹۵٪ می‌آید.

واحد کار، یک اقدام است، نه یک کانال. برای دیدن تصویر سبد کانال‌ها در بلندمدت به مدل مارکتینگ میکس بروید؛ آن ابزار حدود دو سال داده می‌خواهد، لیفت با حدود دو ماه کار می‌کند.

اقدام را تعریف کنید#

آزمون‌ها در مسیر /lift هستند. ساختن یک آزمون یعنی جواب‌دادن به دو دسته پرسش: چه کاری کردید، و می‌خواهید اثرش را روی چه چیزی و در چه بازه‌ای ببینید.

فهرست، هر آزمون را با نام، نوع اقدام، کانال، تاریخ و طول پنجره نشان می‌دهد و در انتهای ردیف یا وضعیت جاری («زمان بندی شده»، «در صف»، «در حال اجرا»، «ناموفق») یا حکم آزمون تمام‌شده می‌آید. آزمون‌های در جریان بالای فهرست می‌نشینند.

فیلدهایی که روی دقت اثر می‌گذارند#

ضدواقعیت چطور ساخته می‌شود#

موتور پیش‌فرض («گروهی (سریع)») روی دورهٔ پیشین چند مدل نامزد را برازش می‌کند — یک مدل ساختاری سری زمانی با سطح گام‌تصادفی و فصلی هفتگی، و یک مدل «همان روزِ هفتهٔ پیش» — و آن‌کدام را نگه می‌دارد که روی دنبالهٔ کنارگذاشته‌شدهٔ انتهای دورهٔ پیشین کمترین خطا را داشته باشد. بعد روی کل دورهٔ پیشین دوباره برازش می‌شود و روزهای بعد از اقدام را پیش‌بینی می‌کند.

پهنای بازه از یک بازنمونه‌گیری بلوکی باقی‌مانده‌ها می‌آید: مدل ده‌ها بار روی سری‌های ساختگی دوباره برازش می‌شود تا هم عدم‌قطعیت خودِ پارامترها و هم نوفهٔ آینده در بازه بنشیند. بلوک‌های هفت‌روزه هم‌بستگی هفتگی را حفظ می‌کنند.

موتور «رویکرد بیزین» ساختار مشابهی را — سطح گام‌تصادفی، فصلی هفتگی و رگرسیون روی کنترل — به‌صورت بیزی برازش می‌کند و ضدواقعیت را از توزیع پسین شبیه‌سازی می‌کند. کندتر است و وقتی حجم روزانه کم است، بازه‌اش صادق‌تر پهن می‌شود.

هر دو موتور، رویدادهای فصلی تقویم — نوروز، رمضان، محرم و بقیه — را که در پنجرهٔ آزمون بیفتند، به‌عنوان کنترل بیرونی می‌گیرند تا موج تعطیلات به حساب اقدام شما نوشته نشود. تقویم فصلی توضیح می‌دهد این‌ها از کجا می‌آیند.

چرا آزمون «زمان بندی شده» می‌ماند#

اگر پنجرهٔ اندازه‌گیری هنوز تمام نشده باشد، آزمون بلافاصله اجرا نمی‌شود و در وضعیت «زمان بندی شده» می‌ماند. اجرا خودکار وقتی شروع می‌شود که آخرین روز پنجره گذشته باشد، به‌علاوهٔ ۲ روز مهلت برای تبدیل‌هایی که دیر می‌رسند (سفارش‌های سمت سرور، اسناد تاخیری).

این عمدی است. سنجیدن پنجره‌ای که هنوز تمام نشده یعنی مقایسهٔ روزهای خالی با ضدواقعیتی که پر است — نتیجه‌اش یک لیفت منفی جعلی است. لازم نیست کاری کنید؛ آزمون خودش به صف می‌رود.

نتیجه را بخوانید#

حکم و بازه#

بالای کشوی نتیجه، خلاصهٔ اقدام و در انتهای آن نشان حکم می‌آید:

زیر آن، یک جملهٔ فارسی همین را روایت می‌کند و کنارش «معنادار (p=…)» یا «غیرمعنادار (p=…)» می‌آید. آن p احتمال دم توزیع است و برچسب «معنادار» را زیر ۰٫۱ می‌گیرد؛ اما مرجع نهایی، خودِ حکم است که فقط با بازهٔ ۹۵ درصدی تعیین می‌شود. «MAPE برازش» هم کنارش می‌آید و کیفیت ضدواقعیت روی دورهٔ پیشین را نشان می‌دهد: هرچه کمتر، پیش‌بینی نزدیک‌تر به رفتار واقعی سایت.

حکم «خنثی» یک نتیجه است، نه شکست#

این مهم‌ترین جملهٔ این صفحه است. «خنثی» یعنی تغییری که دیدید در محدودهٔ نوسان طبیعی همان سری جا می‌شود. مدل عمدا اثری را که نمی‌تواند از آن دفاع کند اعلام نمی‌کند.

ولی هر «خنثی» یک معنا ندارد؛ کارت «قابلیت تشخیص» حالت‌ها را از هم جدا می‌کند:

پس آزمون «کم توان» با حکم «خنثی» یعنی «نمی‌دانیم»، نه «اثری نداشت». راه درست کردنش یکی از این‌هاست: پنجرهٔ اندازه‌گیری بلندتر، دورهٔ پیشین بلندتر، یا سنجه‌ای با حجم روزانهٔ بیشتر (مثلا add_to_cart به‌جای purchase وقتی سفارش‌ها کم‌اند).

کارت‌های اثر#

• «لیفت افزایشی» — مجموع تفاوت واقعیت و ضدواقعیت در کل پنجره، با درصد نسبی و «بازه اطمینان ۹۵٪».
• «میانگین روزانه (همه)» و «میانگین روزانه (ارگانیک)» — تصویر کانیبالیزیشن؛ اگر کل بالا رفته ولی ارگانیک به همان اندازه پایین آمده، اقدام عمدتا تقاضای موجود را جابه‌جا کرده.
• «درآمد افزایشی» — برای سنجهٔ درآمد مستقیم مدل‌سازی می‌شود؛ برای سنجهٔ تبدیل، لیفت ضربدر میانگین ارزش سفارشِ دورهٔ پیشین.
• «هزینه تبلیغات (پنجره)»، «ROAS افزایشی» و «هزینه به ازای جذب» — همه بر پایهٔ هزینهٔ همان کانال و کمپینی که در تعریف آزمون انتخاب کرده‌اید. اگر نقش شما اجازهٔ دیدن هزینه را نداشته باشد، این سه کارت نمایش داده نمی‌شوند.

نمودار و جدول روزانه#

در «اثر افزایشی در طول زمان»، خط ممتد «مشاهده شده» است، خط چین «ضدواقعیت»، ناحیهٔ سایه‌دار بازهٔ پیش‌بینی ۹۵٪ و خط نازک «ارگانیک». نشانگر عمودی روی تاریخ اقدام است. جایی که خط ممتد بالای نوار سایه‌دار برود، لیفت مثبت واقعی است؛ داخل نوار یعنی همان چیزی که به‌هرحال انتظار می‌رفت.

با تیک «فقط نمایش پس از اقدام» می‌توانید دورهٔ پیشین را کنار بگذارید و روی پنجرهٔ اندازه‌گیری متمرکز شوید. جدول «لیفت افزایشی روزانه (دوره پسین)» همان را روز‌به‌روز عددی می‌دهد، و «داده‌های پیشرفته» چهار ردیف خام پیش و پس را برای همه و برای ارگانیک کنار هم می‌گذارد.

چیزی که لیفت نمی‌تواند بگوید#

ضدواقعیت، روند پیش از اقدام را ادامه می‌دهد. هر اتفاق دیگری که دقیقا هم‌زمان با اقدام شما بیفتد، به حساب اقدام نوشته می‌شود: تغییر قیمت، کمپین کانال دیگری، یک خبر رسانه‌ای، خرابی سایت.

سه محافظ در کار است — کنترل تقاضای ارگانیک، رویدادهای تقویم فصلی، و حکم خنثی به‌صورت پیش‌فرض — ولی هیچ‌کدام جای انضباط شما را نمی‌گیرد:

• هر بار یک چیز را عوض کنید و تاریخش را دقیق ثبت کنید.
• برای اقدام‌های هم‌زمان روی چند کانال، آزمون‌های جدا با کانال‌های جدا بسازید.
• فرض کنترل این است که اقدام روی خودِ ارگانیک اثری ندارد؛ اگر کمپین شما آشکارا جستجوی برند را بالا می‌برد، این فرض کمی سست می‌شود و بهتر است کنترل را خاموش کنید و هر دو حالت را ببینید.

آزمونی که تمام شده و «انجام شده» است را می‌توانید «ویرایش» کنید (ذخیره، دوباره اجرایش می‌کند)، «تکثیر» کنید تا همان تعریف برای اقدام بعدی آماده شود، «اجرای مجدد» بزنید وقتی داده‌ای دیر رسیده، یا با منوی «خروجی» به‌صورت «گزارش PDF»، «CSV (داده)» یا «PNG (نمودار)» بیرون بدهید.

پرسش‌های پرتکرار#

مطالب مرتبط#