الأثر الإضافي والتجارب: مجموعات الاستبعاد والاختبارات الجغرافية ودراسات الارتفاع، تصميماً وقراءة بأمانة

الأثر الإضافي هو ما أضافه النشاط: الفرق بين ما حدث وما كان سيحدث من دونه. راجع مدخل الأثر الإضافي في المسرد. ولا يُظهر النصف الثاني من هذه الجملة إلا تجربة فيها مجموعة ضبط مختارة عشوائياً. ويعدّد مقال الأسس قياس الفاعلية التصاميم؛ أما هذا المقال فعن حسن تنفيذها.

• القرار الذي يخدمه هل تتسبب قناة أو حملة أو مستوى إنفاق أو خيار إبداعي فعلاً في النتيجة، قبل أن يتحرك المال بناءً على ذلك.
• التصاميم مجموعات الاستبعاد على مستوى المستخدم، والتجارب الجغرافية التي توزّع مناطق كاملة عشوائياً¹، ودراسات الارتفاع لدى المنصات التي تستخدم مجموعات ضبط عشوائية^6، 7.
• الجزء الصعب آثار الإعلان صغيرة قياساً إلى التذبذب في المبيعات، فكثير من الاختبارات لا يستطيع رصدها؛ ووجد لويس وراو أن الوسيط لفترة الثقة حول العائد على الاستثمار يتجاوز عرضه 100 نقطة مئوية عبر 25 تجربة كبيرة⁴.
• لماذا يهم كثيراً ما تعجز الطرق القائمة على الملاحظة عن إعادة إنتاج النتائج التجريبية، حتى مع بيانات غنية⁸.
• مكانه تُثبت التجارب السببية، وتعاير نموذج المزيج والإسناد⁹.

تقوم كل خطة على بضعة افتراضات كبيرة: أن الإعلانات المدفوعة على وسائل التواصل تجلب مشترين جدداً، وأن التلفزيون ما زال يحرّك البحث، وأن إعادة الاستهداف تستحق كلفتها، وأن مضاعفة الإنفاق في منطقة سترفع المبيعات. والتجربة تحوّل افتراضاً واحداً منها إلى دليل. ويضع تقرير IPA Making Effectiveness Work التجارب في المرتبة الثانية من حلقة MESI: يشير النموذج إلى حيث يمكن أن تتغير الخطة، وتختبر التجربة ذلك التغيير، وتغذّي النتائج المحاكاة والتنفيذ وإعادة معايرة الإسناد والنموذج⁹.

والانضباط المطلوب هو أن تختبر ما سيغيّر قراراً. فالاختبار الذي لن يعمل أحد بنتيجته كلفةٌ لا تعلّم. اكتب القرار أولاً («إن كان الارتفاع دون كذا، خفّضنا القناة بمقدار الثلث»)، ثم صمّم الاختبار القادر على إخبارك.

مجموعات الاستبعاد. تُحجب نسبة عشوائية من الجمهور عن حملة أو قناة أو سلسلة رسائل، وتُقارن النتائج. وهي طبيعية في القنوات التي توصلها بنفسك، مثل البريد الإلكتروني وبرامج إدارة علاقات العملاء، حيث تقرر أنت من يتلقى ماذا. ومجموعة الاستبعاد الدائمة، أي نسبة صغيرة من العملاء لا تتلقى برنامجاً معيناً أبداً، تتيح لفريق إدارة علاقات العملاء قياس مساهمة ذلك البرنامج باستمرار لا مرة واحدة.

التجارب الجغرافية. تُوزَّع مناطق غير متداخلة عشوائياً بين الاختبار والضبط، وتعيش كل منطقة حالتها عبر إعلانات موجّهة جغرافياً. ووصف فيفر وكولر في Google هذا النهج عام 2011 بأنه بسيط من حيث المفهوم، وله عملية تصميم منهجية، ونتائجه سهلة التفسير¹. ووزّعت ورقة لاحقة الاختبار والضبط بالتناوب على عدة فترات لإنتاج سلسلة من القياسات بدلاً من قراءة واحدة². وحين تكون المناطق المتاحة قليلة، كما في الدول الأصغر أو اختبارات الأسواق المتطابقة، يتنبأ الانحدار الزمني لدى وانغ وفيفر بسلسلة المبيعات المضادة للواقع في مناطق الاختبار انطلاقاً من مناطق الضبط، ويقدّر الأثر التراكمي في نهاية الاختبار³. وتقيس الاختبارات الجغرافية مبيعات حقيقية ولا تحتاج إلى تتبّع المستخدمين، ما يجعلها صامدة أمام تغييرات الموافقة وملفات تعريف الارتباط الموصوفة في الإسناد وحدوده.

دراسات الارتفاع لدى المنصات. تجري منصات الإعلان دراسات لارتفاع التحويل وارتفاع مؤشرات العلامة بمجموعات ضبط عشوائية. ومن الطرق الأساسية وراءها الإعلان الشبح: ففي مجموعة الضبط يسجّل النظام اللحظة التي كان سيعرض فيها الإعلان، فيُقارن المعرَّضون بنظرائهم الحقيقيين. ويفيد جونسون ولويس ونوبماير بأن هذه الطريقة تقيس الارتفاع بدقة تقارب التصاميم الأقدم (مجموعات ضبط تُعرض عليها إعلانات خدمة عامة، واختبارات نيّة المعالجة) بكلفة أقل بعشر مرات على الأقل⁶؛ وأشارت الجمعية الأمريكية للتسويق، عند تكريم الورقة، إلى أن عدة منصات إعلانية تقدّم طرق الإعلان الشبح⁷. والحدّ هنا أن كل دراسة ترى منصة واحدة، وتديرها المنصة نفسها.

أكثر الإخفاقات شيوعاً اختبار أصغر من أن يرى شيئاً. وقد بيّن لويس وراو السبب: فمبيعات الأفراد شديدة التذبذب قياساً إلى كلفة الإعلان لكل شخص، فقد تحتاج التجارب المفيدة إلى أكثر من 10 ملايين أسبوع-شخص، وهو ما قد يضعها خارج متناول كثير من الشركات⁴. ويقدّم مسحهما الأوسع لقياس الإعلان الرقمي مع ديفيد رايلي الحجة نفسها لصالح التصميم الدقيق⁵. وعملياً:

• قِس أقرب إلى الإعلان حين تكون المبيعات شديدة التذبذب، لكن صرّح بذلك: فارتفاع زيارات الموقع ليس ارتفاعاً في الربح.
• فضّل المناطق حين يتعذّر تتبّع الأفراد ويُباع المنتج خارج الإنترنت.
• شغّل الاختبار مدة كافية لتغطية دورة الشراء وأي أثر ممتد، ولإتاحة أسبوع أو اثنين للانطلاق.
• اتفق على العتبة مسبقاً. فالنتيجة «إيجابية» فقط قياساً إلى العتبة المحددة قبل الإطلاق.

التجارب غير منحازة، لكنها ليست دقيقة تلقائياً. ويخلص لويس وراو إلى أن التجارب العشوائية تضيف معلومات غير منحازة حتى حين تكون الفترات واسعة⁴؛ والتقرير الأمين يقول ما استبعده الاختبار وما لم يستبعده. والاختبار الذي لا يستطيع التمييز بين «لا أثر» و«أثر كبير» لم يجب عن شيء يخص الميزانية، والرد الصحيح اختبار أكبر أو أطول، لا عنوان واثق.

واقرأ النتيجة أيضاً على حقيقتها. فالاختبار يقيس نشاطاً واحداً، في فترة واحدة، لدى الجماهير أو المناطق المختبَرة، وبمستوى الإنفاق المختبَر. ولا يقول ما الذي يحدث عند مضاعفة الإنفاق، أو في موسم آخر، أو مع إعلان آخر، وعادةً ما تفوته الآثار التي تصل بعد انتهائه، ولهذا نادراً ما تظهر آثار العلامة في اختبار تحويل قصير. فتعامل مع كل نتيجة على أنها نقطة واحدة على منحنى الاستجابة الذي يحاول نموذج المزيج رسمه، لا على أنها المنحنى نفسه، وكرّر الاختبارات المهمة: فتصميم Google الذي يبدّل الاختبار والضبط على عدة فترات بُني لهذا النوع من القياس المستمر².

تجيب التجربة عن سؤال واحد في وقت واحد، وتأتي أعظم قيمتها حين تعاير الطرق الأخرى. فوصف Robyn يتضمن معايرة اختيارية بنتائج تجارب الحقيقة الميدانية¹⁰، والنماذج البايزية مثل نماذج Google تنطلق من افتراضات مسبقة يشتد وزنها تحديداً حين تكون البيانات شحيحة، فتكون التجربة حسنة التصميم أفضل افتراض مسبق يمكن أن يحصل عليه النموذج¹¹. ومقارنة غوردون وزملائه بين التجارب والطرق القائمة على الملاحظة على الحملات نفسها هي سبب تفضيل تلك الحقيقة الميدانية⁸. وينبغي أن تتغير قواعد الإسناد أيضاً: فإن أظهر اختبار استبعاد أن إعادة الاستهداف لا تضيف إلا قليلاً، فيجب خفض الفضل المنسوب إليها في التقرير اليومي تبعاً لذلك.

وعبر هذا المسار يجري التثليث هكذا: يقترح نموذج المزيج، وتختبر التجربة، ويُصحَّح الإسناد، ويُظهر تتبّع العلامة هل تتحرك الصورة طويلة المدى معه.

مثال إيضاحي، بلا بيانات حقيقية. خدمة اشتراكات تنفق بكثافة على الإعلانات المدفوعة في وسائل التواصل وتعتقد أنها تجلب عملاء جدداً. ولا يستطيع نموذج المزيج فصلها عن الطلب الموسمي، لأن الإنفاق كان يرتفع دائماً في الأشهر نفسها. يكتب الفريق القرار: إن تجاوزت الكلفة الإضافية لكل مشترك جديد مستهدفها، تُخفَّض الإعلانات المدفوعة على وسائل التواصل إلى مستوى الصيانة. ثم يقسم مناطق البلد إلى أزواج متطابقة، ويوقف عشوائياً الإعلانات في منطقة من كل زوج لثمانية أسابيع، ويثبّت التحليل مسبقاً. فتُظهر النتيجة ارتفاعاً حقيقياً لكنه أصغر مما يذكره تقرير المنصة نفسها، بنطاق يظل فوق حدّ القطع. فيُبقي الفريق القناة بمستوى أدنى، ويُدخل النتيجة في النموذج افتراضاً مسبقاً، ويجدول الاختبار التالي لتغيير إبداعي.

1. اختبار ما لن يعمل به أحد ابدأ من القرار.
2. اختبارات ضعيفة القدرة عدد قليل جداً من الأشخاص أو المناطق أو الأسابيع لرؤية أثر واقعي⁴.
3. النظر المتكرر والإيقاف المبكر حدّد المدة مسبقاً.
4. قراءة ارتفاع المنصة كأنه حقيقة عابرة للقنوات إنه يقيس منصة واحدة، تديرها تلك المنصة.
5. تغيير أمور أخرى في منتصف الاختبار عرض ترويجي في منطقة الاختبار يفسد المقارنة.
6. حفظ النتيجة في الأدراج الاختبار الذي لا يحدّث النموذج وقواعد الإسناد مهدَر.

يوم الاثنين:

1. اكتب أكبر ثلاثة افتراضات في خطة هذا العام والقرار الذي يقوده كل منها.
2. للافتراض الأول، اختر التصميم بالسُّلّم أعلاه واكتب قاعدة القرار.
3. احسب حجم الاختبار مع المحلل أو الوكالة: أصغر أثر يستحق المعرفة، والعيّنة والأسابيع التي يحتاجها.
4. اكتب خطة التحليل قبل الإطلاق وشاركها مع الإدارة المالية.
5. حافظ على نظافة الاختبار والضبط، ودوّن كل ما يحدث في أيٍّ منهما.
6. أبلِغ عن النطاق وما يستبعده، ثم حدّث نموذج المزيج وقواعد الإسناد.
7. احتفظ بأجندة تعلّم، أي قائمة متجددة بالأسئلة والنتائج، إلى جانب إطار القياس، وراجعها مع مدير التسويق التنفيذي كل ربع سنة.

• فيفر وكولر عن التجارب الجغرافية^1، 2، ووانغ وفيفر عن الانحدار الزمني³.
• لويس وراو عن اقتصاديات قياس الإعلان⁴، ولويس وراو ورايلي عن الحدود الرقمية⁵.
• جونسون ولويس ونوبماير عن الإعلانات الشبحية^6، 7، وغوردون وزملاؤه عن التجارب والطرق القائمة على الملاحظة⁸.
• تقرير IPA Making Effectiveness Work⁹، ومعايرة Robyn¹⁰، وGoogle عن الافتراضات المسبقة البايزية¹¹.
• على IMC Report: قياس الفاعلية، وهدف إثبات الفعالية، ومدخلا المسرد اختبار A/B والارتفاع في مؤشرات العلامة.