Incrémentalité et expérimentations : holdouts, tests géographiques et lift, conçus et lus honnêtement

L'incrémentalité, c'est ce qu'une activité a ajouté : l'écart entre ce qui s'est passé et ce qui se serait passé sans elle. Voir incrémentalité dans le glossaire. Seule une expérimentation, avec un groupe témoin tiré au sort, montre la seconde moitié de cette phrase. L'article de fond mesurer l'efficacité énumère les dispositifs ; celui-ci explique comment bien les mener.

• La décision qu'elle éclaire savoir si un canal, une campagne, un niveau de dépense ou un choix créatif cause réellement le résultat, avant de déplacer de l'argent sur cette base.
• Les dispositifs holdouts au niveau des personnes, tests géographiques qui tirent au sort des régions entières¹, et études de lift des plateformes, avec groupes témoins randomisés^6, 7.
• La difficulté les effets publicitaires sont petits face au bruit des ventes, si bien que beaucoup de tests ne peuvent pas les détecter ; Lewis et Rao ont trouvé, sur 25 grandes expérimentations, un intervalle de confiance médian sur le retour sur investissement de plus de 100 points de pourcentage de large⁴.
• Pourquoi c'est important les méthodes observationnelles échouent souvent à retrouver les résultats expérimentaux, même avec des données riches⁸.
• Sa place les expérimentations établissent la cause et calibrent le modèle de mix et l'attribution⁹.

Tout plan repose sur quelques grandes hypothèses : que les réseaux sociaux payants apportent de nouveaux acheteurs, que la télévision fait toujours monter la recherche, que le reciblage vaut son coût, que doubler la dépense dans une région fera monter les ventes. Une expérimentation transforme l'une de ces hypothèses en preuve. Making Effectiveness Work, de l'IPA, place l'expérimentation en deuxième position de sa boucle MESI : le modèle indique où le plan pourrait changer, l'expérimentation teste ce changement, et les résultats nourrissent la simulation, la mise en œuvre et le recalibrage de l'attribution et du modèle⁹.

La discipline consiste à tester ce qui changerait une décision. Un test dont personne n'exploitera le résultat est un coût, pas un apprentissage. Écrivez d'abord la décision (« si le lift est inférieur à X, nous réduisons le canal d'un tiers »), puis concevez le test capable de vous répondre.

Les holdouts. Une part tirée au sort du public est tenue à l'écart d'une campagne, d'un canal ou d'un flux de messages, et l'on compare les résultats. Ils vont de soi pour les canaux que vous diffusez vous-même, comme l'e-mail et les programmes CRM, où vous décidez qui reçoit quoi. Un holdout permanent, une petite part de clients qui ne reçoivent jamais un programme donné, permet à une équipe CRM de mesurer la contribution de ce programme en continu plutôt qu'une seule fois.

Les tests géographiques. Des régions sans chevauchement sont tirées au sort entre test et témoin, et chacune vit sa condition par une publicité géociblée. Vaver et Koehler, chez Google, ont décrit l'approche en 2011 comme simple dans son principe, dotée d'un processus de conception systématique et de résultats faciles à interpréter¹. Un article ultérieur fait alterner test et témoin sur plusieurs périodes pour obtenir une série de mesures plutôt qu'une lecture unique². Quand les régions disponibles sont peu nombreuses, comme dans les petits pays ou les tests sur marchés appariés, la régression temporelle de Wang et Vaver prédit, à partir des régions témoins, la série de ventes contrefactuelle des régions test et estime l'effet cumulé en fin de test³. Les tests géographiques mesurent des ventes réelles sans suivi individuel, ce qui les rend robustes face aux changements de consentement et de cookies décrits dans l'attribution et ses limites.

Les études de lift des plateformes. Les plateformes publicitaires mènent des études de lift de conversion et de lift de marque avec des groupes témoins randomisés. L'une des méthodes clés est la publicité fantôme (ghost ad) : dans le groupe témoin, le système note le moment où il aurait montré la publicité, ce qui permet de comparer les personnes exposées à leurs vrais homologues. Johnson, Lewis et Nubbemeyer indiquent que cette méthode mesure le lift presque aussi précisément que les dispositifs plus anciens (témoins exposés à un message d'intérêt général, tests en intention de traiter) pour un coût au moins dix fois moindre⁶ ; l'American Marketing Association, en récompensant l'article, a relevé que plusieurs plateformes publicitaires proposent des méthodes de ce type⁷. La limite : chaque étude ne voit qu'une plateforme, et c'est la plateforme qui la mène.

L'échec le plus courant est un test trop petit pour voir quoi que ce soit. Lewis et Rao ont montré pourquoi : les ventes individuelles sont très volatiles au regard du coût publicitaire par personne, si bien que des expérimentations informatives peuvent exiger plus de 10 millions de semaines-personnes, ce qui peut les rendre hors de portée de nombreuses entreprises⁴. Leur panorama plus large de la mesure numérique, avec David Reiley, plaide dans le même sens pour une conception soignée⁵. En pratique :

• Mesurez plus près de la publicité quand les ventes sont trop bruitées, mais dites-le : une hausse des visites n'est pas une hausse des profits.
• Préférez les régions quand les individus ne sont pas suivis et que le produit se vend hors ligne.
• Laissez durer le test assez pour couvrir le cycle d'achat et la rémanence, avec une ou deux semaines de montée en charge.
• Convenez du seuil à l'avance. Un résultat n'est « positif » qu'au regard du seuil fixé avant le lancement.

Les expérimentations sont sans biais, mais pas précises par défaut. Lewis et Rao concluent que les essais randomisés apportent une information sans biais même quand les intervalles sont larges⁴ ; le compte rendu honnête dit ce que le test a exclu et ce qu'il n'a pas exclu. Un test incapable de distinguer « aucun effet » d'« un effet important » n'a rien dit sur le budget, et la bonne réponse est un test plus grand ou plus long, pas un titre assuré.

Lisez aussi le résultat pour ce qu'il est. Un test mesure une activité, sur une période, auprès des publics ou dans les régions testés, au niveau de dépense testé. Il ne dit pas ce qui se passerait avec une dépense doublée, à une autre saison ou avec une autre création, et il manque en général les effets qui arrivent après sa fin : c'est pourquoi les effets de marque apparaissent rarement dans un court test de conversion. Traitez chaque résultat comme un point de la courbe de réponse que le modèle de mix cherche à tracer, pas comme la courbe elle-même, et répétez les tests importants : le dispositif de Google qui fait alterner test et témoin sur plusieurs périodes a été conçu pour ce type de mesure continue².

Une expérimentation répond à une question à un moment donné. Sa plus grande valeur vient quand elle calibre les autres méthodes. La description de Robyn prévoit un calibrage facultatif par des résultats d'expérimentation de vérité terrain¹⁰ ; les modèles bayésiens comme ceux de Google partent d'a priori qui pèsent le plus lourd précisément quand les données sont minces, et une expérimentation bien conçue est le meilleur a priori qu'un modèle puisse recevoir¹¹. La comparaison menée par Gordon et ses coauteurs entre expérimentations et méthodes observationnelles sur les mêmes campagnes justifie de préférer cette vérité terrain⁸. Les règles d'attribution doivent changer aussi : si un holdout montre que le reciblage ajoute peu, son mérite dans le rapport quotidien doit être réduit en conséquence.

Dans tout ce parcours, la triangulation fonctionne ainsi : le modèle de mix propose, l'expérimentation teste, l'attribution est corrigée, et le suivi de marque montre si le tableau de long terme évolue dans le même sens.

Illustratif, sans données réelles. Un service par abonnement investit lourdement dans les réseaux sociaux payants et pense qu'ils lui apportent de nouveaux clients. Le modèle de mix ne parvient pas à les séparer de la demande saisonnière, car la dépense a toujours augmenté les mêmes mois. L'équipe écrit la décision : si le coût incrémental par nouvel abonné dépasse sa cible, les réseaux sociaux payants seront ramenés à un niveau d'entretien. Elle répartit les régions du pays en paires appariées, suspend au hasard la publicité dans une région de chaque paire pendant huit semaines et fixe l'analyse à l'avance. Le résultat montre un lift réel mais plus faible que celui du rapport de la plateforme, avec une fourchette qui reste au-dessus du seuil. L'équipe garde le canal à un niveau plus bas, injecte le résultat dans le modèle comme a priori et programme le test suivant sur un changement créatif.

1. Tester ce que personne n'exploitera Partez de la décision.
2. Des tests sous-dimensionnés Trop peu de personnes, de régions ou de semaines pour voir un effet réaliste⁴.
3. Regarder en cours de route et arrêter tôt Fixez la durée à l'avance.
4. Prendre le lift d'une plateforme pour une vérité tous canaux Il mesure une plateforme, menée par elle.
5. Changer autre chose en plein test Une promotion dans la région test ruine la comparaison.
6. Classer le résultat Un test qui ne met à jour ni le modèle ni les règles d'attribution est perdu.

Lundi :

1. Listez les trois plus grosses hypothèses du plan de l'année et la décision que chacune commande.
2. Pour la première, choisissez le dispositif avec l'échelle ci-dessus et écrivez la règle de décision.
3. Dimensionnez le test avec votre analyste ou votre agence : le plus petit effet qui vaille d'être connu, l'échantillon et les semaines nécessaires.
4. Rédigez le plan d'analyse avant le lancement et partagez-le avec la direction financière.
5. Gardez test et témoin propres ; consignez tout ce qui s'y passe.
6. Communiquez la fourchette et ce qu'elle exclut ; mettez ensuite à jour le modèle de mix et les règles d'attribution.
7. Tenez un agenda d'apprentissage, une liste vivante de questions et de résultats, à côté du cadre de mesure, et passez-le en revue chaque trimestre avec la direction marketing.

• Vaver et Koehler sur les tests géographiques^1, 2 ; Wang et Vaver sur la régression temporelle³.
• Lewis et Rao sur l'économie de la mesure publicitaire⁴ ; Lewis, Rao et Reiley sur la frontière numérique⁵.
• Johnson, Lewis et Nubbemeyer sur les publicités fantômes^6, 7 ; Gordon et ses coauteurs sur expérimentations et méthodes observationnelles⁸.
• Making Effectiveness Work de l'IPA⁹ ; le calibrage de Robyn¹⁰ et Google sur les a priori bayésiens¹¹.
• Sur IMC Report : mesurer l'efficacité, l'objectif « prouver l'efficacité », et les entrées du glossaire test A/B et brand lift.