Français
Datart, membre du groupe HP TRONIC, est l’un des leaders du commerce de détail de produits électroniques grand public en République tchèque et en Slovaquie. Des magasins traditionnels aux boutiques en ligne, Datart existe depuis 32 ans. L’entreprise a reçu le prix Mastercard 2021 du Commerçant de l’année dans la catégorie ingénierie électrique, et le prix de la Marque la plus digne de confiance en 2020 et 2021. En 2022, le groupe HP TRONIC, y compris DATART, a augmenté son chiffre d’affaires de 5 % à 25,3 milliards de couronnes, avec un profit EBITDA de 942 millions de couronnes.
Dans cet article, vous apprendrez que :
- il y a toujours une raison de tester
- le déploiement d’un test doit être parfait
- le test A/B est un bon début
- il est possible d’atteindre des résultats significatifs dans un délai relativement court
- des tests occasionnels peuvent créer la surprise
Au début, était-il question d’analyses, de curiosité ou d’intuition ?
Plusieurs clients prestigieux ont commencé leur parcours avec Luigi’s Box au même niveau que Datart. Ils ont d’abord déployé Luigi’s Box Analytics sur leur boutique en ligne. Puisque les analyses avaient déjà fourni beaucoup d’informations, il restait à savoir si Luigi’s Box pouvait s’avérer être un partenaire aussi fiable dans la recherche et la saisie semi-automatique, avec Luigi’s Box Search, qu’il l’était pour les analyses.
Datart a pleinement conscience de l’importance de la recherche pour ses boutiques en ligne, ainsi que ce qui peut affecter son paramétrage, correct ou incorrect. En plus des coûts, il faut prendre en compte d’autres indicateurs importants, tels que le chiffre d’affaires généré, le taux de conversion ou le nombre d’achats effectués. Une approche responsable inclut sans aucun doute la conduite de tests afin de vérifier les hypothèses. Datart innove, ce qui peut se voir dans différents domaines. Elle fait de son mieux pour améliorer l’expérience utilisateur et recherche, tout naturellement, de meilleures solutions capables d’aider les utilisateurs et d’augmenter les profits en même temps.
Ils ont développé eux-mêmes leur moteur de recherche, et, à un moment donné, il est devenu nécessaire de vérifier si une recherche provenant d’un fournisseur externe pouvait faire aussi bien, sinon mieux, que celle développée en interne.
Le lancement d’un test ne se fait pas en quelques clics
Quel que soit le type de test effectué, il est essentiel de bien tout planifier à l’avance. Par exemple, la méthodologie, les valeurs à comparer, la faisabilité du test ou la méthode d’évaluation. D’un autre côté, la mise en œuvre technique, la difficulté et les critères pour les développeurs ou toute autre spécialité ou spécification technique. Le test peut être effectué sur l’intégration en front-end et en back-end. Dans le cas de Datart, le test s’est concentré sur la partie la plus compliquée et complexe : l’intégration en back-end. La plupart des clients étant professionnellement et personnellement préparés à ce genre de tests, la gestion de ces tâches ne présente généralement pas de difficultés.
Heureusement, Datart a une équipe de spécialistes qui n’ont pas sous-estimé le moindre aspect, ont fourni des informations et des spécifications détaillées, étape par étape, et ont ajusté les valeurs nécessaires pour que la communication vers notre système via l’API se fasse correctement.
Avant même de lancer le test A/B, on a besoin d’effectuer une série de tests pour éliminer les erreurs possibles qui pourraient considérablement affecter le résultat d’un tel test.
Pourquoi un test A/B ?
Il existe de nombreuses façons d’essayer ou de tester quelque chose. La première option consiste à remplacer une solution par une autre et à examiner si la nouvelle solution est plus efficace. Néanmoins, cela pose un risque fondamental. Avec un client de la taille de Datart, même une légère déviation dans les unités de faible pourcentage peut se manifester sous forme d’une baisse considérable des profits, ce qui est inacceptable pour n’importe quelle entreprise.
Mais une option plus sûre est d’utiliser d’abord ce qu’on appelle les tests A/B hors connexion. Par exemple, les résultats de tests existants sont, après un certain temps, comparés avec les résultats fournis par l’outil testé. Nous avons développé cette méthode de tests et l’utilisons depuis longtemps, grâce à quoi nous pouvons essentiellement éliminer le risque qu’une nouvelle recherche pour certaines phrases affiche des résultats pires, ou pas de résultats du tout. Cela rend la phase de tests plus sûre pour les clients prestigieux, pour lesquels, étant donné le nombre de recherches par phrase, même une légère déviation peut avoir un impact considérable.
Après un test A/B hors connexion, les clients passent aisément au test A/B en ligne “live”. La méthodologie consiste à attribuer une version à certains visiteurs et une version différente à d’autres. On choisit ensuite le ratio d’affichage de l’une et l’autre solution, qui peut être défini comme 50/50. On choisira plutôt, au début, un ratio 80/20, afin que le client puisse s’assurer que la variante testée est meilleure que, ou identique à, la variante d’origine. À la fin, on compare les résultats, et si les valeurs entrées, par exemple le nombre de sessions, sont représentatives, on peut procéder à l’évaluation.
Les résultats en moins de deux semaines
Si nous devions tester des cas particuliers, ou si nous avions une boutique en ligne avec un faible trafic, le test prendrait trop de temps parce que le faible nombre de visites ne serait pas suffisamment représentatif. Il ne serait tout bonnement pas possible de déterminer laquelle des solutions comparées serait la gagnante du test.
Certains clients testent pendant une semaine, d’autres pendant des mois. En prenant en compte la quantité de trafic et le nombre de conversions, nous pouvons estimer le temps que le test va prendre. À la suite de quoi nous allons vérifier les résultats par la signification statistique pour réduire le risque de résultats inattendus. Tout est toujours défini à l’avance. De ce fait, le début et la fin du test, ainsi que les indicateurs comparés et la méthode d’évaluation, sont clairs. Les règles ne doivent pas être changées “en cours de jeu.”
Dans ce cas précis, nous disposions d’une quantité suffisante de données en entrée, d’une durée de test adéquate et d’une évaluation précise des résultats. Chez Datart, ce test a eu lieu du 1er au 12 septembre 2022. En moins de deux semaines, les données nécessaires étaient recueillies et nous avons pu évaluer le test et déterminer le vainqueur.
Luigi’s Box remporte le test A/B
Le test comparatif A/B a été déployé sur les versions tchèque et slovaque de la boutique en ligne. Les deux tests diffèrent par certains égards, car dans chaque pays, le marché se comporte différemment en termes de recherche.
Sur les deux boutiques en ligne testées, le ratio de déploiement était de 50/50. 50 % des utilisateurs disposaient de la version originale de la recherche, et 50 % de la version avec Luigi’s Box Search.
Les résultats des deux tests ont été significatifs d’après la méthodologie choisie.
Le principal indicateur de comparaison était le “Taux de conversion” : le taux de conversion des utilisateurs de la recherche.
Après avoir évalué les tests, nous avons constaté que, comparé à la version originale de la recherche, Luigi’s Box Search a fait considérablement mieux dans les deux versions de la boutique en ligne.
Autre information intéressante : notre solution a éliminé les résultats incorrects et les recherches sans résultats pour certaines catégories. Luigi’s Box peut être une réponse fiable si vous cherchez à résoudre un problème de pertinence similaire.
En résumé
Les indicateurs choisis ont démontré que l’intelligence artificielle et l’apprentissage machine utilisés par Luigi’s Box peuvent augmenter le taux de conversion, dans ce cas, de 14 à 19 %. Selon le segment et le statut de la recherche, la différence du taux de conversion peut être encore plus importante. En plus de l’augmentation du taux de conversion, on constate bien sûr une augmentation des ventes, ce qui est le résultat souhaité. Après de tels résultats, il n’est pas surprenant que Datart ait choisi d’utiliser Luigi’s Box Search comme son outil de recherche et de saisie semi-automatique sur les deux boutiques en ligne testées.
Cet exemple montre clairement que les années de recherche et de développement consacrées à notre outil représentent une forte valeur ajoutée pour le client.
