Tests synthétiques hors connexion : une méthode sûre et rapide pour améliorer les résultats de recherche

Pour affiner la recherche interne, la plupart des gens procèdent soit en corrigeant les requêtes individuelles ou en effectuant des tests A/B. Pourtant, si vous voulez être sûr à 100% que votre recherche fonctionne comme elle le devrait, pensez à utiliser les tests synthétiques hors connexion. Ils permettent de procéder à des itérations rapides des algorithmes de recherche et éliminent le risque de perdre des conversions en vous permettant de tester les changements hors connexion, en toute sécurité.

Toutes les entreprises e-commerce souhaitent posséder une excellente fonction de recherche, mais le chemin pour y parvenir est ardu. Cela nécessite de grandes qualités d’observation, une bonne connaissance des analyses de recherche et une approche systématique. La plupart des gens, pourtant, se contentent d’y aller à l’instinct, ce qui n’est certainement pas la meilleure méthode.

La puissance des tests synthétiques hors connexion

Nous avons découvert que l’une des meilleures méthodes permettant d’améliorer les résultats de recherche s’appelle les tests synthétiques hors connexion. Hors connexion parce que n’avez pas besoin d’utilisateurs réels pour les effectuer, et synthétiques parce que vous utilisez uniquement des données mesurées comme base de référence  – les utilisateurs réels peuvent se comporter de manière légèrement différente. L’avantage de cette méthode, c’est qu’elle ne présente aucun risque d’impact négatif sur votre taux de conversion, que vous obtenez des résultats assez rapides et qu’il vous faut uniquement des journaux de recherche (ou pour être plus précis : les requêtes, les résultats et les interactions des utilisateurs avec ces résultats).

La méthode fonctionne comme suit : vous analysez les recherches passées des utilisateurs et vous les exécutez à nouveau avec un nouvel algorithme de classement. Si vous connaissez les résultats retournés par votre recherche dans le passé, et, parmi ces résultats, ceux qui ont généré un clic ou une conversion, vous pouvez les comparer avec les résultats obtenus à partir du nouvel algorithme de classement.

Analyse des résultats des tests synthétiques hors connexion

Imaginez que pour la requête x, l’ancienne recherche retourne le produit X en 1ère position. Cela signifie que le produit X était l’article générant le plus de conversions pour cette requête. Avec le nouvel algorithme, une nouvelle demande pour la requête x retourne le produit X en 10ème position. Pouvez-vous deviner quelle est la meilleure recherche ? La bonne réponse est la recherche d’origine.

Bon, c’était simple ! Prenons maintenant un exemple plus difficile : la requête x retourne le produit Y comme meilleur résultat. Certaines personnes ont cliqué dessus ; par conséquent, la correspondance semble être pertinente, mais le meilleur résultat X ne figure pas parmi les résultats. Votre nouvelle recherche corrige cela en classant le produit X en premier et le produit Y en deuxième. Ce qui peut ressembler à une régression ne l’est pas en réalité, parce que les résultats pour la requête x sont meilleurs.

Comme vous pouvez le voir, dans de nombreux cas, il n’est pas aussi simple d’analyser ce qui fonctionne le mieux, et vous avez besoin de modèles complexes pour obtenir des résultats fiables et exploitables. Il existe une grande variété de modèles quantitatifs conçus pour mesurer la qualité du classement tels que le gain cumulé normalisé et actualisé, le gain cumulé actualisé, le rang réciproque moyen, ou l’exactitude du classement (précision, précision moyenne, etc.).

Tous ces indicateurs sont souvent mesurés uniquement sur des résultats du haut vers le bas car ce sont ceux qui ont le plus de chances d’être vus par les utilisateurs. Il existe des modèles encore plus solides et complexes basés sur le feedback implicite qui sont mieux adaptés à la modélisation de la qualité de la recherche. Chacun de ces indicateurs possède des caractéristiques différentes et modélise différents aspects de la qualité de la recherche. En fin de compte, quel que soit le modèle choisi, vous obtiendrez une mesure quantitative de votre recherche, que vous pourrez utiliser pour comparer les différents algorithmes de classement.

Au-delà de la mesure du changement de qualité de la recherche

Les tests synthétiques hors connexion vous permettent de faire bien plus que de mesurer simplement le changement de qualité de la recherche : ils vous permettent de comprendre la raison du différentiel de performance. S’ils sont bien exécutés, vous pouvez obtenir des rapports enrichis et des agrégations de la performance des requêtes individuelles historiques avec le nouveau classement. Vous pouvez ensuite commencer à poser des questions et voir exactement pour quelle requêtes le nouveau classement a été utile, ou a fourni de plus mauvais résultats.

D’après notre expérience, prendre le temps de lancer les requêtes pour lesquelles la performance de la recherche a été sérieusement impactée peut vous permettre d’identifier les endroits où le nouveau classement n’est pas suffisamment performant. Vous pouvez ensuite corriger vos hypothèses, mettre à jour l’algorithme de classement et relancer le test hors connexion.

L’idéal est de combiner les méthodes

Le point positif des tests synthétiques hors connexion, c’est qu’ils révèlent des découvertes importantes. Si un test synthétique hors connexion montre que votre nouvelle recherche est bien pire que votre recherche actuelle, alors elle sera généralement pire. Si votre test synthétique hors connexion montre que votre nouvelle recherche est bien meilleure que votre recherche actuelle, alors elle sera généralement meilleure. Mais dans quelle mesure ?

C’est une information que cette méthode ne peut pas vous donner parce qu’elle ne représente pas le comportement réel. Pour le découvrir, vous devez effectuer des tests A/B en direct. Alors, la prochaine fois que vous voulez corriger quelque chose :

1. Trouvez une requête qui a besoin d’être améliorée.
2. Mettez à jour l’algorithme de classement.
3. Faites des tests synthétiques hors connexion jusqu’à ce que vous soyez sûr d’apporter une amélioration.
4. Faites un test A/B en direct pour confirmer.
5. Renouvelez l’opération.

C’est la méthode que nous utilisons chez Luigi’s Box, et cela nous a apporté le savoir-faire auquel vous faites confiance. La bonne nouvelle, c’est que nous avons intégré les tests synthétiques hors connexion dans Luigi’s Box : comme cela, si vous voulez les essayer, vous n’aurez pas à les développer vous-même.

Pour en savoir plus sur cette fonctionnalité, n’hésitez pas à contacter notre équipe commerciale.