Français
Un crawler ou robot d’indexation, un web crawler, web spider ou web bot est un programme ou un script automatisé utilisé par les moteurs de recherche pour indexer des documents en ligne. L’objectif principal du collecteur est de se rendre sur les pages web, d’analyser leur contenu et de recueillir des informations afin de créer un index que les utilisateurs peuvent rechercher et récupérer lorsqu’ils effectuent des requêtes de recherche.
Comment fonctionne généralement un robot d’indexation ?
- Le robot d’indexation commence à partir d’un ensemble d’adresses web connus appelées “URL sources.” (Ces URL sources peuvent être fournies manuellement ou obtenues à partir de l’index du moteur de recherche)
- Il initie des requêtes HTTP vers les URL sources et télécharge les pages web correspondantes. (Il peut également suivre des liens contenus dans ces pages pour découvrir de nouvelles URL à parcourir.)
- Une fois que la page web est téléchargée, le robot d’indexation analyse son contenu, en extrayant des composants tels que texte, des images ou métadonnées.
- Les informations pertinentes extraites de la page web sont ajoutées à l’index du moteur de recherche.
- Le robot d’indexation continue de récupérer et d’analyser les pages tout en suivant les liens rencontrés sur les pages. (Cela lui permet de traverser une portion considérable de l’Internet.)
- Les moteurs de recherche connus tels que Google parcourent le web continuellement afin de garder leur index à jour. Ils revisitent des pages précédemment parcourues pour détecter les changements et mettre à jour l’index en conséquence.
Les fonctions clés du robot d’indexation
- Efficacité
- Respect pour Robots.txt
- Traitement du contenu en double
- Contrôle de la fréquence des parcours
- Actualisation
Bénéfices des robots d’indexation
- Permet aux utilisateurs de trouver rapidement des informations pertinentes
- Permet aux moteurs de recherche de fournir des résultats de recherche rapides et pertinents aux requêtes des utilisateurs
- Réduit le besoin d’intervention manuelle
- Garantit la couverture complète des pages et des ressources web
- Meilleure expérience utilisateur
- Fournit des données pour le classement avancé des résultats de recherche
- Prend en charge différents services (moteurs de recherche, applications de supervision du site web, applications de data mining, applications d’agrégation de contenu).
Conclusion
Les robots d’indexation jouent un rôle essentiel en permettant aux moteurs de recherche de créer et de maintenir des index exhaustifs des vastes quantités d’informations disponibles sur Internet. Lorsqu’un utilisateur lance une requête de recherche, le moteur de recherche peut rapidement récupérer les résultats pertinents à partir de son index, ce qui facilite la récupération efficace des informations.
Araignée
Automatisez l'analyse de documents grâce aux collecteurs qui suivent les liens web pour extraire des données pertinentes. (Voir aussi Robots d'indexation.)
Glossaire de recherche
Explorez notre guide complet sur la découverte de produits, avec définitions, explications et exemples. Boostez vos connaissances et performances.
Synchronisation basée sur le crawler
Cataloguez facilement les données des produits à l'aide d'un crawler qui télécharge automatiquement les données, ce qui vous évite de le faire à la main.
Résultats de recherche
Les résultats de recherche sont les pages, documents ou données qui aident les utilisateurs à trouver des informations pertinentes suite à une requête.
Apprentissage automatique
Offrez de meilleurs résultats, améliorez vos ventes et recueillez des données à des fins d'analyse à l'aide de l'apprentissage automatique.
Recherche exploratoire
La recherche exploratoire favorise la découverte et l'apprentissage. Découvrez ses avantages pour obtenir des informations utiles et pertinentes.
Fichier index
Un fichier index stocke les données dans un format structuré afin que les moteurs de recherche puissent récupérer rapidement les informations pertinentes.
Requête par exemple
La requête par exemple (query by example) est une recherche dans laquelle on utilise un résultat précédemment retourné pour obtenir des résultats similaires.
