Le crawler est le robot logiciel utilisé par les moteurs de recherches pour parcourir le réseau et les sites web de lien en lien afin d’archiver les pages web parcourues au sein des index de référencement. Chaque moteur utilise un robot qui lui est propre.
Le principe de fonctionnement d’un crawler issu d’un livre blanc référencement de la société Smile. Accès au livre blanc



