Les pages publiques du site d’une entreprise qui utilise Lokario : accueil, prestations, tarifs, contact. Il ne remplit aucun formulaire, ne se connecte à aucun espace réservé et ne lit pas les pages que votre fichier robots.txt lui interdit.
Il lit une seule page à la fois par site, attend quelques secondes entre deux pages, respecte la directive Crawl-delay et s’arrête dès que votre serveur refuse une demande (codes 403, 429 ou 503), sans réessayer dans la foulée.
Ajoutez à votre fichier robots.txt les deux lignes ci-dessous. Elles sont prises en compte dès sa visite suivante. Vous pouvez aussi n’interdire qu’une partie du site.
User-agent: LokarioBot
Disallow: /