S'exécute uniquement sur demande
Pas d'exploration continue ni de file d'attente. Il ne s'exécute qu'après la saisie d'une adresse dans le formulaire.
MrRobot-SEO-Analyser est le robot qui alimente l'Analyseur SEO/GEO. Il ne s'exécute que lorsqu'une analyse d'une page précise est demandée, requiert un petit nombre d'adresses, et ne collecte pas de contenu pour entraîner des modèles.
Mozilla/5.0 (compatible; MrRobot-SEO-Analyser/1.0; +https://mrrobot.co.il/bot)
Pas d'exploration continue ni de file d'attente. Il ne s'exécute qu'après la saisie d'une adresse dans le formulaire.
Une page, robots.txt, le sitemap, le canonical, les versions linguistiques et les fichiers IA - moins de 25 requêtes au total, et pas plus de quatre simultanées vers le même serveur.
Uniquement des requêtes GET. Le robot ne soumet aucun formulaire, ne se connecte à aucun compte et ne modifie rien.
Les adresses autres que la page demandée ne sont chargées que si robots.txt l'autorise pour notre robot.
Rien à faire. Un robot qui n'est pas explicitement bloqué est autorisé par défaut.
Ajoutez ces lignes au robots.txt à la racine du site. L'analyse fonctionne toujours et signale ouvertement que la page est bloquée pour notre robot.
User-agent: MrRobot-SEO-Analyser
Disallow: /
Écrivez-nous à tout moment et nous expliquerons précisément ce qui est vérifié et pourquoi.