Documentation du crawler UnblindBot
Documentation technique officielle pour webmasters, équipes infrastructure et enregistrement bot vérifié Cloudflare.
Identité du bot
User-Agent
UnblindBot/1.0 (+https://www.unblind.ai/bot/)
Toutes les requêtes de notre crawler incluent ce user-agent pour identification.
Objectif
UnblindBot est un crawler d'analyse SEO en lecture seule opéré par unblind.ai. Il récupère des pages web exclusivement pour le compte de clients authentifiés qui ont explicitement soumis des URLs pour analyse via notre plateforme. Le crawler est utilisé pour :
- Analyser les éléments SEO on-page (titres, meta descriptions, balises H, contenu)
- Vérifier les signaux d'indexabilité (directives robots, balises canonical, codes de statut)
- Évaluer les métriques de performance des pages (temps de chargement, en-têtes de réponse)
- Extraire le contenu structuré pour des recommandations d'optimisation basées sur l'IA
Informations réseau
Adresse IP
Notre crawler opère depuis l'adresse IP suivante :
12.132.98.205
Note : Cette IP est gérée par notre hébergeur (IONOS SE). Pour des informations à jour ou pour vérifier une requête spécifique, contactez-nous à crawler@unblind.ai.
Reverse DNS (rDNS)
Toutes les IPs d'UnblindBot ont des entrées DNS inversées valides pointant vers des domaines *.unblind.ai à des fins d'authentification.
Pour vérifier une requête via le reverse DNS :
$ dig -x [ADRESSE_IP]
→ crawler.unblind.ai
Hébergeur
IONOS SE
Elgendorfer Straße 57
56410 Montabaur, Allemagne
https://www.ionos.com
Politique de crawl
Crawl respectueux
- Respect du robots.txt : Nous respectons toutes les directives robots.txt et ne crawlons pas les chemins interdits
- Rate limiting : Maximum 1 requête par seconde par domaine pour éviter de surcharger les serveurs
- Politique de fetch unique : Chaque URL est récupérée une seule fois par session d'analyse
- Mise en cache : Les résultats sont mis en cache pour minimiser les requêtes redondantes
- Timeouts conservateurs : Les requêtes expirent après 30 secondes pour éviter les connexions bloquées
- HTTPS uniquement : Toutes les requêtes utilisent des connexions HTTPS sécurisées
Aucun contournement
UnblindBot ne tente jamais de contourner les mesures de sécurité incluant :
- CAPTCHAs ou défis anti-bot
- Web Application Firewalls (WAF)
- Authentification ou murs de connexion
- Atténuation de bots CDN (Cloudflare, Akamai, etc.)
Si notre crawler est bloqué par votre infrastructure et que vous souhaitez l'autoriser, nos clients reçoivent des instructions pour demander la mise en liste blanche auprès de leur équipe IT.
Confidentialité et utilisation des données
Nous ne crawlons que du contenu publiquement accessible que les clients soumettent explicitement pour analyse. Le contenu crawlé est :
- Stocké de manière sécurisée dans notre base de données à des fins d'analyse
- Uniquement accessible au client qui a demandé l'analyse
- Jamais partagé avec des tiers
- Soumis à notre politique de confidentialité
Bloquer UnblindBot
Si vous souhaitez empêcher UnblindBot de crawler votre site, vous pouvez le bloquer en utilisant les méthodes standard :
Méthode 1 : robots.txt
Ajoutez ce qui suit à votre fichier /robots.txt :
User-agent: UnblindBot
Disallow: /
Méthode 2 : Blocage par User-Agent
Configurez votre serveur web ou WAF pour bloquer les requêtes avec le user-agent UnblindBot.
Méthode 3 : Blocage par plage IP
Bloquez les plages IP listées ci-dessus dans votre configuration firewall ou CDN.
Enregistrement bot vérifié Cloudflare
UnblindBot est enregistré pour le programme Verified Bots de Cloudflare. Cette page sert de documentation publique à des fins de vérification.
Méthodes de vérification supportées
- Liste d'IP publique : Voir section Informations réseau ci-dessus
- Reverse DNS (rDNS) : Toutes les IPs résolvent vers *.unblind.ai
- Signatures HTTP Message : À venir (méthode prioritaire 2025)
Pour les administrateurs Cloudflare : Cette page fournit toutes les informations requises pour l'enregistrement de bot vérifié conformément à la documentation des bots vérifiés de Cloudflare.
Contact et support
Pour des questions, préoccupations ou signalements de comportement abusif de notre crawler :
Email : crawler@unblind.ai
Contact général : hello@unblind.ai
Temps de réponse : Sous 48h les jours ouvrables
Nous prenons le comportement de notre crawler au sérieux et enquêterons rapidement sur tout signalement de violation de politique.
À propos d'unblind.ai
unblind.ai est une plateforme SaaS d'analyse et d'optimisation SEO basée sur l'IA. Notre crawler est un composant essentiel de notre service, nous permettant de fournir des insights précis et actionnables aux équipes e-commerce et aux marketeurs digitaux.
En savoir plus sur unblind.ai