# Plugtrip — https://plugtrip.fr # # Trois intentions, dans cet ordre : # 1. Être trouvé. Les moteurs de recherche et les assistants qui CITENT une source en # renvoyant l'utilisateur vers elle sont les bienvenus : ils amènent des conducteurs. # Ils sont couverts par la règle « * » ci-dessous, volontairement large. # 2. Ne pas nourrir gratuitement les modèles qui absorbent le contenu sans jamais renvoyer # personne. Les robots d'entraînement sont refusés un par un plus bas. # 3. Ne pas servir d'outil d'analyse à la concurrence. Les robots des suites SEO # commerciales existent pour qu'un tiers étudie les mots-clés, les liens entrants et la # structure d'un site. Les refuser ne coûte aucun référencement. # # À garder en tête : ce fichier est une convention, pas une serrure. Il est respecté par les # robots sérieux et ignoré par les autres. Les protections réelles sont côté serveur. User-agent: * Allow: / # Console interne et retour d'authentification : rien à y explorer, et aucun lien public n'y # mène. Un blocage d'exploration est ici le bon outil. Disallow: /console_adm Disallow: /admin Disallow: /auth/ # Espace personnel et tunnel de connexion : volontairement PAS bloqués ici. # # Ils l'étaient, et c'était le mauvais outil. La barre de navigation de l'application pointe # vers eux depuis chaque écran ; Google, qui exécute le JavaScript, suit donc ces liens. Une # page à la fois liée et interdite d'exploration finit « indexée malgré le blocage » : le # moteur en connaît l'adresse, ne peut pas lire la consigne qu'elle contient, et l'affiche # sans titre ni description. Interdire l'exploration empêche justement de lire un « noindex ». # # Elles renvoient donc un en-tête `X-Robots-Tag: noindex` (voir vercel.json), que le robot lit # à la première visite, sans JavaScript. Il les explore une fois, comprend qu'il doit les # oublier, et cesse d'y revenir. Le coût est de quatre URL explorées ; le gain est qu'elles # disparaissent proprement au lieu de traîner dans l'index sous forme de coquilles. # --- Robots des modèles de langage ---------------------------------------------------- # Choix assumé : les robots d'entraînement des assistants grand public — GPTBot, ClaudeBot, # Google-Extended, Applebot-Extended, meta-externalagent — sont **autorisés**, par la règle # « * ». Raison : à ce stade, être connu d'un modèle vaut plus que se protéger de lui. Quand # un conducteur demande « quelle application pour planifier un trajet électrique », la réponse # vient de ce que le modèle a appris ; un produit absent du corpus n'est jamais proposé. # Le calcul change le jour où l'audience existe — il faudra alors le refaire, pas le subir. # # Ce qui reste refusé ci-dessous n'a rien à voir : ce sont les robots qui **ne recommandent # jamais rien**. Ils collectent pour revendre ou pour alimenter des archives que n'importe # qui, concurrent compris, peut télécharger. Aucun retour possible. User-agent: Bytespider Disallow: / # Common Crawl : archive publique dans laquelle presque tous les modèles vont se servir, # et que n'importe qui peut télécharger. C'est la porte d'entrée la plus large. User-agent: CCBot Disallow: / # Revente de contenu web à des tiers. User-agent: Diffbot Disallow: / User-agent: Omgilibot Disallow: / User-agent: Omgili Disallow: / User-agent: Webzio-Extended Disallow: / User-agent: ImagesiftBot Disallow: / # --- Outils d'analyse concurrentielle ------------------------------------------------- # Ces robots alimentent des tableaux de bord où un concurrent lit la stratégie de # référencement d'un site : mots-clés, pages qui performent, liens entrants. User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: DotBot Disallow: / User-agent: rogerbot Disallow: / User-agent: MJ12bot Disallow: / User-agent: BLEXBot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: Barkrowler Disallow: / User-agent: SeekportBot Disallow: / User-agent: serpstatbot Disallow: / User-agent: MegaIndex Disallow: / User-agent: ZoominfoBot Disallow: / Sitemap: https://plugtrip.fr/sitemap.xml