Back to Question Center
0

Semalt: Comment bloquer Darodar Robots.txt

1 answers:

Le fichier Robots.txt est un fichier texte typique qui contient des instructions sur la façon dont les robots d'exploration ou les robots Web doivent explorer un site. Leur application est évidente dans robots de recherche qui sont communs dans de nombreux sites Web optimisés. Dans le cadre du protocole Robots Exclusion Protocol (REP), le fichier robots.txt constitue un aspect essentiel de l'indexation du contenu du site Web et permet à un serveur d'authentifier les demandes des utilisateurs en conséquence .

Julia Vashneva, le Senior Customer Success Manager de Semalt, explique que la liaison est un aspect de l'optimisation des moteurs de recherche (SEO), qui consiste à gagner du trafic d'autres domaines dans votre créneau. Pour les liens "follow" de transfert de jus de lien, il est essentiel d'inclure un fichier robots.txt sur votre espace d'hébergement de site Web pour agir en tant que formateur de la façon dont le serveur interagit avec votre site. À partir de cette archive, les instructions sont présentes en autorisant ou en refusant le comportement de certains agents utilisateurs .

Le format de base d'un fichier robots.txt

Un fichier robots.txt contient deux lignes essentielles:

User-agent: [nom d'utilisateur-agent]

Disallow: [chaîne d'URL à ne pas explorer]

Un fichier robots.txt complet doit contenir ces deux lignes. Cependant, certains d'entre eux peuvent contenir plusieurs lignes d'user-agents et de directives. Ces commandes peuvent contenir des aspects tels que allow, disalls ou crawl-delays. Il y a généralement un saut de ligne qui sépare chaque ensemble d'instructions. Chacune des instructions allow ou disallow est séparée par ce saut de ligne, en particulier pour le fichier robots.txt avec plusieurs lignes .

Exemples

Par exemple, un fichier robots.txt peut contenir des codes comme:

Utilisateur-agent: darodar

Disallow: / plugin

Disallow: / API

Disallow: / _comments

Dans ce cas, il s'agit d'un fichier bloque robots.txt empêchant le robot d'indexation Darodar d'accéder à votre site Web. Dans la syntaxe ci-dessus, le code bloque les aspects du site tels que les plugins, l'API et la section des commentaires. De cette connaissance, il est possible d'obtenir de nombreux avantages en exécutant efficacement le fichier texte d'un robot. Robots. Les fichiers txt peuvent être capables d'effectuer de nombreuses fonctions. Par exemple, ils peuvent être prêts à:

1. Autoriser tout le contenu des robots d'exploration Web dans une page de site Web. Par exemple,

Utilisateur-agent: *

Disallow:

Dans ce cas, tout robot d'exploration Web peut accéder à tout le contenu de l'utilisateur pour accéder à un site Web .

2. Bloquer un contenu Web spécifique à partir d'un dossier spécifique Par exemple,

Utilisateur-agent: Googlebot

Disallow: / example-subfolder /

Cette syntaxe contenant le nom d'agent utilisateur Googlebot appartient à Google. Il empêche le bot d'accéder à n'importe quelle page Web dans la chaîne www.ourexample.com/example-subfolder/.

3. Bloquer un robot d'indexation Web spécifique à partir d'une page Web spécifique Par exemple,

Utilisateur-agent: Bingbot

Disallow: /example-subfolder/blocked-page.html

Le bot utilisateur Bing appartient à Bing web crawlers. Ce type de fichier robots.txt empêche le robot d'indexation Bing d'accéder à une page spécifique à l'aide de la chaîne www.ourexample.com/example-subfolder/blocked-page .

Informations importantes

  • Tous les utilisateurs n'utilisent pas votre fichier robts.txt. Certains utilisateurs peuvent décider de l'ignorer. La plupart de ces robots d'exploration incluent des chevaux de Troie et des logiciels malveillants
  • .
  • Pour qu'un fichier Robots.txt soit visible, il doit être disponible dans le répertoire du site Web de niveau supérieur
  • .
  • Les caractères "robots.txt" sont sensibles à la casse. En conséquence, vous ne devriez pas les modifier de quelque manière que ce soit, y compris la capitalisation de certains aspects
  • .
  • Le fichier "/robots.txt" est du domaine public. Tout le monde peut trouver cette information en l'ajoutant au contenu de n'importe quelle URL. Vous ne devez pas indexer les détails essentiels ou les pages dont vous souhaitez qu'ils restent privés
  • .
November 26, 2017
Semalt: Comment bloquer Darodar Robots.txt
Reply