Robots.txt Generator /
Generador de Archivo Robots.txt

Default - All Robots are:  
    
Crawl-Delay:
    
Sitemap: (leave blank if you don't have) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Restricted Directories: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
  input type="text" size="70" name="dir5" class="form-control" />
 
   



Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.

 

About Robots.txt Generator /
Generador de Archivo Robots.txt

ABOUT OUR ROBOTS.TXT GENERATOR

Robots.txt generator is a Free SEO Tool used to generate robots.txt file instantly for your website. Whenever a search engine crawls any website, it always first looks for the robots.txt file, to determine which folders bots should crawls adn which they shouldn´t. This file is generally located at the domain root level Ex: (www.example.com/robots.txt).
 

ACERCA DEL GENERADOR DE ARCHIVO ROBOTS-TXT

El generador de Robots.txt es una herramienta gratuita de SEO utilizada para generar, de forma rápida y sencilla, el archivo robots.txt para su sitio web. Cada vez que un motor de búsqueda rastrea un sitio web, siempre busca primero el archivo robots.txt para saber que carpetas debe rastreas. Éste archivo se debe colocar en el nivel raíz del dominio Ex : (www.example.com/robots.txt).