lunes, 23 de agosto de 2004

ROBOTS.TXT (Spider)

Este archivo se coloca en la raiz de la pagina.
Es decir www.misitio.com/robots.txt
Con este archivo podemos prohibir el paso de los robots (buscadores) hacia algunas carpetas o archivos.

Es muy simple:

User-agent: "nombre del robot"
Disallow: "nombre de la carpeta o nombre del archivo"

Por ejemplo:

Para el robot de google; vamos a prohibir el acceso a la carpeta de "imagenes"; su nombre es "imagenes"

# ---Prohibir a googlebot ver mis imagenes
User-agent: googlebot?
Disallow: /imagenes/
# ---

Prohibir el acceso a todos los robots
# --- Todos
User-agent: *
Disallow: /imagenes/
# ---

Prohibir el acceso a un formato de archivo por ejemplo ?swf? (flash)
# --- Prohibir a swf
User-agent: *
Disallow: *.swf
# ---

Para prohibir todo acceso
# --- Prohibir
Disallow: /
# ---

Para saber el nombre de cada robot.
+ Info

Verificar validacion del codigo.
+info

No hay comentarios.:

Facebook