En esta clase veremos el proceso de rastreo de los bots de Google, que podemos separar en varias fases de descubrimiento, cola de rastreo, rastreo y procesamiento.
Veremos recomendaciones para generar robots.txt, su sintaxis, cómo crear un sitemap y cual es su funcionalidad (sí aún tiene alguna funcionalidad, aunque no lo creáis).
Vemos en la clase varios ejemplos de sitemaps, algunos más canallas que otros.
Por último tenemos a los enlaces internos y externos como fuente de información de URL’s que se deben rastrear en esta fase de descubrimiento de URL’s. Estos enlaces se añaden a la cola y finalmente prioriza el rastreo según esa capacidad y demanda de URL’s que haya.
Inicia sesión para ver este contenido Premium o Regístrate para empezar a disfrutar del Sabandijismo.