User-Agent: * Allow: / # Crawl-budget (2026-07-02): /it/ es edicion muerta que 301-ea a vavel.it # (externo). Googlebot quemaba ~10k crawls/dia en esos redirects. Disallow: /it/ # Idem ediciones antiguas: /fr/ y /id/ 301-ean a vavel.fr / vavel.id # (externos), /de/ es 410. Ademas /fr/feed/* aun servia 200 (feed zombi). Disallow: /fr/ Disallow: /id/ Disallow: /de/ # Crawl-budget (15-sep-2026): /app/* son enlaces SOLO de app (boton del correo # de mensajes, invitaciones de liga). Sin la app instalada redirigen 302 a las # tiendas: contenido cero y fuera del dominio. Mismo caso que /it/ y /fr/. # NO afecta a /.well-known/ (assetlinks + AASA), que debe seguir accesible. Disallow: /app/ Sitemap: https://www.vavel.com/en-us/sitemap/news.xml Sitemap: https://www.vavel.com/en/sitemap/news.xml Sitemap: https://www.vavel.com/es/sitemap/news.xml Sitemap: https://www.vavel.com/ar/sitemap/news.xml Sitemap: https://www.vavel.com/mx/sitemap/news.xml Sitemap: https://www.vavel.com/colombia/sitemap/news.xml Sitemap: https://www.vavel.com/br/sitemap/news.xml # 31-ago-2026: indice raiz RESTAURADO (server/sitemap/root.js: un solo nivel, # lastmod por edicion, validadores de contenido). Los sitemap-tags se declaran # ademas directamente mas abajo: cinturon y tirantes. Sitemap: https://www.vavel.com/sitemap.xml Sitemap: https://www.vavel.com/en/sitemap/global.xml Sitemap: https://www.vavel.com/en-us/sitemap/global.xml Sitemap: https://www.vavel.com/br/sitemap/global.xml Sitemap: https://www.vavel.com/es/sitemap/global.xml Sitemap: https://www.vavel.com/ar/sitemap/global.xml Sitemap: https://www.vavel.com/mx/sitemap/global.xml Sitemap: https://www.vavel.com/colombia/sitemap/global.xml Sitemap: https://www.vavel.com/en-us/sitemap/sitemap-tags.xml Sitemap: https://www.vavel.com/en/sitemap/sitemap-tags.xml Sitemap: https://www.vavel.com/es/sitemap/sitemap-tags.xml Sitemap: https://www.vavel.com/br/sitemap/sitemap-tags.xml Sitemap: https://www.vavel.com/ar/sitemap/sitemap-tags.xml Sitemap: https://www.vavel.com/mx/sitemap/sitemap-tags.xml Sitemap: https://www.vavel.com/colombia/sitemap/sitemap-tags.xml # Disallow: /*/author/ # Disallow: /*/tag/ # Disallow: /tag/* # --------------------------------------------------------------------- # Crawl-budget (2026-08-28): FEEDS POR TAG. # Medido en /var/log/nginx/access.log* (14-28 ago, 1.568.666 peticiones de # Googlebot verificado por rDNS googlebot.com): los /{ed}/feed/tag/*/index.rss2 # se llevaban 175.621 peticiones (11,2% de TODO el rastreo del sitio) y 9,4 GB # (~34% de los bytes), repartidas en solo 91 URLs -- unas 470 peticiones al dia # por feed, es decir una cada ~3 minutos, MAS de lo que Google rastrea el feed # de portada de la propia edicion (/es/feed/index.rss2: 5.804). # El 99,99% es de /es/ y /br/ (en-us solo tuvo 3 peticiones en 15 dias). # # No aportan descubrimiento (verificado en el codigo vivo new-fe-june2025): # - ninguna pagina HTML los declara con (solo la portada # de edicion y el articulo, y ambos apuntan al index.rss2 de portada); # - no estan en ningun sitemap ni en este robots.txt; # - los pings de WebSub (websub-ping.js, live-websub-pinger.js, # live-publish-boost.js) solo pingan index.rss/index.rss2 de portada; # - Feedfetcher-Google (Google News/WebSub) solo pide feeds de portada. # Todo lo que sale en un feed de tag sale antes en el feed de portada de su # edicion (cuyas 30 entradas cubren 25h en /es/) y en el news sitemap. # # Esto NO cambia lo que se sirve: los feeds siguen respondiendo 200 para # usuarios y para cualquier consumidor que no obedezca robots.txt (Feedfetcher # lo ignora por diseno, y ademas no los pide). Reversible borrando estas dos # lineas. Copia previa: /home/robots-clean.txt.bak.20260828-182653 # --------------------------------------------------------------------- Disallow: /*/feed/tag/ Disallow: /feed/tag/ # 7-sep-2026 (auditoria SEO, accion 5): feeds planos de ediciones muertas. # Responden 410 desde hace meses pero Googlebot los pedia 956 veces/dia # (/feed/it/calcio/palermo e /feed/it/footballamericano, 478 cada uno). Disallow: /feed/it/ Disallow: /feed/fr/ Disallow: /feed/id/ Disallow: /feed/de/ # 10-sep-2026 (auditoria de fugas, orden del dueno): rastreo que no lleva a # ninguna parte. Estas rutas YA responden 410 o 404 y estan bien asi; lo que # sobra es que Googlebot siga pidiendolas: eran ~2.700 peticiones al dia, algo # mas del 3% del presupuesto diario, y ese presupuesto tiene que ir a los # directos. Reversible borrando estas lineas. # # 1. Pestana vieja de noticias de los hubs: /{ed}/data//news/page/N/ # devuelve 301 hasta la 100 y 410 a partir de ahi (2.236 peticiones/dia). Disallow: /*/data/*/news/ # 2. Feeds de secciones que ya no existen en la edicion espanola: responden 410 # y Googlebot los pedia 432 veces al dia. Disallow: /es/feed/politica/ Disallow: /es/feed/moda/ Disallow: /es/feed/cine/ Disallow: /es/feed/television/ Disallow: /es/feed/musica/ Disallow: /es/feed/libros/ Disallow: /es/feed/arte/ Disallow: /es/feed/sociedad/ # 3. Ediciones muertas cuyos feeds seguian vivos y VACIOS: /pt/ redirige pero # /pt/feed/index.rss2 servia 200 con cero entradas (359 peticiones/dia). Disallow: /pt/ # 1-oct-2026 (OK del dueño): /lat/ YA NO se bloquea: Google debe ver sus 301/410 (edición muerta) para soltarla. Disallow: /*/search Disallow: /search Disallow: /search Disallow: /cat3/ Disallow: /cat2/ # Disallow: /vavel-video/ # Disallow: /vavel-podcast/ User-agent: Mediapartners-Google Disallow: User-agent: CCBot Disallow: / User-agent: TurnitinBot Disallow: / User-agent: PetalBot Disallow: / User-agent: MoodleBot Disallow: / User-agent: FacebookBot Disallow: / User-agent: Bytespider Disallow: / User-agent: https://hada.news Disallow: / User-agent: https://www.imediaethics.org Disallow: / User-agent: Mojeek Disallow: / User-agent: JenkersBot Disallow: / User-agent: Seekr Disallow: / User-agent: Turnitin Disallow: / User-agent: YouBot Disallow: / User-agent: ia_archiver Disallow: / User-agent: archive.org_bot Disallow: / User-agent: Arquivo-web-crawler Disallow: / User-agent: coccocbot-web Disallow: / User-agent: SeznamBot Disallow: / User-Agent: PerplexityBot Disallow: / User-Agent: yacy Disallow: / User-agent: Yandex Disallow: / User-agent: anthropic-ai Disallow: / User-agent: claudebot Disallow: /