Todavía está fresco el recuerdo del lanzamiento de ChatGPT por parte de la empresa OpenAI, una de las herramientas de Inteligencia Artificial más sorprendentes del momento, que vino a crear ciertas dudas dentro del mundo de los profesionales SEO. Ahora, recientemente, la compañía lanzó un “nuevo” rastreador web conocido como GPTBot.
Si bien es verdad que es una novedad, lo cierto es que no sería acertado llamar como nuevo al Bot lanzado por la compañía. De hecho, la novedad radica en que ahora es detectable por medio del archivo robots.txt y, por ende, bloqueable. Resulta ser una incógnita como esto puede afectar el rendimiento de los sitios webs que lo apliquen.
¿Cómo funciona el GPTBot?
Este sistema busca en la web información que pueda mejorar la precisión, capacidades y seguridad de la tecnología de IA, es decir, para entrenar a su inteligencia artificial. El token de agente de usuario, qué es la forma en la que se puede detectar este bot, es llamado “GPTBot”.
Al permitir la identificación del GPTBot, OpenAI permite a los administradores de cualquier sitio la autoridad para decidir si desean permitir o no el acceso del Bot a sus sitios.
Algo interesante que se explica desde OpenAI, es que su rastreador web se encargará de recopilar datos públicos disponibles en la red global. No obstante, este proceso incluye un filtro para excluir fuentes que requieran acceso pago para su contenido, así como aquellas que recopilen información personal. De esta manera, se busca garantizar la calidad y la legalidad de la información recopilada durante el rastreo.
Se puede conocer más detalles sobre esto en la plataforma de OpenAI donde se encuentra la documentación relacionada.
Cómo deshabilitar el GPTBot del archivo robots.txt
Para poder impedir que el GPTBot de OpenAI pueda ingresar a un sitio web, puede ser bloqueado con el archivo robots.txt mediante el siguiente comando:
User-agent: GPTBot
Disallow: /
Además, es posible conceder acceso parcial a ciertos sectores del sitio, de modo que puede configurarse mediante este comando:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
Es necesario aclara que aún no se sabe si denegar el acceso al bot recopilador de datos de OpenAI sea algo positivo o contraproducente en relación con términos de búsqueda, posicionamiento y autoridad de los sitios.
¿Es recomendable bloquear el GPTBot de OpenAI?
En los últimos tiempos, las estrategias de recolección de datos implementadas por OpenAI generan inquietud y desconfianza. Estas estrategias pueden tener implicaciones en términos legales y éticos en relación con el uso de contenidos protegidos por derechos de autor, incluso siendo para muchos muy similares al Web Scrapping, que no es una práctica ilegal, a no ser que se tomen datos personales o privados.
A día de hoy, no se sabe qué tan útil puede ser el hecho de bloquear el GPTBot mediante el archivo robots.txt. En principio, se puede valorar que es un punto de confianza el hecho de que OpenAI permita hacer visible su bot y, por ende, perceptible de ser bloqueado.
Considero que, en caso de bloquear el rastreador, pueden existir consecuencias futuras con respecto a la indexación y aparición en resultados de búsqueda generados con IA.
Podemos ayudarte con tu sitio web
En MD Marketing Digital contamos con un equipo de profesionales en las áreas de Marketing Digital y SEO, con muchos años de experiencia y con gran capacidad de afrontar todo tipo de desafíos. ¡No dudes en contactarnos para poder ayudarte con tus estrategias!
Fuentes utilizadas:
https://searchengineland.com/gptbot-openais-new-web-crawler-430360
https://www.searchenginejournal.com/openai-launches-gptbot-how-to-restrict-access/493394
https://es.cointelegraph.com/news/open-ai-launch-gptbot-web-crawler-amid-gpt5-trademark
https://www.linkedin.com/posts/markseo_seo-activity-7094280028829405184-ZoCo/?utm_source=share&utm_medium=member_android
- ¿Cómo crear una estrategia SEO efectiva en 2024? - noviembre 8, 2024
- ¿Qué es el contenido útil de Google y cómo evitar el spam? - octubre 4, 2024
- ¿Cómo buscar en Google de otro país? - septiembre 16, 2024
¿Qué te pareció este artículo?
What do you think about this post?
¡Mira también esto!
