Muitos sites enfrentam dificuldades com raspadores de dados de IA: entenda por quê
Índice
Muitos sites enfrentam dificuldades com raspadores de dados de IA
Um relatório da 404 Media revela que empresas de IA como a Anthropic estão encontrando maneiras de contornar o arquivo robots.txt de um site utilizando novos rastreadores da web com nomes diferentes. Isso torna mais difícil para os websites bloquearem esses rastreadores, pois precisam atualizar constantemente seus arquivos para incluir os novos bots.
Muitos sites enfrentam dificuldades com o bloqueio de CLAUDEBOT
O rastreador atual e ativo da Anthropic é chamado “CLAUDEBOT.” Por exemplo, nem a Reuters nem a Condé Nast bloqueiam o CLAUDEBOT. Isso significa que esses sites – juntamente com centenas de outros que copiaram e colaram listas antigas de bloqueio – na verdade não estão bloqueando os rastreadores da Anthropic.
Fique por dentro das novidades do Esporte UAI aqui!
