然而隨著該公司不斷開(kāi)發(fā)新的爬蟲(chóng),來(lái)不及更新“robot.txt”文件的網(wǎng)站成了被盜用資源的受害者。運(yùn)營(yíng)者,他在幫助其他網(wǎng)站運(yùn)營(yíng)者更新“robot.txt”期間發(fā)現(xiàn),現(xiàn)狀非?;靵y。聊天機(jī)器人使用,但目前該公司最活躍的爬蟲(chóng)實(shí)際上是“CLAUDEBOT”,因此這些網(wǎng)站都不會(huì)阻攔該爬蟲(chóng)。
2024-09-16 202