一、robots 介绍
Robots 协议(也称为爬虫协议、机器人协议等)的全称是 “网络爬虫排除标准”(Robots Exclusion Protocol),网站通过 Robots 协议告诉来访网站的搜索引擎,此网站的哪些页面可以抓取,哪...
泰泰
9个月前 (06-08) 1824℃ 1评论
2喜欢
【前言】
Robots协议(也称为爬虫协议、机器人协议、爬虫规则等)——全称:“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
搜索引擎机器...
泰泰
3年前 (2018-04-25) 2350℃ 0评论
0喜欢