一、robots 介绍
Robots 协议（也称为爬虫协议、机器人协议等）的全称是 “网络爬虫排除标准”（Robots Exclusion Protocol），网站通过 Robots 协议告诉来访网站的搜索引擎，此网站的哪些页面可以抓取，哪...
泰泰
1个月前 (06-08) 129℃ 0评论
0喜欢
【前言】
Robots协议（也称为爬虫协议、机器人协议、爬虫规则等）——全称：“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
搜索引擎机器...
泰泰
2年前 (2018-04-25) 1800℃ 0评论
0喜欢
