抓取计策：哪些网页是我们需要去抓取的，哪些是无需抓取的，哪些网页是我们优先抓取的，界说明确往后，能俭仆很多无谓的爬取。更新策略：监控列表页来创造新的页面;定期check 页面是不是过期等等。抽取策略：我们应当若何的从网页中抽取我们想要的内容，不单仅包含事实下场的方针内容，还有下一步要抓取的url.抓取频率：我们需要公道的去下载一个网站，却又不失效率。 　　让我对“若何和爬虫对话 ”这个课题有了一些思让我对“若何和爬虫对话 ”这个课题有了一些思虑，下面归纳的重要用于凑趣上面提到的爬虫“抓取策略”。
1、经过过程 robots.txt 和爬虫对话：搜索引擎创造一个新站，原则上第一个访谒的就是 robots.txt 文件，可以经过过程 allow/disallow 语法告诉搜索引擎那些文件目录可以被抓取和不成以被抓取。对于 robots.txt 的具体先容：about /robots.txt此外需要正视的是：allow/disallow 语法的顺次是有辨此外

2、经过过程 meta tag 和爬虫对话：比方有的时辰我们但愿网站列表页不被搜索引擎收录可是又但愿搜索引擎抓取，那么可以经过过程告诉爬虫，其他常见的还有 noarchive，nosnippet，noodp 等。

3、经过过程 rel=“nofollow” 和爬虫对话：对于 rel=“nofollow” 比来国平写了一篇文章《若何用好 nofollow》很值得一读，信任读完往后你会有很大的启发。

4、经过过程 rel=“canonical” 和爬虫对话：对于 rel=“canonical” 谷歌网站站短工具辅助有很具体的先容：深切体味 rel=“canonical”

5、经过过程网站舆图和爬虫对话：斗劲常见的是 xml 名目 sitemap 和 html 名目 sitemap，xml 名目 sitemap 可以豆割措置或者缩短缩短，此外，sitemap 的地址可以写入到 robots.txt 文件。

6、经过过程网站打点员工具和搜索引擎对话：我们接触最多的就是谷歌网站打点员工具，可以设定 谷歌bot 抓取的频率，樊篱不想被抓取的链接，节制 sitelinks 等，此外，Bing 和 Yahoo 也都有打点员工具，百度有一个百度站长平台，内测一年多了摹拟还是在内测，没有礼聘码没法注册。
此外，这里面还衍生出一个概念，就是我一贯斗劲正视的网站收录比，所谓网站收录比=网站在搜索引擎的收录数/网站真实数据量，网站收录比越高，申明搜索引擎对网站的抓取越顺遂。且则就想到这些，方针在于测验测验性的参议若何更有用的前进网站在搜索引擎的收录量。