重设密码
首页  /   帮助   /  正文

什么是蜘蛛引导次数?爬取次数与引导次数的区别

作者:蜘蛛1号    时间:2019-05-28 14:59

蜘蛛爬行一个页面,我们记录为一次爬取。

在这个页面中展现了10条不同的url,那么每个url都进行了一次蜘蛛引导。

这10条url被蜘蛛抓取回服务器后,都有几率会被蜘蛛直接爬取。

每一次引导,蜘蛛都有一定几率会爬。那么引导次数越多,几率越接近100%


如果提交url的时候选择了301跳转,那么引导次数就变成了爬取次数,可以立即达到蜘蛛100%爬取


建议初次先选择引1000次或2000次,引完后过2-3天查一下URL收录没,如果没收录可以选择更高次数进行引蜘蛛