linux下查看百度蜘蛛爬行次数命令大全

admin · 发表于 2019-10-12 17:10:01

Linux shell指令
1. 百度蜘蛛来光顾的次数

复制代码

最左面的数值显现的就是光顾次数。
2. 百度蜘蛛的具体记载(Ctrl C可以终止)

复制代码

也可以用下面的指令：

<p>cat access.log | grep Baiduspider | tail -n 10</p><p>cat access.log | grep Baiduspider | head -n 10</p>

复制代码

只看最终10条或最前10条，这用就能知道这个日志文件的开端记载的时间和日期。
3. 百度蜘蛛抓取主页的具体记载

复制代码

百度蜘蛛好像对主页非常酷爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜爱内页。
4. 百度蜘蛛派性记载时间点散布

复制代码

5. 百度蜘蛛光顾页面按次数降序列表

cat access.log | grep “Baiduspider ” | awk ‘{print $7}’ | sort | uniq -c | sort -r

复制代码

文中的Baiduspider 改成Googlebot都可以检查谷歌的数据，鉴于大陆的特殊性，我们应该对百度的log更为关注。

GM起点