如何查看网站被百度抓取的情况

访客3年前黑客文章427

百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

查看日志的方式:

通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

日志内容如下:

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

分析:

GET /bbs/thread-7303-1-1.html 代表,抓取/bbs/thread-7303-1-1.html 这个页面。

200 代表成功抓取。

8450 代表抓取了8450个字节。

如果你的日志里格式不是如此,则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

相关文章

不知道密码怎么登录对方微信(查对方微信密码)

每日要闻不知道密码怎么登录对方微信(查对方微信密码)不知道别人密码是不可以登录的,除非是用手机验证码登录,需要知道验证码才可以,别人的微信是属于别人的隐私,最好不要有这种想法,想偷看别人隐私什么的那样...

破解qq密码软件

· 一名23岁的澳大利亚女子因偷盗 10万个XRP被捕。 该女子进犯了一名 56 岁的加密使用者的钱包,并将价值 46000 美元的Ripple转移到一家我国加密钱银买卖所。 附录3、关于360天擎新...

小学毕业寄语(小学毕业寄语经典语录)

六年我们曾一起度过的时光,那间朗朗书声的教室,那熟悉的铃声,你的笑脸,都在我的生命里定格,祝你一路顺风,考上理想的中学,勿忘我!写给自己,小学。 1、山海可以阻隔彼此,却阻隔不了我的思念,距离可以拉开...

用新零售思维拆解地摊经济

用新零售思维拆解地摊经济

编辑导语:突如其来的新冠疫情给经济的成长带来了很大的压力,许多人因此失去了事情和收入;在两会上,总理提到了开放地摊经济,办理各人的就业问题;新零售和地摊经济本质上差不多,本文作者用新零售思维拆解地摊经...

红心大战怎么玩才能赢,教大家电脑游戏红心大战的玩法了

红心大战怎么玩才能赢,教大家电脑游戏红心大战的玩法了

红心大战是电脑上可以直接单机玩的纸牌小游戏,游戏目标是得分最低。也算得上是一个时代人的回忆了,不过有些用户还不太清楚,这里,小编为玩家提供红心大战怎么玩、红心大战游戏规则,教大家怎么玩游戏红心大战...

vivo手机隐藏代码指令(vivo的隐藏程序代码)

vivo手机隐藏代码指令(vivo的隐藏程序代码)

本文导读目录: 1、vivo有哪些隐藏功能,如拨号键输入*#*#2288#*#*网络优先设置 2、vivo代码拨号的隐藏功能是什么? 3、vivo手机代码大全? 4、vivo代码隐藏功能大...