网站蜘蛛日志分析

访客3年前关于黑客接单986

 

 

不清楚我们的网站百度蜘蛛是否来过,不知道我们网站百度蜘蛛是否能来,那你可以利用网站日志来分析蜘蛛是否来过,爬行过哪些页面,什么时候来过等问题,那么我们应该如何去分析网站蜘蛛日志。

百度蜘蛛日志分析

在我们分析网站日志的前提是必须要下载ISS日志,一般的情况下,我们都使用ftp,那么ISS日志均为空间商会给你提供下载地址。一般是在weblog文件中,我们可以直接从这一文件中获取站点的日志文件。一般的情况下,ISS日志是每天生成一次,但是对于网站较大,站点内容较多的可以设置每小时生成一次。

如何分析蜘蛛日志

61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " /SEOjishu/161.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" 

以上的代码是我从自己的空间下载的一段日志,现在与大家一起来分析一下,这段代码具体意思如下:

61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。

11/Feb/2014:04:02:45:时间2014年2月11日早上4点02分45秒。

/SEOjishu/161.html:蜘蛛访问的页面,加上网站的主域名如:http://www.hack6.com/SEOjishu/161.html

200:表示能够正常访问你的网站。

8450:表示此次加载了8450个字节。

Baiduspider:百度蜘蛛的全名。

以上是网站日志分析的细节,那么以上的内容有两点,是我们需要注意的,同时在分析的过程中也需要记住的。那就是状态代码和程序名的解析。

状态代码

200 - 服务器成功返回网页

404 - 请求的网页不存在

503 - 服务器暂时不可用

500 - 服务器出现错误

蜘蛛名称

百度(Baidu)爬虫名称(Baiduspider)

谷歌(Google)爬虫名称(Googlebot)

雅虎(Yahoo)爬虫名称(Yahoo Slurp)

有道(Yodao)蜘蛛名称(YodaoBot)

搜狗(sogou)蜘蛛名称(sogou spider)

MSN的蜘蛛名称:msnbot

如何让蜘蛛经常访问我们的网站

那么看懂这些数据以后,很多朋友可能会很失望,觉得自己的网站蜘蛛访问的很少甚至没有访问记录,那么你也别担心,可能是你网站的一些小问题引起了蜘蛛的不关注。下面来看看面对蜘蛛不关注我们的网站,我们应该如何操作吧。

定时更新:对于小网站或者博客网站,我们可以定时更新1-3篇少量信息,那么对于论坛门户这种栏目较多的网站,我们就需要更具自己网站的情况来更新,以便获得蜘蛛的青睐。

网站地图: *** 蜘蛛网站地图,当蜘蛛在抓取你的页面,蜘蛛会先抓取你的robots文件,所以网站地图写在robots文件里面来引导蜘蛛抓取网站地图内容。

外链引导:我曾经做过一次这样的实验,新建一个文本页面的网站,不做任何操作,仅仅在A5论坛发了一个纯文本链接,第二天百度收录了我的那个文本页面。这一点说明SEO外链是可以引导百度蜘蛛来收录你的网站的。

推荐此文:如果你的条件允许的情况下,你可以将你的内容文字推荐到首页,或者在其他内容页推荐,因为一个网站首页的权重是更高的,所以在首页推荐的情况下,是非常容易就可以收录你的文章。

 

相关文章

符文之地卡组推荐 符文之地蔚蜘蛛卡组搭配打法攻略

符文之地卡组推荐 符文之地蔚蜘蛛卡组搭配打法攻略

符文之地这款游戏即将上线了,大家知道这是以英雄联盟为ip背景打造的卡牌游戏,很多玩家很感兴趣,那么这款游戏怎么玩呢?有哪些厉害的卡组呢?这里说下蔚蜘蛛卡组,蔚蜘蛛卡组怎么玩?想来很多朋友都还不是很清楚...

如何与恶意“蜘蛛”暗度陈仓?

如何与恶意“蜘蛛”暗度陈仓?

在搜索引擎优化的进程中,您是否碰着过这样的问题:处事器会见的CPU操作率险些是100%,页面加载速度很是慢,看起来像是受到了DDOS的进攻。 颠末一番查抄,发明本来的方针网站常常被大量不相关的“爬虫”...

搜索引擎友好_蜘蛛友好性操作规范详解(攻略篇)

搜索引擎友好_蜘蛛友好性操作规范详解(攻略篇)

搜索引擎友好_蜘蛛友好性操纵类型详解(攻略篇) 值得一看几天前,一位从事阿里巴巴网站运营的伴侣将一个网站扔给该博客,辅佐阐明该网站是否可以优化。被抛出的第一页的链接以index.php末了。页面上的大...

网站死链检测(蜘蛛一路畅通爬取网站的秘密)

网站死链检测(蜘蛛一路畅通爬取网站的秘密)

网站死链检测(蜘蛛一路流畅爬取网站的奥秘) 值得一看几天前,一位高中同学发了一条微信信息给博客作者。她在百度上搜索要害词,并随机点击几个网站,功效发明个中一个网站显示“404未找到”。另外,由于常常利...

详解: 百度蜘蛛,搜索引擎的工作原理! 子晨SEO博客

详解: 百度蜘蛛,搜索引擎的工作原理! 子晨SEO博客

搜索引擎天天需要处理惩罚大量的页面,纵然是方才进入搜索引擎优化规模的亿万新人,也常常喜欢钻研百度搜索引擎的事情道理,但事实上算法天天都在迭代更新,这就要求我们跟上存眷的官方成长。 一般来说,搜索引擎的...

做SEO蜘蛛是什么 学会养蜘蛛 收录其实很简单

众所周知,只有被搜索引擎蜘蛛抓取并被收录的页面,才有可能参与到搜索结果排名的竞争中,所以如何建立网站与搜索引擎蜘蛛之间的关系,是站长们最为关注的问题。 搜索引擎蜘蛛(又被称为:网页蜘蛛、网络爬虫),采...