网站日志分析是必备的技能

网站的SEO优化过程中不免会分析网站日志,网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以更加清楚的知道网站的健康状况,使用这些数据更有利于开展网站SEO优化。

通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面,是否访问成功。对于专业从事搜索引擎优化工作者而言,网站日志可以记录各搜索引擎蜘蛛机器人爬行网站的详细情况,例如:哪个IP的百度蜘蛛机器人在哪天访问了网站多少次,访问了哪些页面,以及访问页面时返回的HTTP状态码。

常见的蜘蛛名称:

Baiduspider:百度蜘蛛

Baiduspider-Image:百度图片蜘蛛

Googlebot:谷歌机器人

Googlebot-Image:谷歌图片机器人

360Spider:360蜘蛛

sogou spider:搜狗蜘蛛
各搜索引擎蜘蛛特点
搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。

一般用法为“ spider+URL”,后面的URL(网址)是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…

1、百度蜘蛛:可以根据服务器的负载能力调节访问密度,大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面,导致其他页面无法被抓取到而不能被收录。这种情况可以采取 robots协议的方法来调节。

2、谷歌蜘蛛:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。

3、雅虎中国蜘蛛:如果某个网站在谷歌网站下没有很好的收录,在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大,但平均的效率不是很高,相应的搜索结果质量不高。

4、微软必应蜘蛛:必应与雅虎有着深度的合作关系,所以基本运行模式和雅虎蜘蛛差不多。

5、搜狗蜘蛛:搜狗蜘蛛的爬取速度比较快,抓取的数量比起速度来说稍微少点。最大的特点是不抓取 robot. text文件。

6、搜搜蜘蛛:搜搜早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术,但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。

8、有道蜘蛛:和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。

一、网站日志的作用
1、通过网站日志可以了解蜘蛛对网站的基本爬取情况,可以知道蜘蛛的爬取轨迹和爬取量。

2、网站的更新频率也和网站日志中蜘蛛抓取的频率有关,一般来说更新频率越高,蜘蛛的抓取频率越高,而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。

3、我们可以根据网站日志的反应情况,对我们的空间的某些事情和问题提前进行预警,因为服务器如果出问题的话在网站日志中会第一时间反映出来,要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。

4、通过网站日志我们可以知道网站的那些页面是很受蜘蛛欢迎的,而哪些页面是蜘蛛连碰都不去碰的,同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的,我们要进行屏蔽工作。

二、如何下载网站日志
1、首先我们的空间要支持网站日志下载,这一点是很重要的,在购买空间时候需事先了解下是否支持日志下载,因为有的服务商是不提供这项服务的,如果支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。

2、这里有个很重要的问题,网站日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,我们有时电脑打开是会造成死机,设置的话找空间商协调设置即可。

三、网站日志数据分析

1、网站日志中数据量过大,所以我们一般需要借助网站日志分析工具来查看。常用的日志分析工具有:光年日志分析工具、web log exploer、WPS表格等

117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0;Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"

分析:

117.26.203.167访问ip;

02/May/2011:01:57:44 -0700访问日期 -时区;

GET/index.php HTTP/1.1根据HTTP/1.1协议抓取(域名下)/index.php这个页面(GET表示服务器动作);

500服务器响应状态码;

服务器响应状态码通常状态码有以下几种:200,301,302,304,404,500等。200代表用户成功的获取到了所请求的文件,如果是搜索引擎,则证明蜘蛛在这次爬行中顺利的发现了一些新的内容。而301则代表用户所访问的某个页面url已经做了301重定向(永久性)处理,302则是暂时性重定向。404则代表所访问的页面已经不存在了,或者说访问的url根本就是个错误的。500则是服务器的错误。

19967表示抓取了19967个字节;

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar表示访问者使用火狐浏览器及Alexa Toolbar等访问端信息;

2、如果你的日志里格式不是如此,则代表日志格式设置不同。

3、很多日志里可以看到 200 0 0和200 0 64则都代表正常抓取。

4、抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断,当然,我们希望百度蜘蛛每日抓取的次数越多越好。

5、有时候我们的路径不统一出现带斜杠和不带斜杠的问题,蜘蛛会自动识别为301跳转到带斜杠的页面,这里我们就发现了搜索引擎是可以判断我们的目录的,所以我们要对我们的目录进行统一。

6、我们分析日志分析时间长了,我们能够看出蜘蛛的抓取规律,同一目录下面的单个文件的抓取频率间隔和不同目录的抓取频率间隔都可以看出来,这些抓取频率间隔时间是蜘蛛根据网站权重和网站更新频率来自动确定的。

7、蜘蛛对于我们的页面的抓取是分等级的,是根据权重依次递减的,一般顺序为首页、目录页、内页。

四、通过网站日志我们能知道什么?
1、我们买的空间是否能够稳定?

2、蜘蛛对我们的那些页面比较喜欢而对哪些不喜欢?

3、蜘蛛什么时候抓取我们的网站频繁,我们需要什么时候更新内容?

总结:
所以不管是新站还是老网站,不管你做百度还是Google我们都能通过网站日志分析出来搜索引擎蜘蛛抓取的情况;如果网站长时间收录有问题,那么我们也可以对比网站日志中的搜索引擎蜘蛛行为,来了解网站是哪方面出了问题;如果网站被封,或者被K,我们都可以通过观察网站日志的情况来了解原因出在什么地方。我们要看的网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以简单明了的就知道网站的健康状况,可以利于我们更好的做网站优化,所以对于真正的SEO高手而言,分析蜘蛛日志是最直观,最有效的额。

分析网站日志能获取到的信息总结:

一、可以看出网站页面有哪些搜索引擎的蜘蛛抓取

从网站日志里面可以看出网站被哪些蜘蛛所抓取,网站的日志里面也有可能会出现一些其它私人开发的抓取器所抓取,由此我们可能会发现一些奇怪的蜘蛛抓取痕迹。另外百度也有属于自己的匿名蜘蛛,我们也要注意区分注意。

二、可以统计网站目录蜘蛛抓取的总量

通过抓取总量的分析可以对比出网站哪个目录更受搜索引擎的关注,一般来说蜘蛛抓取越频繁的目录,site网站此目录的排名会相对靠前,我们也可通过目录的蜘蛛访问量来适当调整目录的结构,对于那些抓取压力较大但是不怎么重要的目录也可适当缩减链接入口,以免阻碍给其它重要目录的抓取。

三、网站页面的抓取。

可以从中看出哪个页面蜘蛛是否抓取了一些没有被收录价值的页面,或者老是重复的抓取了这些页面等,那么同理要先采取措施予以频闭,要么是运用到nofollow标签,要么是robots文件等,这样就会降低因为搜索引擎抓取到大量相关性低或者质量度差的页面而影响到页面的权重传递这样的不利影响。

四、蜘蛛平均抓取页面的次数、页面平均停留时间以及抓取的数量。

(1)、平均每次抓取页面数=总抓取量/访问次数

(2)、单页抓取停留时间

(3)、页面平均停留时间=总停留时间/访问次数

从以上的分析能够很清晰的看出蜘蛛是否频繁关注自己的网站,而且抓取的页面越多,深度越足也能反映出网站的活跃度高,而且在停留的时间上面也能初步看出网站的页面和文章是否新颖或者原创,这是页面质量度的一个体现。

五、可以一览蜘蛛方面各网页的状态码

状态码是网站日志里面最重要的一个方面了,这是蜘蛛对于网站页面状态最直观的反映,从这些状态码中可以看出更多详细的信息。

六、了解网站日志蜘蛛的来访时间

对网站日常日志分析总结中,可以很直观的看出每天具体是哪个时间段是蜘蛛访问的高峰时期,我们为了迎合搜索引擎,也可以相应调整网站的更新时间,争取在蜘蛛活跃度最高的时间段更新文章,这样对自己网站的收录会有非常大的帮助,甚至还有可能达到秒收的效果!

总之,分析网站日志是一个非常有意义的技能,特别是网站建立的初期和运营遇到状况的时候,分析日志这个方面就更是尤为重要,当然再碰到信息量特别大的时候,单手动看效果是不好的,这里推荐光年日志分析工具,功能非常强大,基本能很好的满足一般网站的分析需求。
日志中的HTTP状态码含义
61.135.166.232 - - [31/Dec/2007:02:30:11 +0800] "GET /category21.html HTTP/1.1" 200 10968 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

66.249.70.172 - - [31/Dec/2007:03:36:10 +0800] "GET /32_10_zh.html HTTP/1.1" 200 18395 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

这里面需要知道的,就是那个奇怪的数字“200”(另外那个数字表示抓取的文件大小)。
“200”就是HTTP状态码。

SEO过程中最常见的HTTP状态码有:

200 - 服务器成功返回网页

404 - 请求的网页不存在

503 - 服务器超时

其他经常碰到的HTTP状态码列表如下:

HTTP状态码 摘要说明

成功2×× 成功处理了请求的状态码。
200 服务器已成功处理了请求并提供了请求的网页。
204 服务器成功处理了请求,但没有返回任何内容。
重定向3×× 每次请求中使用重定向不要超过 5 次。
301 请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL。
302 请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。
304 如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。
客户端错误4×× 表示请求可能出错,妨碍了服务器的处理。
400 服务器不理解请求的语法。
403 服务器拒绝请求。
404 服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
410 请求的资源永久删除后,服务器返回此响应。该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404 代码。如果资源已永久删除,应当使用 301 指定资源的新位置。
服务器错误5×× 表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
500 服务器遇到错误,无法完成请求。
503 服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。

服务器日志在SEO里的常见用途
1、修正抓取分布

对于大型站点,尤其是海量数据的网站,相对每个页面资源来说,其获取到的抓取资源也是非常有限的。这很有可能就会导致些版块SEO产生问题。

比如网站有10个核心的栏目内容,但是其中有5个是被爬虫顿繁抓取的版块,而另外5个版块爬虫很少光顾,从而导致这5个版块的SEO很不好。从数据上看,就是前5个栏目的SEO表现非常好,后5个栏目的SEO数据非常难看。这种问题,通过日志分析,也很快就能找出来。找到问题后,通过一些技术手段,将抓取资源引导到后5个栏目,能够达到事半功倍的效果。

2、发现意外页面

通常情况下,SEO负责人对自身网站结构有清晰的认识,非常了解什么地方有什么页面。但是由于一些产品功能、交互的原因,或代码方面的原因,或其他原因,会有一些意料之外的页面生成。而且很多情况下,这些意料外的页面的量级很可能还不小,从而对网站SEO造成不小的麻烦。这种时候,只有通过日志才能发现。

3、发现内容问题

SEO中有一个点很难把握, 就是页面内容的质量到底好不好?

这种具体的情况很难判断,因为牵涉这个页面本身,以及这个页面在网站内、页面在行业内,甚至页面在整个互联网内的相对价值有多高。

有可能我们自身认为某个页面的内容的价值很高,但是,把它放在更大范围来看就很一般。从而使得其排名、流量表现都非常差。所以说做SEO并不是说你本身优秀就可以,你还需要做到比别人更优秀。

结合日志,通过数据分析,如果发现某些栏目页面、产品页面,其页面索引与抓取的比例非常低,搜索跳出率高,其实就可以说明这个页面本身质量不好、相对价值不高。从而可以帮助我们在一些内容优化上面,提供一些直观的数据证明与优化方向。

最后编辑:2021年03月02日 ©著作权归作者所有

猜你喜欢

发表评论