上海学会分析网站日志，了解蜘蛛对网站的捕捉

作为搜索引擎优化，我们经常分析网站日志。通过对网站日志的分析，我们可以了解更多关于蜘蛛对网站的捕捉。所谓的网站日志是以日志结尾的文件，记录各种原始信息，如网络服务器收到的处理请求和运行时错误。网站日志的最大意义是记录空和访问请求之间的操作。通过网站日志，您可以清楚地知道用户访问了您网站的哪个页面，以及在什么IP、什么时间、什么操作系统、什么浏览器和显示什么分辨率的条件下访问是否成功。 

 一、网站日志的功能 

1.通过网站日志，可以了解网站上蜘蛛的基本爬行情况，以及蜘蛛的爬行轨迹和爬行量。通过我们的网站日志，外部链接的数量和数量直接影响网站上蜘蛛的爬行数量。我们称之为链接诱饵的是，如果你建立了一个外部链接，蜘蛛可以通过你在抓取外部链接页面并把页面放出来时留下的链接来抓取你的网站，网站日志会记录蜘蛛的抓取动作。

2.网站的更新频率也与蜘蛛在网站日志中的爬行频率有关。一般来说，更新频率越高，蜘蛛的爬行频率越高。我们网站的更新不仅是新内容的增加，也是我们的微调操作。  

3.根据网站日志的反应，我们可以对空之间的一些事情和问题给出预警，因为如果服务器有问题，它会首先反映在网站日志中。我们应该知道服务器的稳定速度和打开速度都会直接影响我们的网站。 

4.通过网站日志，我们可以知道网站的哪些页面非常受蜘蛛的欢迎，哪些页面甚至没有被蜘蛛接触过。同时，我们也可以发现一些蜘蛛由于过度爬行而消耗了我们服务器上的大量资源，所以我们不得不进行屏蔽工作。 第二，如何下载日志 当purchasing 空时，您需要询问是否支持网站日志下载，但是现在基本的虚拟主机都有这个功能，网站日志每天生成一次，我们只需要使用FTP工具来传输到本地。 

 三。网站日志分析 对数对数分析

1.日志的后缀是log。我们用记事本打开它。选择格式中的自动换行看起来很方便。同时，我们使用搜索功能来搜索蜘蛛BaiduSpider和谷歌机器人。

例如: 百度蜘蛛2012-03-13 00:47:10 W3SVC 177 116.255.169.37 GET/–80–220 . 181 . 51 . 144 Baiduspider-Favo ++百度/搜索/蜘蛛)200 0 15256 197 265 谷歌机器人2012-03-13 08:18:48 W3SVC 177 116.255.169.37 GET/ROBOTS。200 000 985 200 31 让我们分章节解释一下。 

蜘蛛在2012年3月13日00: 47: 10爬行的日期和时间；这是机器代码，这是我们唯一不关心的。116.255.169.37的IP地址是服务器的IP地址。GET代表事件。GET后面是蜘蛛爬行的网页。斜线代表主页。80代表港口。220.181.51.144的IP是蜘蛛的IP。在这里，海药SEO快速发布签约技术编辑告诉我们一个识别真假百度蜘蛛的方法。

我们的计算机点击开始运行，并输入cmd打开一个命令提示符。输入nslookup空网格和星形IP，单击输入。一般来说，真正的百度蜘蛛有自己的服务器IP，而假蜘蛛没有。 如果网站上有大量的假蜘蛛，那就意味着有人冒充百度蜘蛛来收集你的内容。你应该注意。如果它太猖獗，它将占用您的服务器资源，我们需要阻止他们的IP。 这是状态码。状态码的含义可以在百度上搜索。197 265最后两位数字代表访问和下载的数据字节数。

2.当我们分析时，首先看状态代码200，这意味着下载成功，304，这意味着页面没有被修改，和500，这意味着服务器已经超时。这些是百度可以检查的其他通用代码。我们需要处理不同的问题。  

3.我们需要看到蜘蛛经常爬行的页面，我们需要记录它们并分析它们为什么经常被蜘蛛爬行，以便分析蜘蛛喜欢什么。  

4.有时当我们的路径不一致时，斜线和无斜线都有问题。蜘蛛会自动识别301跳至带斜线的页面。这里我们发现搜索引擎可以判断我们的目录，所以我们需要统一我们的目录。 

5.我们已经分析日志很长时间了，我们可以看到蜘蛛的捕捉规则。可以看到同一目录下单个文件的捕获频率间隔和不同目录下的捕获频率间隔。这些捕获频率间隔由蜘蛛根据网站权重和网站更新频率自动确定。  

6.蜘蛛抓取我们的网页是根据它们的重量分级的，一般顺序是主页，目录页和内页。 

7.不同IP的蜘蛛有不同的抓取频率 

 四、检查网站日志的含义 

1.检查访问网站的用户的IP、访问页面、停留时间、访问日期等。

2、查看搜索引擎蜘蛛访问网站的页面，返回的代码是什么 

3.找到404页和其他有问题的页面，包括死链接 

4、发现百度蜘蛛每天定时访问网站，那么就可以定时更新网站。 

5.所访问的页面有参数(代表动态页面或中文网址)。超过三个参数的路径不利于优化，因此有必要将它们写入robots.txt。  

6、返回代码不正常，有必要进行处理，让页面恢复正常访问，不能恢复正常访问的死链接，建立txt文档，提交给百度站长平台。 百度可以收录7404页，然后尝试恢复网站访问 五、网站日志分析工具 爱情看台日志分析工具 在这里，我想向你介绍一个非常有用的网站日志分析工具，即拉戈好的分析工具http://www.loghao.com/.。你可以选择导入日志进行分析，或者使用各种搜索引擎优化工具，如爱站来直接分析网站日志。