批量检查页面404错误的方法(Xenu使用方法)

Xenu Link Sleuth是一款功能简单、但对SEO十分重要的蜘蛛爬行模拟工具。界面非常简单，用户输入一个网址，通常是网址的首页，单击OK按钮，这个软件就会按照输入的网址可以分别列出网站 的活链接以及死链接，连转向链接它都分析得一清二楚；支持多线程 ，可以把检查结果存储成文本文件或网页文件。

使用了上面的软件很方便的就找到了我们的这个页面索引的页面的一些出现404错误的页面，这样我们就可以快速的解决问题了。

Xenu测试原理

从待测网站的根目录开始搜索所有的网页文件，对所有网页文件中的超级链接、图片文件、包含文件、CSS文件、页面内部链接等所有链接进行读取，如果是网站内文件不存在、指定文件链接不存在或者是指定页面不存在，则将该链接和处于什么文件的具体位置记录下来，一直到该网站所有页面中的所有链接都测试完后才结束测试，并输出测试报告。

如果发现被测网站内有页面既没有链接到其他资源也没有被其他资源链接，则可以判定该页面为孤立页面，将该页面添加到孤立页面记录，并提示用户。

测试链接目标是否存在和是否有孤立页面都可以通过程序自动完成，但是程序却不能判断目标页面是否于用户的意是否相符合，如果链接到不正确的页面，例如将公司介绍链接到产品介绍，则程序无法进行判断，因此链接页面的正确性需要人工进行判断。

Xenu状态识别
检测完的链接状态常用的有：ok、timeout、no connection、no such host、not found等等。
■ok、mail host ok ：表示链接正常；
■timeout、no connection、no such host：表示访问超时或者无法访问（不代表是空链）；
■not found：如果是not found，表示没有找到，即空链接。