在建设网站后，蜘蛛爬取的个文件是网站的robots文件而非其他，因此正确的robots文件协议设置就显得特别重要。一般来讲，正确的设置原则有几个点：

1:不希望蜘蛛索引的文件屏蔽掉。

2:依据网站安全性考虑，一些活络的文件也需屏蔽。

3:可将xml格式的地图放置到文件中。

二、网站是否设置依据搜索引擎的xml格式的网站地图。

网站地图关于搜索引擎来讲，是和睦的。能将网站的整体结构条理呈现给搜索引擎，以便于搜索引擎率的索引网站。关于网站地图的制作，有许多的教程，一些周六的cms建站系统也有相应的插件，不在赘述。

三、网站是否设置正确的404页面。

早些年，404页面并不是一个优化点，跟着搜索引擎算法不断进化，许多点都能归纳于优化点。网站设置404页面，告诉用户页面是否删掉无法访问，高手搜索引擎某页面的状况，是很有必要的。其他，不建议404页面自动跳转到主页或某一个页面，由用户自动选择即可。

四、分析网站链接的唯一性。

许多时分，一个网站的页面能一同被多个页面访问到，这是不利于关键链接会集权值的。一般操作是设置一个更重要的url给搜索引擎，其他的链接通过301重定向指向这个url，其他，可通过canonical标签予以处理。

五、确诊网站同ip站点的健康状况。

同一个ip站点有事有许多，假设其他站点或多或少存在不健康的状况，很有可能涉及到自己的站点，这种状况下，就需求确诊同ip站点是否存在问题。