宜昌网站优化:robots.txt的一般写法

      在网站优化中,站内做的再牛逼,第一步始终是蜘蛛抓取协议,如果一个网站robots.txt写的不好或者写错了,小心酿成网站不收录的大祸!下面针对本博客的robots.txt分析,在宜昌网站优化实战中分享自己的实战观点。

宜昌网站优化:robots.txt协议文件

      robots协议在网站优化中至关重要,直接引导蜘蛛抓取的内容。我们的网站要想得到更高的页面权重,就必须挑肥拣瘦的去引导。拿本博客来讲如下图2,User-agent: * 是允许所有蜘蛛抓取,这个一般默认,表中Disallow是表示禁止。蜘蛛来爬行抓取我们网站第一步就是访问根目录中的协议,也就是说根目录的文件很重要。我们可以将不重要,对排名无关紧要或者隐私文件进行屏蔽。当然这个根据每个网站而自定义。三银SEO博客将网站错误页面、后台登录、图片、会员功能、模板文件、不重要的展示图片、动态链接以及还未开放的栏目页文件都予以屏蔽了。

 
宜昌网站优化robots协议
图2-三银SEO博客robots协议

      其实robots.txt文件还有一个功能能促进网站收录,也是为了梳理站内链接给蜘蛛一个良好的抓取体验。那就是通过生成网站地图sitemap.xml和sitemap.txt 如上图中地图所示。

      上述就是宜昌网站优化实战分享的本博客对robots协议作出的部分解释和介绍,大家一定要因自己的网站视情况而定,不要盲目的复制人家网站的协议,造成东施效颦的笑话了。对于robots协议和站内不传递页面传递页面权重的控权标签nofollow的了解可深入阅读《宜昌网站优化:nofollow和robots的区别运用
  

 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.yichangseo.com/seoyouhua/24.html