robots.txt写法和创建 | 长沙SEO
长沙SEO:分享优化思维和经验,提供教程视频下载 网站地图 RSS
于本站产生有效评论,即回访赠送IP;与本站互链,每日回访并评论文章
当前位置: 长沙SEO > SEO入门 > 详细内容

robots.txt写法和创建


本站robots文件参考http://www.5aiseo.cn/robots.txt:
User-agent: *
Disallow: /wp-admin/
Disallow: /404.html
Disallow: .jpg$
Disallow: /*?*
Disallow:/wp-content/
Disallow:/sitemap.html

什么是robots文件

它是网站对搜索引擎开放的一个门户公告。搜索引擎为了抓取互联网上优秀的资源,首先会放出自己的网络爬虫即spider(网页蜘蛛)程序去自动访问互联网上网页然后抓取信息。而它在访问一个网站之前,首先回去看网站下面robots.txt文件允许它抓取哪些页面不允许它抓取哪些页面。

当你的网站有不希望搜索引擎抓取的页面的时候,才需要使用robots.txt文件。而你喜欢收录所有内容的时候,切勿创建robots文件。

需要了解的是,网站用robots文件屏蔽了蜘蛛抓取,还是会在搜索引擎搜索展示中出现,不过你网站内容不会被抓取、建立索引然后显示,搜索展示的结果并不是蜘蛛抓取的结果,而是其他网页外链指向的作用,即其他网站对您相关网页的描述。 比方说淘宝的搜索展示。

robots.txt写法和创建

robots.txt文件写法与生成

网站根目录下创建一个robots.txt命名的文件,内容第一行写上“User-agent: *”,这里*表示所有搜索引擎,而如果后面的内容仅针对于某一个搜索引擎的蜘蛛,那么就把*对应改成那个蜘蛛的名称。然后后面每一行都用“Disallow:”加上抓取不允许蜘蛛抓取的页面,“Allow:”加上允许抓取的页面。

各大搜索引擎蜘蛛的名称与工作原理参考:《网络爬虫

用Disallow限制蜘蛛访问,它的值可以是完整路径,也可以是路径非空前缀。例如“Disallow:/jianzhan”表示禁止了/jianzhan为前缀的所有页面,包括/jianzhan.html、/jianzhan01.html、/jianzhan/index.html。而“Disallow:/jianzhan/”则表示可以访问/jianzhan.html、/jianzhan01.html,仅限制/jianzhan/index.html。同样,“Disallow:”表示可以访问所有页面,“Disallow:/”限制所有页面蜘蛛不能访问。
allow用来指定那些路径是允许访问的,用法用Disallow,一般两者结合使用。当网站没有robots.txt文件的,那么效果同“Disallow:”“allow:/”一样,所有页面对蜘蛛开放。
需要注意的是robots文件中“*”和“$”的使用,以及区分大小写。“*”和“$”的使用是用来模糊匹配url的。“$”匹配结束符,“*”匹配0或多个任意字符。

详细用法举例请进入第二页:robots.txt文件用法举例

文章分页: 1 2下一页

请选择你看完该文章的感受:

12不错 3超赞 5无聊 5扯淡 3不解 4路过

来了,请说点什么吧



吾爱SEO小站,倾情分享多年搜索引擎优化学习心得,提供各类网站优化及建站教程视频下载,致力打造湖南长沙SEO优化建站技术、长沙本地一流技术博客!!
为企业网站提供免费优化诊断服务、欢迎大家咨询!!长沙网站SEO阿信qq:2713074171

广而告之

近期评论