分享新站随意使用robots的后果 | 长沙SEO
长沙SEO:分享优化思维和经验,提供教程视频下载 网站地图 RSS
于本站产生有效评论,即回访赠送IP;与本站互链,每日回访并评论文章
当前位置: 长沙SEO > 站长分享 > 详细内容

分享新站随意使用robots的后果


今天长沙SEO团队为大家分享一下个人经验,有学长沙SEO知识的爱好者们,都知道网站优化中robots机器人是用来抓取网站内容的,本人在《robots.txt写法和创建》也分析了,而robots.txt文件则是放在我们网站根目录下面的一个文本文件,用来规定什么蜘蛛(机器人)可以抓取什么文件,不可以抓取什么文件。我们通常用robots来告诉搜索引擎,这些目录你可以进,那些目录你不可以进;这些文件你可以访问,那些文件你不能访问。但是有些时候,robots文件,我们还是要谨慎使用的好,才会发挥它的功能,robots文件就像两刃剑一样。

蜘蛛即网络爬虫

事情还得从上个月开始。那时我们正在投标的一家长沙企业的网站整体推广方案,分析他们企业网站的过程中,因为网站是其他公司制作的,内容都已填充完整,大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。可这家所谓长沙专业建站公司用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到五年之后,(不可能还没有建好吧)仍然没有收录,我就建议中医院院方开放蜘蛛抓取。不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一条收录。

robots与蜘蛛抓取的关系

上个月,重新修改填充内容,也是把网站屏蔽着,结果到现在,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了,360收录了。这次彻底对度娘的robots文件反应速度是无语了。如下图:site:www.gdqyszyy.com长沙SEO把中医院SITE的结果

robots屏蔽蜘蛛导致收录降低

前两天在群里与小伙伴们讨论,一位叫就爱江湖的大神说自己之前也遇到过几次这样的情况。

在此长沙SEO提醒大家慎重的使用robots文件,特别对一个新站来说;提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把网站建好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。

360与百度robots之争

如果你还需要加深对robots的认识,建议阅读《robots.txt写法和创建

请选择你看完该文章的感受:

1不错 0超赞 0无聊 0扯淡 0不解 0路过

1 条评论 to “分享新站随意使用robots的后果”

  1. 长沙seo优化

来了,请说点什么吧



吾爱SEO小站,倾情分享多年搜索引擎优化学习心得,提供各类网站优化及建站教程视频下载,致力打造湖南长沙SEO优化建站技术、长沙本地一流技术博客!!
为企业网站提供免费优化诊断服务、欢迎大家咨询!!长沙网站SEO阿信qq:2713074171

广而告之

近期评论