网络爬虫 | 长沙SEO
长沙SEO:分享优化思维和经验,提供教程视频下载 网站地图 RSS
于本站产生有效评论,即回访赠送IP;与本站互链,每日回访并评论文章
当前位置: 长沙SEO > SEO入门 > 详细内容

网络爬虫


网络爬虫又叫网页蜘蛛,网络机器人,它是指按一定规则,自动抓取万维网信息的程序或者脚本。简而言之就是搜索引擎用来抓取网页的一种漫游状态的工具,我们SEO优化常常听说的百度蜘蛛就是百度自己的用来抓取其他网站内容的网络爬虫。

网络爬虫 百度蜘蛛

网络爬虫的工作原理

网络爬虫 百度蜘蛛

网页内容库就好像搜索引擎背后的图书馆,索引库就好像是图书馆管理员的一个电脑存着哪一本书放在哪里,搜索引擎就好像图书馆门口的管理员,知道你要什么东西然后快速通过索引用的电脑立刻去图书馆找到这些相关书籍拿给你看。

网络爬虫 百度蜘蛛

首先搜索引擎放出网络爬虫,到茫茫互联网中,抓取信息,再把抓取到的存放到网页内容库中,然后通过索引程序建立起索引库。但是这些我们都是看不到的,搜索引擎用它的服务器把这些数据存起来,展现给我们的只有一个搜索框,然后用户通过搜索框输入要查找的内容,搜索引擎立刻去索引库把对应的网页索引找到,并且通过索引程序去网页内容库把这些内容提取出来,依次展示在你面前。这就是网络爬虫的工作原理,也是整个搜索引擎的工作原理。

网络爬虫与SEO优化

网络爬虫 百度蜘蛛

了解了网络爬虫原理之后,它能给我们SEO带来什么好处和启发呢。通过爬虫工作原理,我们可以探索到百度蜘蛛的爬行规律,互联网上优质的内容永远是稀缺的,所以我们要做的是保持网站内容更新频率,最重要的是网站内容的质量,然后蜘蛛就是经常光顾我们的网站,然后给你的网站好评,这样做的好处就是网站排名的上升。
怎么知道爬虫来自己的网站抓取的情况呢。这个主要是通过查看网站空间里面的网站日志文件,一般存放在含有“logs”字符的文件夹里,如果没有或者没有找到可以询问空间商,一般购买空间之前就要问空间商空间能不能生成网站日志。如果我们不想爬虫抓取网站某一部分内容的时候,需要写入robots文件,这也是爬虫优化的非常重要的一个部分。

简单认识各大搜索引擎的网络爬虫

1、百度蜘蛛:Baiduspider
网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,都洗洗睡吧,那是旧黄历了。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下蜘蛛,查了下资料(其实直接看名字就可以了……),是抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛:Googlebot
这个争议较少,但也有说是GoogleBot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”。还发现了Googlebot-Mobile,看名字是抓取wap内容的。
3、360蜘蛛:360Spider,它是一个很“勤奋抓爬”的蜘蛛。
4、SOSO蜘蛛:Sosospider,也可为它颁一个“勤奋抓爬”奖的蜘蛛。
5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
6、有道蜘蛛:YoudaoBot,YodaoBot(两个名字都有,中文拼音少了个U字母读音差别很大嘎,这都会少?)
7、搜狗蜘蛛:Sogou News Spider
搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,
(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou概括,无法验证不知道有没有效)
看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。
8、MSN蜘蛛:msnbot,msnbot-media(只见到msnbot-media在狂爬……)
9、必应蜘蛛:bingbot
线上(compatible; bingbot/2.0;)
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜sou蜘蛛:EasouSpider
13、即刻蜘蛛:JikeSpider
14、一淘网蜘蛛:EtaoSpider

请选择你看完该文章的感受:

0不错 0超赞 0无聊 0扯淡 0不解 0路过

来了,请说点什么吧



吾爱SEO小站,倾情分享多年搜索引擎优化学习心得,提供各类网站优化及建站教程视频下载,致力打造湖南长沙SEO优化建站技术、长沙本地一流技术博客!!
为企业网站提供免费优化诊断服务、欢迎大家咨询!!长沙网站SEO阿信qq:2713074171

广而告之

近期评论