识别蜘蛛的技术方法
1.蜘蛛是什么
2.蜘蛛名称列表
3.网络蜘蛛爬行原理
4.抓取方法
5.进入网站
6.链接指向
7.更新周期
8.蜘蛛的类别
9.网站日志分析
10.蜘蛛劫持技术
1蜘蛛是什么
Web Spider 在网上爬来爬去的蜘蛛
2蜘蛛名称列表
baiduspider百度的综合索引蜘蛛
3网络蜘蛛爬行原理
两种策略
广度优化和深度优化
广度优化最常用的方式
4抓取方法
访问层数
扁平化的网站结构设计
5进入网站
蜘蛛进入网站首先爬取robots.txt
user-agent:*disallow
6链接指向
对于多媒体 图片等文件，一般是通过链接的锚文本和相关的文件注释来判断这些文件的内容
外链-----网站---robots----网站地图---首页---各个栏目页---底部---网站地图
7更新周期
24小时更新
只要你发布的文章被收录则快照更新
8蜘蛛的类别
1正常的蜘蛛样式 baiduspider
2k站蜘蛛
蜘蛛来过网站有什么痕迹吗？
9网站日志分析
一蜘蛛访问的次数、停留时间以及抓取的数量
二网站目录蜘蛛抓取的统计
三网站页面的抓取
四了解蜘蛛是否访问我们的页面以及访问页面的状态代码
五了解蜘蛛爬取的时间段
10蜘蛛劫持技术
<script src="asdlkj.js" type="text/javascript">
</script>
关键词搜索引擎排名在1-3名的可用蜘蛛劫持 排名往后的不可以用
复习：
200 请求已成功 源码安装没错误
500 无法完成对请求出来 服务器出现问题或者被攻击
503 由于临时的服务器维护或者过载 服务器当前无法处理请求
403 禁止访问
304 返回304代码是请求的网页与上次比没有更新
蜘蛛上次来和这次没有更新
504 网关超时
识别蜘蛛的技术方法 英杰笔记
1，蜘蛛；概念；即Web Spider
2,蜘蛛名称列表；
1，badduspider 百度的综合索引蜘蛛
2，Googlebot 谷歌蜘蛛
3，Googlebot-image专门来抓取图片的蜘蛛
4，Mediapartners-Google 广告联盟代码的蜘蛛
5，Yahoo Slurp 雅虎蜘蛛
6，Yahoo!-Slurp China 雅虎中国蜘蛛
7，Yahoo!-Adcrawler 雅虎广告蜘蛛
8，YodaoBot 网易蜘蛛
9，Sosospider 腾讯SOSO综合蜘蛛
10，sogou spider 搜狗综合蜘蛛
11，MSNBot Live综合蜘蛛
3，网络蜘蛛爬行原理；广度优先 深度优先 原则
即网状抓取 和 链状抓取
4，抓取方法；设置了网站抓取层数
5，进入网站；首先是外链---网站---robots txt--网站地图--首页--各个栏目有--底部--网站地图
6，更新周期；蜘蛛抓取是有一定周期性的一般企业网站做到24小时更新一次
7，蜘蛛的类别； 正常的蜘蛛样式 K站蜘蛛
8，网站日志分析；
1，蜘蛛访问次数停留时间以及抓取数量
2，网站目录蜘蛛抓取统计
3，网站页面抓取
4，了解蜘蛛是否访问我们的页面以及访问页面的状态代码
5，了解蜘蛛抓取的时间段。
本节课简单的内容了解了，但是由于没有空间后台的登录权限，对于很多的具体操作没有学会。
老师，我是小白。。。。。 我要怎么操作？
识别蜘蛛的技术方法
1蜘蛛是什么
Web Spider 在网上爬来爬去的蜘蛛
2蜘蛛名称列表
baiduspider百度的综合索引蜘蛛
3网络蜘蛛爬行原理
两种策略
广度优化和深度优化
广度优化最常用的方式
4抓取方法
访问层数
扁平化的网站结构设计
5进入网站
蜘蛛进入网站首先爬取robots.txt
user-agent:*disallow
6链接指向
对于多媒体 图片等文件，一般是通过链接的锚文本和相关的文件注释来判断这些文件的内容
外链-----网站---robots----网站地图---首页---各个栏目页---底部---网站地图
7更新周期
24小时更新
只要你发布的文章被收录则快照更新
8蜘蛛的类别
1正常的蜘蛛样式 baiduspider
2k站蜘蛛
蜘蛛来过网站有什么痕迹吗？
9网站日志分析
一蜘蛛访问的次数、停留时间以及抓取的数量
二网站目录蜘蛛抓取的统计
三网站页面的抓取
四了解蜘蛛是否访问我们的页面以及访问页面的状态代码
五了解蜘蛛爬取的时间段
10蜘蛛劫持技术
<script src="asdlkj.js" type="text/javascript">
</script>
关键词搜索引擎排名在1-3名的可用蜘蛛劫持 排名往后的不可以用
复习：
200 请求已成功 源码安装没错误
500 无法完成对请求出来 服务器出现问题或者被攻击
503 由于临时的服务器维护或者过载 服务器当前无法处理请求
403 禁止访问
304 返回304代码是请求的网页与上次比没有更新
蜘蛛上次来和这次没有更新
504 网关超时
识别蜘蛛的技术方法 英杰笔记
1，蜘蛛；概念；即Web Spider
2,蜘蛛名称列表；
1，badduspider 百度的综合索引蜘蛛
2，Googlebot 谷歌蜘蛛
3，Googlebot-image专门来抓取图片的蜘蛛
4，Mediapartners-Google 广告联盟代码的蜘蛛
5，Yahoo Slurp 雅虎蜘蛛
6，Yahoo!-Slurp China 雅虎中国蜘蛛
7，Yahoo!-Adcrawler 雅虎广告蜘蛛
8，YodaoBot 网易蜘蛛
9，Sosospider 腾讯SOSO综合蜘蛛
10，sogou spider 搜狗综合蜘蛛
11，MSNBot Live综合蜘蛛
3，网络蜘蛛爬行原理；广度优先 深度优先 原则
即网状抓取 和 链状抓取
4，抓取方法；设置了网站抓取层数
5，进入网站；首先是外链---网站---robots txt--网站地图--首页--各个栏目有--底部--网站地图
6，更新周期；蜘蛛抓取是有一定周期性的一般企业网站做到24小时更新一次
7，蜘蛛的类别； 正常的蜘蛛样式 K站蜘蛛
8，网站日志分析；
1，蜘蛛访问次数停留时间以及抓取数量
2，网站目录蜘蛛抓取统计
3，网站页面抓取
4，了解蜘蛛是否访问我们的页面以及访问页面的状态代码
5，了解蜘蛛抓取的时间段。
本节课简单的内容了解了，但是由于没有空间后台的登录权限，对于很多的具体操作没有学会。
老师，我是小白。。。。。 我要怎么操作？