抓取

百度蜘蛛；爬虫，是搜索引擎的一种抓取程序：百度baiduspider，谷歌googlebot，360  360spider，必应，有道，搜狗......

 

蜘蛛的工作内容：

1、爬行 页面为节点  链接为路径

2、抓取 抓取的方式，从左到右，从上到下也就是横向和纵向。

 

怎么让蜘蛛来我们的网站：

1、在百度资源平台进行链接提交

2、等待蜘蛛自己来  这种的时间较长

3、外部链接

 

怎么知道蜘蛛来过我们网站：

1、百度抓取频次

2、服务器网站日志  记录网站的访客信息

 

影响蜘蛛抓取的因素：

1、网址太长   一般乘积不超过五层

2、中文路径

3、服务器太差    稳定性不行   打不开或者打开慢

4、robots屏蔽

5、动态路径参数过多       路径里面带有  ？  =  &等等则为动态路径   这个是程序决定的

6、需要登录才能访问的页面

 

过滤     

为什么要过滤？ 

1、低质量页面：空白页面  样板页面（相识度太高的页面）  不相关内容

2、占用存储资源
 

影响过滤的因素

1、识别   不能够识别万年历  图片（添加alt属性 辅助蜘蛛识别）  js（重要的内容不要用js展示）   flash视频（视频的内容用文字描述）

2、内容质量   与自己的数据库内容进行对比

收录（索引）  

1、对有质量的内容进行提取和组织建立索引库，并放出快照

2、如何查看网站的收录  1、百度一下  查看单个页面的是否收录 2、site:+域名 查看网站收录量3、百度索引量 站长资源平台里面的索引情况

3、收录少怎么办   1、新站1-2个月正常  需要坚持更新2、老站   内容质量  具体操作   算法更新

排序

根据用户输入的关键字，在索引库中快读的检出文件

基础优化  1、网站定位   2、网站结构  3、网站布局  4、网站代码    5、网站内容

用户数据  1、用户忠诚度     2、跳出率    3、外链推广

 

影响页面收录的因素：抓取和过滤