热点聚集
本篇文章1197字，阅读大概需要2分钟
1.Robots是一个协议，搜索引擎可以不遵守该协议；Robots需要一定生效时间。
2.为什么要写robots?有些页面影响网站的相关性，浪费网站的资源。
3.怎么写robots?
User-agent: 定义搜索引擎的类型
Disallow: 定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址 例：User-agent: *（中间有空格） 屏蔽的应该是内页而不是目录页。该协议默认实现后，蜘蛛爬网站的其他页面。
4 应该屏蔽掉的页面:
(1)垃圾页面
( 2) 没有价值的页面
(3)你想屏蔽不想让搜索抓取的页面.
例如: Disallow: /A Allow: /A/1 A:表示目录 1:表示页面
注:robots 是先充许后执行屏蔽的.而不论充许是放在前或后面
5 动态页面的屏蔽
例如: 要屏蔽下列链接
www.wins8899.com/forum.php?kjsnfn=modcp&action=member&op=ban
www.wins8899.com/forum.php?msdffs=modcp&action=member&op=ban
www.wins8899.com/forum.php?rtytry=modcp&action=member&op=ban
www.wins8899.com/forum.php?srfsrrre=modcp&action=member&op=ban
格式为: Disallow: /forum.php?*
注: Disallow: /*?* 屏蔽所有动态页面
$:表示结束符 例如:Disallow: /forum.php$
注:$结束符一般用于jpg图片和文件夹 例如: A 1.jpg 2. txt
此格式 Disallow: /A/*.jpg$ 表示屏蔽到a文件夹下所以的jpg图片
6 robots 的作用
一 .可以屏蔽到网站的死链接
屏蔽网站的死链接。大量死链接影响用户体验，对蜘蛛来说浪费搜索引擎资源。大量的死链接会导至网站的降权.
二 . 重复页面和无内容页面
比如:注册页面,每个用户注册时内容是一样的,但路径不一样.这样的页面就称为重复页面和无内容页面
三. 多路径下的同一页面 比如: 一个动态的网站,访问时出现一个动态路径,但如果又同时伪静态,那伪静态的网址与动态路径是一样的
那么用robots 操作时可以屏蔽掉不参于排名的那个路径. 一般是屏蔽掉路径长的那种
四 . 不要给一个页面多个入口
7 写robots 时要注意的事项
一 .要加 / 例如: Disallow: /A
二 .不要屏蔽掉目录 如果屏蔽到目录会导致权重流失.
