了解Disallow: /*?*是什么- - * $符号的使用规则,作为一名seo优化人员还有必要的,而牵涉到的知识也得先了解一下:什么是robots.txt?
* $符号的使用规则
1、您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以"专用"开头的子目录的访问,可使用下列条目:
User-Agent:Googlebot
Disallow:/专用*/
要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:
User-agent:*
Disallow:/*?
例如带?的网址 http://www.pige1.com/comment/index.php?mid=6&itemid=8 将不会被收录,另外同理你不想收录 index-htm-mid-21-itemid-54.html这样的网址可以写成
User-agent:*
Disallow:/*mid
2、使用 $ 匹配网址的结束字符
您可使用 $ 字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目:
User-Agent:Googlebot
Disallow:/*.asp$
3、您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 搜索引擎蜘蛛不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可对 robots.txt 文件进行如下设置:
User-agent:*
Allow:/*?$
Disallow:/*?
温州SEO于2011
本文链接:http://www.167h.com/seo/201103/62.html
发布:温州网站优化 ┊ 已有: 人围观 | 发表时间:2011-3-7
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。