robots标签 nofollow与noindex标签使用和分解

原创 深圳胜达SEO  2017-07-29 15:25  阅读 88 次

最近发现很多seo人员对于robots标签 index与noindex标签不少很清楚,没有明白标签的本质意义,在优化网站的时候没有得到很好的运用,

noindex标签介绍
在做网站内部优化的时候可能会用到这个标签,有利于url的标准化。在实际的网站建设中,某些网站尤其是资讯类网站或者博客等,为了方便用户体验而把文章进行归类,用户可以直接通过分类的目录下的url进行访问,在这个时候为了集中权重,也为了防止避免高度重复内容,可以在这种页面加上noindex这个标签,这个时候noindex对于搜索引擎来说就起着一个内部301转向的作用,但是对于用户不会被转向,依然停留在不变的网址上,而搜索引擎会把页面的链接权重指定到代码所规范的url上。

robot标签介绍
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。

nofollow标签介绍
nofollow 是HTML页面中a标签的属性值。这个标签的意义是告诉搜索引擎"不要追踪此网页上的链接或不要追踪此特定链接"。
nofollow是HTML页面中a标签的属性值。它的出现为网站管理员提供了一种方式,即告诉搜索引擎"不要追踪此网页上的链接"或"不要追踪此特定链接"。这个标签的意义是告诉搜索引擎这个链接不是经过作者信任的,所以这个链接不是一个信任票。

标签的作用

1.noindex文件的作用是页面头信息中放上meta noindex标签是告诉搜索引擎不要索引这个URL,也就是用户搜索时找不到这个URL的信息,这个URL不会返回在搜索结果列表中。

noindex不是告诉搜索引擎不要抓取这个URL,实际上,noindex要起作用,这个URL是必须先被抓取的,不然搜索引擎怎么看到页面HTML代码中有noindex标签呢?

2.robots文件是告诉搜索引擎,某些URL不要抓取。注意,这里说的是不要抓取,没说不要索引。和noindex是正相反的。

3.给链接加上nofollow属性是告诉搜索引擎,不要沿着这个链接爬行,就当这个链接不存在。注意,nofollow只是告诉蜘蛛不要爬这个链接,没有说不要抓取链接指向的URL,也没有说不要索引链接指向的URL,nofollow既没禁止抓取,也没禁止索引。

 

标签的区别:
noindex与nofollow是属于Meta robots标签的一个属性,robots.txt是一个协议文件。
noindex标记,与robots.txt一样是告诉搜索引擎不要收录,即不在搜索结果里显示出指定的页面。
nofollow只是告诉搜索引擎不要追踪页面上的链接,不传递权重,并不会影响链接所指页面的收录。

标签的使用:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接

noindex标签目前百度搜索引擎现在还不支持,其他标签在所有搜索引擎里面都是可以识别的。

三个标签基本的作用就是,是否网页爬取,抓取,索引,在优化网站的时候也是使用广泛,大家可以多使用,再使用的时候去关注搜索引擎的变化。

本文地址:http://www.szsdseo.com/ymyha/1156.html
版权声明:本文为原创文章,版权归 深圳胜达SEO 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

  1. 小何
    小何 【农民】 @回复

    博主写得太好了,长见识了,留言支持