蜘蛛爬取网站掉进陷阱了

原创 华熙网络  2016-06-21 14:47  阅读 5 次

有一些网站没有设计好,对搜索引擎不友好,不利于蜘蛛爬取和抓取,这些在seo被称之为蜘蛛的陷阱。那些是陷阱,我们应该怎么去避免呢,下面胜达seo整理了一下。

蜘蛛陷阱之一:Flash
网站的Flash,如果一个网站用的多,那么蜘蛛就会掉陷阱了,flash整站 flash模板 flash网站模板 flash动画下载,这些搜索引擎都是抓取不了的,如果您的网站就是一个大的Flash,那么从seo来看,网站就一点用都没有。《详细了解Flash您可以查看:网页flash动画是什么意思

蜘蛛陷阱之二:Session ID
有的网站用Session来追踪用户的会话,使用服务器生成的SessionID进行标识,用以区分用户。Session存放在服务器的内存中,SessionID存放在服务器内存和客户机的Cookie里面。这样,当用户发出请求时,服务器将用户Cookie里面记录的SessionID和服务器内存中的SessionID进行比对,从而找到这个用户对应的Session进行操作。所以,如果客户机禁止Cookie的话,Session也不能使用,但是对于JSP来说(.NET不熟悉),会使用URL重写的技术,在URL里面附加上SessionID,从而实现用户身份的标识。

搜索引擎对于这种长长的Session,会判断为字符还是正常参数,经常要蜘蛛主动判断,所以蜘蛛是不愿意抓取这种链接的。

蜘蛛陷阱之三:各种链接跳转
有一些网站在用户访问的时候就会自动跳转到其他目录下面。蜘蛛非常的讨厌这种行为,包含(JabaScript,flash,mera refresh)

蜘蛛陷阱之四:动态URL
动态的url带有问号,符号,并且动态url链接比较长,这样也是不利于搜索引擎抓取的。

历史上的今天:

本文地址:http://www.szsdseo.com/jgyhh/835.html
版权声明:本文为原创文章,版权归 华熙网络 所有,欢迎分享本文,转载请保留出处!

发表评论


表情