搜索引擎不抓取页面 服务器端的五个问题

格雷下载站 109

1、弊端的封禁

在百度的robots.txt的更新上,假设多次点击“检测并更新”就会泛起常常可以更新,然则又常常无法更新的问题。如此1、来:不应当被录入的东西,在robots.txt上避免的被录入了,又删去就很正常了。那么它的问题是什么呢?并非做事器负载过度,而是因为防火墙弊端的将部分Baiduspider列入了黑名单。

2、做事器失常

常规的做事器就不说了,人人都知道的,北上广的1、般都不错。不过有1、些特别做事器,想必绝年夜大都的站长都不知道吧?例如西部数码的“港台做事器”就很幽默,真的是港台的吗?本身机房在国内,还算什么港台?为了逃避立案而用1、个港台的IP,数据全部在国内。

这样有什么不好呢?我们会发现:站点的做事器是经过CDN的,哪怕是你上传的1、张图片,都会显现为“302状况码”,访谒速度是进步上去了,但是这样利于SEO吗?

3、获取不到真实IP

规划较年夜的网站,1、般都会运用CDN加速,然则有些站点不单单对“设备”运用了CDN加速,而且还对Spider运用了加速功用。后的功效是什么呢?假设CDN节点不稳定,那么对网站spider来讲,这个问题将是丧身的。

许多年夜型站点打开CDN的原因就是简单被侵犯,这个时分假设不做“蜘蛛回源”就可想而知了。你的站点做了CDN了吗?请登录百度站长途径查看1、下spider是否可以抓取真实IP地址吧!