【官方说法】网页不收录,都是邀请制惹的祸
来源:新青网综合 责任编辑:且听风吟 发表时间:2017-05-09 11:27
前方高能——本篇文章是攻城狮们根据日常收到的case整理而来,亲自编写,希望站长亲们给个好评哦!
平台攻城狮近日接到了百度内部用户的反馈,说站点的收录情况比较差,希望协助追查原因。
攻城狮追查的过程如下:
首先通过site语法检索,发现收录量确实比较少,只有11条,而且还发现一部分是死链数据。
然后根据用户反馈的部分url,检测发现这批链接在2016年12月26日当天已经就已经抓取回来了,首次抓取上是没有问题;
紧接着发现这批网页都被百度爬虫判定为空短页面,从网页库中获取当时的抓取页面,检查发现这些页面抓取回来的内容是一样的,都是提示让输入邀请码。
被百度爬虫判断为空短页面,肯定是不能被百度搜索收录的。
有站长可能会问,那等网站全部开放后,是不是就可以收录了呢?对于百度爬虫来说,当对一个网站抓取后发现大面积都是低值的空短页面时,爬虫会认为这个站点的整体价值比较低,那么在后面的抓取流量分布上会降低,导致针对该站点的页面更新会比较慢,进而收录也会比较慢。这里学院君再次强调一下,不要让爬虫给站点画上不优质的标签哦,后果很严重!
那么该如何避免呢?方法其实比较简单,网站在邀请测试阶段使用robots封禁就可以。
相关新闻>>
- 第62期CIO时代信息化大讲堂:智能运维与海量日志分析
- 世纪佳缘女会员发现照片莫名上首页,大V截图网友误为职业骗婚女
- WePhone创始人苏享茂过世6天 风口浪尖上的世纪佳缘弹出这样一条提示
- 什么是恶意镜像?网站被恶意镜像怎么办?(亲测有效)
- 百度官方分享:让蜘蛛抓取网页的四种方式
- 如何解决百度蜘蛛不访问网站的几点窍门 高度解析百度蜘蛛为什么不爬你的网站?
- 搜索引擎蜘蛛为什么会不访问你的网站
- dedecms57伪静态怎么设置?dede57伪静态设置方法七步走
- 织梦怎么把网站里的链接设置为绝对地址
- 解决网站被镜像的问题
- SEO实战案例:美容整形网站SEO优化方案
- 网站被镜像,如何向百度反馈【百度官方】
最新推荐
- 发表评论
-
- 最新评论 进入详细评论页>>