您现在的位置:新青网 > 科技博览 > 互联网 >

【官方说法】网页不收录,都是邀请制惹的祸

来源:新青网综合 责任编辑:且听风吟 发表时间:2017-05-09 11:27 

 前方高能——本篇文章是攻城狮们根据日常收到的case整理而来,亲自编写,希望站长亲们给个好评哦!

平台攻城狮近日接到了百度内部用户的反馈,说站点的收录情况比较差,希望协助追查原因。

攻城狮追查的过程如下:

首先通过site语法检索,发现收录量确实比较少,只有11条,而且还发现一部分是死链数据。

然后根据用户反馈的部分url,检测发现这批链接在20161226日当天已经就已经抓取回来了,首次抓取上是没有问题;

 

 

紧接着发现这批网页都被百度爬虫判定为空短页面,从网页库中获取当时的抓取页面,检查发现这些页面抓取回来的内容是一样的,都是提示让输入邀请码。

被百度爬虫判断为空短页面,肯定是不能被百度搜索收录的。

有站长可能会问,那等网站全部开放后,是不是就可以收录了呢?对于百度爬虫来说,当对一个网站抓取后发现大面积都是低值的空短页面时,爬虫会认为这个站点的整体价值比较低,那么在后面的抓取流量分布上会降低,导致针对该站点的页面更新会比较慢,进而收录也会比较慢。这里学院君再次强调一下,不要让爬虫给站点画上不优质的标签哦,后果很严重!

那么该如何避免呢?方法其实比较简单,网站在邀请测试阶段使用robots封禁就可以。

    发表评论
    请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
    评价:
    表情:
    验证码:点击我更换图片

    图文推荐

    • 暴风云推出国内首家开放式VR全景视频云
    • 谷登电商,传统农批市场新引擎!
    • 从淘宝联手网上厨房举办2016年货节看电商转型
    • 2015北京测试服务业发展高峰论坛圆满落幕
    • 共建智能制造生态圈 鼎捷"互联网+工业40战略"发布
    • 中国互联网那些曾经闻名遐迩的落败者
    • 中美等国警方联合查处数百万会员儿童色情网站
    • 买家网购给了差评 卖家寄牌位诅咒(图)
    • 用HTML5构建高性能视差网站
    客户服务 - 相关法律 - 友情链接 - 网站地图
    Copyright © 2010-2017 新青网 版权所有
    京ICP备:14001513号 京公网安备:11010802020992号