网站后台蜘蛛统计无记录, 后台有哪些设置会影响到这个?

网站后台蜘蛛统计无记录, 后台有哪些设置会影响到这个?

funmxd123 2018-07-25 20:04:57

    如果不是robots.txt里面禁止,那么请到百度新站提交入口提交网站
     
    https://ziyuan.baidu.com/linksubmit/url

    赞(0)参加讨论打赏

    后台设置,蜘蛛统计开,可是怎么看后台看蜘蛛记录一个没有,
    打开百度搜狗都搜索不到!给百度提交了也没用了!,进入百度抓取诊断也是全部链接失败!
     
    图片链接:gss0.baidu.com/-fo3dSag_xI4khGko9WTAnF6hhy/zhidao/pic/item/b64543a98226cffcc8d39469b5014a90f703ea74.jpg

    赞(0)参加讨论打赏

    域名是?

    赞(0)参加讨论打赏

    我给空间提供商发起工单过后,那边给出的回答是《通过访问可以看到,网页访问正常,但是还是返回了500的状态码,这会让爬虫认为该页面存在异常而不收录。请联系您的网站开发人员排查为什么会返回500状态码(正常页面打开应该为200状态码)》为此我将源码备份一次,将源码下载到本机上面调试了一下!结果本机也返回了一个500的错误代码(域名为:tooltai.com)
     
    话说这个问答怎么发本地图片图片?附件上传功能我完全没找到呀!

    赞(0)参加讨论打赏

    调试过后,我发现了问题!如果使用默认模块不会出现问题
    如果是用CmsEasy_F_087这个模块就会出现一个500的错误(我是用的这个模块)
    而就是这个500的错误导致抓取失败! 
    名称 协议 方法 结果 内容类型 已接收 时间 发起程序
    tooltai.com HTTP GET 500 text/html 2.96 KB 488.34 毫秒 document
     
    请求标头
    Accept: text/html, application/xhtml+xml, image/jxr, */*
    Accept-Encoding: gzip, deflate
    Accept-Language: zh-Hans-CN, zh-Hans; q=0.8, en-US; q=0.6, en; q=0.4, ja; q=0.2
    Connection: Keep-Alive
    Cookie: PHPSESSID=e14f9a067b92c8ddd36165371354bca5; login_username=liuwei; login_password=0cd5dacd6f269cfabf4b9aa20226f5af
    Host: 不能发送外网链接地址
    Referer: http://不能发送外网链接地址/index.php?case=config&act=system&set=template&admin_dir=ht&site=default
    User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
     
    响应标头
    Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
    Connection: close
    Content-Encoding: gzip
    Content-Length: 3030
    Content-Type: text/html; charset=utf-8
    Date: Sat, 28 Jul 2018 04:26:48 GMT
    Expires: Thu, 19 Nov 1981 08:52:00 GMT
    Pragma: no-cache
    Server: Apache
    Vary: User-Agent,Accept-Encoding
    X-Powered-By: PHP/5.2.17

    赞(0)参加讨论打赏

    域名是?

    赞(0)参加讨论打赏

    tooltai.com哈哈哈哈!

    赞(0)参加讨论打赏

    您robots.txt里面设置了禁止抓取
     

    User-agent: * Allow: /
     
     
    为什么还要问无法蜘蛛爬取呢

    赞(0)参加讨论打赏

    至于你说的robots.txt的内容,
    我记得原本好像有很长一串,
    我发现没抓取过后修改成
    User-agent: *
    Disallow: /admin/
    然后还是没被抓取我找了阿里云,目前的内容是阿里云那边的工作人员提供的内容,叫我修改成
    User-agent: *
    Allow: /  
    修改前和修改后,站长工具抓取没什么变化,还是无法抓取到!
    而百度抓取诊断结果由(服务器错误500)变成链接失败!
     
    然后阿里云那边给我找到了原因,是网站问题,网站返回了一个500的错误,爬虫所以没有抓取,
    我测试了以下!当我将后台模块设置为默认模块!我使用站长工具和百度抓取测试,全部正常且抓取成功!当我将模块设置我当前使用的模块过后!百度抓取失败,站长工具也是失败的!

    赞(0)参加讨论打赏

    500原因是,你服务器未安装支持cmseasy的伪静态
    而您又开启了伪静态
    所以页面无法访问
    您使用静态,或动态,就可以了

    赞(0)参加讨论打赏