网站后台蜘蛛统计无记录, 后台有哪些设置会影响到这个?

如果不是robots.txt里面禁止，那么请到百度新站提交入口提交网站
 
https://ziyuan.baidu.com/linksubmit/url

后台设置,蜘蛛统计开,可是怎么看后台看蜘蛛记录一个没有,
打开百度搜狗都搜索不到!给百度提交了也没用了!,进入百度抓取诊断也是全部链接失败!
 
图片链接:gss0.baidu.com/-fo3dSag_xI4khGko9WTAnF6hhy/zhidao/pic/item/b64543a98226cffcc8d39469b5014a90f703ea74.jpg

域名是？

我给空间提供商发起工单过后，那边给出的回答是《通过访问可以看到，网页访问正常，但是还是返回了500的状态码，这会让爬虫认为该页面存在异常而不收录。请联系您的网站开发人员排查为什么会返回500状态码（正常页面打开应该为200状态码）》为此我将源码备份一次，将源码下载到本机上面调试了一下！结果本机也返回了一个500的错误代码（域名为：tooltai.com）
 
话说这个问答怎么发本地图片图片？附件上传功能我完全没找到呀！

调试过后，我发现了问题！如果使用默认模块不会出现问题
如果是用CmsEasy_F_087这个模块就会出现一个500的错误（我是用的这个模块）
而就是这个500的错误导致抓取失败！ 
名称 协议 方法 结果 内容类型 已接收 时间 发起程序
tooltai.com HTTP GET 500 text/html 2.96 KB 488.34 毫秒 document
 
请求标头
Accept: text/html, application/xhtml+xml, image/jxr, */*
Accept-Encoding: gzip, deflate
Accept-Language: zh-Hans-CN, zh-Hans; q=0.8, en-US; q=0.6, en; q=0.4, ja; q=0.2
Connection: Keep-Alive
Cookie: PHPSESSID=e14f9a067b92c8ddd36165371354bca5; login_username=liuwei; login_password=0cd5dacd6f269cfabf4b9aa20226f5af
Host: 不能发送外网链接地址
Referer: http://不能发送外网链接地址/index.php?case=config&act=system&set=template&admin_dir=ht&site=default
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
 
响应标头
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Connection: close
Content-Encoding: gzip
Content-Length: 3030
Content-Type: text/html; charset=utf-8
Date: Sat, 28 Jul 2018 04:26:48 GMT
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Pragma: no-cache
Server: Apache
Vary: User-Agent,Accept-Encoding
X-Powered-By: PHP/5.2.17

域名是？

tooltai.com哈哈哈哈！

您robots.txt里面设置了禁止抓取
 

User-agent: * Allow:　/
 
 
为什么还要问无法蜘蛛爬取呢

至于你说的robots.txt的内容，
我记得原本好像有很长一串，
我发现没抓取过后修改成
User-agent: *
Disallow: /admin/
然后还是没被抓取我找了阿里云，目前的内容是阿里云那边的工作人员提供的内容，叫我修改成
User-agent: *
Allow: /  
修改前和修改后，站长工具抓取没什么变化，还是无法抓取到！
而百度抓取诊断结果由（服务器错误500）变成链接失败！
 
然后阿里云那边给我找到了原因，是网站问题，网站返回了一个500的错误，爬虫所以没有抓取，
我测试了以下！当我将后台模块设置为默认模块！我使用站长工具和百度抓取测试，全部正常且抓取成功！当我将模块设置我当前使用的模块过后！百度抓取失败，站长工具也是失败的！

500原因是，你服务器未安装支持cmseasy的伪静态
而您又开启了伪静态
所以页面无法访问
您使用静态，或动态，就可以了