funmxd123

funmxd123

90

威望 : 0 赞同 : 0 感谢 : 0

更多 »回复

0

辛苦了,百忙中还帮我解决问题,其实我都在想,如果如果实在不行,就重新装扮网页更换模块看看的了,你还是帮我解决了!

0

至于你说的robots.txt的内容, 我记得原本好像有很长一串, 我发现没抓取过后修改成 User-agent: * Disallow: /admin/ 然后还是没被抓取我找了阿里云,目前的内容是阿里云那边的工作人员提供的内容,叫我修改成 User-agen...

0

调试过后,我发现了问题!如果使用默认模块不会出现问题 如果是用CmsEasy_F_087这个模块就会出现一个500的错误(我是用的这个模块) 而就是这个500的错误导致抓取失败!  名称 协议 方法 结果 内容类型 已接收 时间 发起程序 tooltai.co...

0

我给空间提供商发起工单过后,那边给出的回答是《通过访问可以看到,网页访问正常,但是还是返回了500的状态码,这会让爬虫认为该页面存在异常而不收录。请联系您的网站开发人员排查为什么会返回500状态码(正常页面打开应该为200状态码)》为此我将源码备份一次,将源码...

更多 »发问

1

30 次浏览  • 2 个关注   • 6 天前

11

121 次浏览  • 2 个关注   • 2018-07-25

3

113 次浏览  • 2 个关注   • 2018-06-13

1

75 次浏览  • 2 个关注   • 2018-06-11

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 0 赞同: 0 感谢: 0

最后活跃:
6 天前
更多 » 关注 1

cmseasy

更多 » 0 人关注
关注 0 话题
主页访问量 : 710 次访问