关于蜘蛛抓取无用网页

关于蜘蛛抓取无用网页

sxwenhai 2016-05-13 21:30:25

网站有生成静态网站,但是蜘蛛好像从来不抓取静态的页面,然而总是访问一些貌似不存在的网页。图片:365bjia.com/128.png

    您网站是静态,所以蜘蛛统计无法运行,他只能在动态页面下统计蜘蛛来访。
     
    不存在的图片,可能是您复制网页上的内容导致的,里面有隐藏的内容。

    赞(0)参加讨论打赏