之前我的网站是动态url,但是后面这里设置了静态页,可以为什么我查询的蜘蛛日记里面看的搜索引擎蜘蛛抓取的还是之前的动态页面,这是怎么回事,求解
那是因为你没有设置屏蔽动态页面的代码代码如下User-agent: *(如果要屏蔽百度蜘蛛的话就写baiduspider)Disallow: /*?* allow: .htm$