robots的问题User
User-agent: * Disallow: /search_engine/ 这段话是说不允许爬虫数据?
恩，是的，但是要放在INDEXL里面