屏蔽蜘蛛抓取特定文件的原因有哪些？

禁止TAG应该是为了重复页面。 我自己也有站禁止百度收录TAG的。 因为TAG相关性不怎么样？还有面包屑导航在TAG很难完美的实现。 主要禁止是从防止重复，不相关，面包屑导航。