屏闭蜘蛛的代码 一般用在robots文件中，提示蜘蛛，网站哪些需些抓取，哪些禁止蜘蛛抓取意思是禁止任何蜘蛛抓取该网站的任何目录；用nofollow 就可以Nofollow的写法有以下两种1在meta中定义，如果在meta中定义Nofollow的话，则搜索引擎不会跟踪该页面的所有链接语法为 表示 禁止抓取本页，同时禁止跟踪本页中的链接还有其他的写法 aindex，follow。

设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，代码如下UseragentDisallow *htm 说明其中“htm”，表示禁止搜索引擎蜘蛛抓取所有以”htm”为后缀的文件，注意，这里并不包括以”html”为后缀的文件希望能够帮助你；没有必要优化你网站上的所有的图片比如模板中使用的图片导航中的图片还有背景图片等等，我们不用为这些图片添加ALT标签，我们可以把这些图片放在一个单独的文件夹里并通过设置robots文件设置来阻止蜘蛛抓取这些图片。

useragent* 适用于所有蜘蛛 Disallowupload Disallow jpg$ 禁止抓取所有jpg文件 Disallow *html 禁止抓取所有html文件 Disallowuploadindexhtml Disallow 禁止抓取哪些文件或目录，Allow 告诉搜索引擎应该抓取哪。

以下列举了屏蔽主流搜索引擎爬虫蜘蛛抓取索引收录网页的几种思路注意是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫蜘蛛1通过 robotstxt 文件屏蔽 可以说 robotstxt 文件是最重要的一种渠道；1如果你站点中的所有文件，都可以让蜘蛛爬取收录的话，那么语法这样写Useragent *Disallow当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件2完全禁止搜索引擎来访的Robotstxt文件写法。

1在网站根目录下建立一个dl文件夹，上传wordpress程序，建立一个新的wordpress站点2在robotstxt文件中写入代码禁止蜘蛛抓取dl文件夹下的所有页面Disallowdl3在刚成立的；二在模版的headerphp的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从headerlt顶部开始抓取所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后，蜘蛛也会跟第一条一样遵守协议返。

把这段JS写到一个单独的页面，在新的页面中写 禁止抓取本页，同时禁止跟踪本页中的链接，完了再用ifrome引用过来；用js加密内容防止了抓取，但是这样就会导致所有的蜘蛛机器人抓取内容都是加密，对搜索引擎优化不好全站Flash同上全站Ajax同上 这些方法只能组织正规蜘蛛的访问，不能达到阻止非人类行为抓取数据，允许指定的搜索。

1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示；比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重以下列举了屏蔽。

就尽量不要采用js，当然在seo中，js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js还有一种方法可以消除JavaScript 蜘蛛程序陷阱，即使用ltnoscript标签；1网页上所有跟SEO相关的因素都用HTML表达出来，使用DOM进行特效控制只要把所有跟SEO相关的因素使用HTML表达了出来，搜索蜘蛛就可以爬取到这段内容，进而收录这段内容或者根据其中的链接继续爬行，因为蜘蛛不抓取解析javascript。