robots.txt里面禁止的选项对收录有影响吗?管理看看？

2016-07-07 15:35 来源：www.chinab4c.com 作者：ecshop专家

我看网站的robots.txt里面把好多都禁止蜘蛛搜索了！
User-agent: *
Disallow: /admin/
Disallow: /cert/
Disallow: /data/
Disallow: /includes/
Disallow: /install/
Disallow: /languages/
Disallow: /plugins/
Disallow: /templates/
Disallow: /themes/
Disallow: /upgrade/
Disallow: /api/
Disallow: /js/
Disallow: /affiche.php
Disallow: /captcha.php
Disallow: /comment.php
Disallow: /cycle_image.php
Disallow: /goods_script.php
Disallow: /receive.php
Disallow: /region.php
Disallow: /respond.php
Disallow: /feed.php
Disallow: /gallery.php

这些影响搜索引擎更好的收录网站吗？可以更改优化吗？

回答：
网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等

所以这个一般不用修改

这个是没事的。