6月06日

如何修改wordpress网站的robots.txt文件

作者:兰州SEO  分类:网站建设   
《打造你的赚钱机器》、《手把手教你赚一百万》、《销售信样板》、《SEO赚钱方法大揭秘》、《心魔营销》、《洗脑术》下载方法:微信公众号【飞雨创业成长手册】,回复电子书,免费下载!

利用WordPress搭建网站的站长是否有这样的一个疑惑:WordPress的robots文件存放在哪里?

一般而言,每个网站都会有一个robots.txt文件存放在网站的根目录下面。当搜索引擎来抓取网站内容的时候,这个文件告诉搜索引擎哪些文件、目录是可以抓取的,哪些是禁止抓取的(一般都设置禁止抓取,其它的默认为开放的)。

但问题出现了:我用FTP工具打开网站的根目录的时候却没有发现robots.txt这个文件。难道WordPress程序不支持robots文件?于是乎我直接输入了兰州飞雨SEO网站的robots.txt文件地址http://www.feiyuseo.com/robots.txt查看。熟悉的面庞出现了,说明robots文件是存在的,但是为什么在ftp中找不到呢?经过在百度和google上接续查找答案,原来事件还真如我想象的那样:wordpress会主动生成robots文件!

原来,WordPress在处理robors文件的时候是这样做的。程序本身是不带robots.txt文件的。当有用户(一般为搜索引擎的蜘蛛)访问这个文件的时候,WordPress会在根目录下面搜索,如果存在这个文件就直接返回文件内容。如果根目录下面没有找到,程序就会自动产生一个临时的robots.txt返回给用户。

 知道了这个原理,我们就不再为如何修改wordpress网站的robots文件而发愁了。只要我们按照百度关于Robot文件写法的规则自己重新写一个规则,或者是用网上的一些生成robot文件的工具生成一个文件,然后上传到网站空间的根目录就可以了。这样,当有用户访问的时候就显示的是我们自己配置好的robots.txt文件了。

关注创业、电商、站长,扫描下面的微信二维码,和我一起探讨。

扫描添加兰州飞雨微信

转载请注明: 如何修改wordpress网站的robots.txt文件 | 飞雨笔记 | https://www.feiyuseo.com/wangzhan-jichu/36.html

给我留言

快捷键:Ctrl+Enter