SEO---robot.txt文件的作用：当搜索引擎对于一个网站进行搜索收录的时候，有一些页面或者信息不想被收录。这时候就衍生了robot.txt文件。说白了robot.txt文件就是对于搜索引擎的一个限制所用。当robots访问一个网站时，首先会检查该网站中是否存在robots.txt 这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

SEO---robot.txt文件的位置：搜索引擎在收录一个网站的时候，首先会从根目录开始，所以robot.txt文件应当放于更目录下，从最根源开始对蜘蛛（搜索引擎工具）进行范围权限的限制和引导。

SEO---robot.txt文件书写规范：robots.txt文件常用到的语法：user-agent 和disallow 。首先我们需要明确user-agent是对搜索引擎而言的

disallow是对搜索引擎访问范围的限定。一般书写方式是先限制搜索引擎后在限制搜索引擎的范围。user-agent后边常加*和搜索引擎（比如说baiduspider、googlebot等等）disallow后面常加：文件路径 等等。

62 特殊资源网站推广 法。比如高考查询，英语四六级查询等资源，是利益相关者不得不访问的。

63 模仿网站推广法。处处留心皆学问。学习其他网站的推广方法，看看其他网站的链接都出现在了什么地方，想办法依葫芦画瓢。模仿是

创新的基础，创新是模仿的升华。创新=模仿＋经验积累＋批量化＋自动化。

64 被动推广网站推广法。提高网站质量，做一个对网民有独特帮助的网站，让网民喜欢你的网站，让网民自发地传播你的网站，是效果最

好的推广方法。

网站结构：扁平的树形网状结构
spider是矢量运行的，所以网站结构要符合蜘蛛爬行习惯。 返回首页
主要搜索引擎的SEO指南均建议网站结构是树型结构,即从首页到频道页再到文章页逐次展开，这有利于用户快速获取内容，也易于百度或谷歌快速理解并抓取网页内容。
在内容及结构建设过程中注意以下几点：
尽量减少主页到内容页的层次，让网站结构更扁平一些（url3层以内）；
使用菜单栏引导用户阅读，也更能方便搜索引擎索引；
在网页中加入导航栏让用户可以快速返回上一级内容；
同时，网站也应该是个“网状结构”，每个网页都应该有指向上下级以及相关内容页面的链接，确保没有孤立的页面。
总结下来，理想的网站结构应该是扁平的树形网状结构。
子站点尽量使用二级目录展示，避免使用子域名，尤其在这个子站点没有足够的内容的时候。