搜索引擎三巨头Google、Yahoo和MSN已达成一致，共同支持新的robots文件格式，也即，
robots.txt文件中可以写入网站sitemap位置，便于搜索引擎爬行程序快速获取。
如此，工作变得简单，我们无需在网站上做链接，告诉搜索引擎站点地图的位置，无需生成的xml格式的sitemap去ping搜索引擎。我们只要在robots.txt文件中插入几行标准代码。如，
User-agent: *
Allow:
Sitemap: https://www.MarketingBetter.com/sitemap.xml
欲了解更多相关信息，请访问Sitemaps.org。