很难想象，清理和删除网页能帮助获得更好的搜索引擎关键词排名。是不是？
我们都知道搜索引擎会利用机器人爬虫抓取你页面。对大一些规模的网站，这种抓取、分析和收录是一种挑战。搜索引擎自有它自己的处理方式，往往与我们想象的不同。
随着时间的推移，一个网站在搜索引擎里的索引页面会越来越多，引发“索引膨胀”现象。这时，如果你的网页内容质量在搜索引擎评判标准看来为低下和重复，你的关键词排名自然会被降级处理。
想象下，Google访问你的XML站点地图以查找5,000个页面，然后抓取你所有页面，并通过内部链接查找更多页面，最终决定索引30,000个URL。这导致索引超过大约500%甚至更多。这里有两种选择：
- 内容质量很好 = 保持可索引性
- 内容质量低（内容少、重复或分页）= 无索引
对于索引膨胀，“消肿”是正道。大多数情况下，通过添加“NOINDEX”元标记从索引中删除相对大量的页面。
理想情况下，你网站拥有100%的指数化率，网站上的每个质量页面都被编入索引，没有膨胀。索引膨胀会导致低效的爬行和索引，阻碍你索引比例，甚至影响你关键词排名。
索引膨胀会导致以下问题：
- 消耗搜索引擎为给网站分配的有限资源
- 对网站的排名产生负面影响
- 域名的权重降低
索引膨胀的来源有这么几个方面，
1，内部重复
无意的重复内容是索引膨胀的最常见来源之一。大多数内部重复都是技术错误产生的，会产生大量最终编入索引的URL组合。例如，使用URL参数来控制站点上的内容，而不进行适当的规范。譬如，我们常见的大型网站的分页，这会导致千万的重复内容页面。在SEO看来，系列中第一个以外的页面通常包含相同的页面标题和元描述，以及非常相似（近似重复）的主体内容，引入关键词同类相关。
分页使得内容稀薄。如果您已将文章或图片库拆分为多个页面（以通过增加综合浏览量来增加广告收入），而在每个页面上保留的内容太少，则可更正。当您将用户的愿望轻松消费到横幅广告收入或人为夸大的页面浏览量之上时，这是不正确的。
根据SEO最佳做法管理分页。为了使搜索引擎有效地抓取分页页面，该网站必须具有指向这些分页URL的带有href属性的锚链接。确保您的网站使用<ahref=”在此处是您的分页网址”>内部链接到分页页面。不要通过JavaScript加载分页的锚链接或href属性。此外，应该使用rel =“ next”和rel =“ prev”属性在分页系列中指示组件URL之间的关系。
2，内容差
WordPress的Yoast SEO插件7.0版本的漏洞，在2018年3月引发“熊猫问题”，这导致相应网站的排名大幅下降，因为Google认为这些网站在提供给搜索者的整体质量方面较低。每一篇博客文章中有五个图像将导致索引页面数量增加5倍，每个URL实际质量内容的16%。
这是对你内容的定量分析，根据拥有的网页数量，你要关联的网页数量以及Google正在编制索引的网页数量来查找数量差异。这些数字之间的任何差异意味着技术优化的空间，这通常会导致有机排名一旦解决就增加。你希望使这些数字集尽可能相似。
一些改善索引膨胀的方法。
1，尖叫青蛙爬行
在Configuration> Spider> Basics下，配置Screaming Frog以进行爬行，彻底扫描你的网站页面。爬网完成后，请记下它列出的所有可索引页面。你可以在Canonicals选项卡下的“Self-Referencing”报告中找到它。
看看你看到的数字，有比你想象的更多或更少的页面？
2，谷歌的搜索控制台
打开Google Search Console（GSC）属性，然后转到“索引”>“ 覆盖率”报告。看看有效页面。在此报告中，Google会告诉你他们在你网站上找到的网址总数。查看其他报告，GSC可以成为评估Googlebot访问你网站时所发现内容的工具。
3，你的XML站点地图
这是一个简单的检查。访问你的XML站点地图并计算包含的URL数量。
使用Screaming Frog进行爬网，将XML站点地图添加到配置中并运行爬行分析。完成后，可以访问“站点地图”选项卡，查看XML站点地图中包含哪些特定页面，以及哪些页面不包含在内。
4，你的内容管理系统（CMS）
这个也是一个简单的检查，它不必精确，因为内容审计可以测量一段内容的实际质量。
5，谷歌查询
最后，我们来看看我们系列的最终检查。有时谷歌向你抛出一个数字，你不知道它来自哪里，但尽量做到尽可能客观。在Google上进行“site: domain.com”搜索，并查看Google从其索引中为你提供的结果数量。请记住，这纯粹是一个数值，并不能真正决定页面的质量。
完成简单的定量分析将有助于你找到可能不符合最低定性标准的区域。换句话说，比较来自多个来源的数值可帮助你查找网站上包含较低值的网页。
解决索引膨胀是一个缓慢而乏味的过程，但必须相信你在网站上执行的优化并在此过程中保持耐心，因为结果可能很慢变得明显。
1，删除页面
在理想情况下，网站上不存在低质量页面，因此不会消耗搜索引擎中的任何有限资源。如果你有大量不再使用的过时的页面，清理起来（删除），常可导致像更少的重定向和404，少内容的网页，从搜索引擎中的错误和误解的空间更小等优点，以仅举几例。
通过限制他们对采取什么行动的选择，你对搜索引擎的控制越少，你对网站和SEO的控制就越多。当然，这并不总是现实的，所以这里有一些其他的选择。
2，使用Noindex
当你使用在页面级这个方法，请不要添加一个站点范围内的NOINDEX。如果你使用Yoast SEO或All in One SEO，只需点击几下WordPress即可将所有上述内容编入索引并从你的XML站点地图中删除。
3，使用Robots.txt
除非在审核你网站后 SEO专家明确推荐，否则不建议使用robots.txt文件禁止你网站的部分或网页 。查看你的网站所处的特定环境以及禁止某些网页如何影响网站其余部分的索引非常重要。
网站所有者在复制另一个网站的robots.txt文件并将其用作自己的文件时，往往会遇到问题。请认真考虑您不想爬网的哪些部分，而只拒绝这些部分。
有人试图通过robots.txt阻止CSS、PHP、htaccess等，这些都没有必要。
4，使用Google Search Console的手动删除工具
作为最后的手段，不需要开发人员资源的操作项是使用旧版Google Search Console中的手动删除工具。使用此方法从Google搜索中删除网页，整个子目录和整个子域只是暂时的。它可以非常快速地完成，只需点击几下即可完成。成功删除请求仅持续约90天，但可以手动撤消。此选项也可以与noindex元标记结合使用，以尽快从索引中获取URL。
结论
搜索引擎鄙视精简内容，并且非常努力地过滤掉网络上的所有垃圾邮件，因此几乎每天都会发生永无止境的搜索好的质量和更新的内容。网站管理员必须确保他们的技术搜索引擎优化在网站的生命周期中尽可能早地搞定，避免索引膨胀的噩梦，帮助优化网站在搜索引擎中的整体质量评估，获得更清晰的索引和更好的排名。