万事皆有因果。
您搜索引擎营销好坏是种结果的表象，它的前奏是搜索引擎在您网站中的爬行。
蜘蛛程序爬行行为全部记录在您网站日志文件中，您可以通过各类日志分析工具来解读其部分含义。但是如果您日志文件是通过网页插脚码的方式生成，这种日志为不完整日志，缺失了搜索引擎爬行记录。
我们知道，搜索引擎中的网页检索排名取决于诸多因素，如网页级别、外链质量和数量、网页相关性、网页的历史，当然还有网页的变化。
除外部链接外，其余部分平定了您网页的重要性、相关性和历史性。
搜索引擎对一个网页的喜好直接反映在它对此网页”惠顾程度”，也就是爬行频率。
搜索引擎爬行表现提前揭示了您搜索引擎营销好坏。譬如，
- 网页何时搜录、失效、删除；
- 关键词排序何时上升、下降；
- 网站爬行障碍和问题；
- 网站收录、删除与重新收录（Google Sitemap / 网站地图能反映部分信息）
对搜索引擎爬行器爬行行为的深入分析，其重要性在于对未来搜索引擎营销表现这一结果的提前预知。通过正当正确的措施可以改变结果，向着您期待的方向发展。