服务器日志分析可以为抓取优先级提供无与伦比的洞察力，使SEO团队能够微调他们的抓取预算管理以获得更好的排名。大多数网站运营商都没有意识到网络服务器日志的重要性。他们不记录，更不用说分析他们网站的服务器日志了。尤其是大品牌，无法利用服务器日志分析，并且无法挽回地丢失未记录的服务器日志数据。

选择将服务器日志分析作为其正在进行的SEO工作的一部分的组织通常在Google搜索中表现出色。如果您的网站包含100,000个或更多页面，并且您希望了解服务器日志如何以及为什么会带来巨大的增长机会，请继续阅读。

为什么服务器日志很重要

每次机器人请求托管在Web服务器上的URL时，都会自动创建一个日志记录条目，以反映该过程中交换的信息。当覆盖一段较长的时间时，服务器日志成为接收请求和返回响应历史的代表。

服务器日志文件中保留的信息通常包括客户端IP地址、请求日期和时间、请求的页面URL、HTTP响应代码、服务的字节量以及用户代理和引用者。

虽然在每次请求网页时都会创建服务器日志，包括用户浏览器请求，但搜索引擎优化只关注机器人服务器日志数据的使用。这与涉及GDPR/CCPA/DSGVO等数据保护框架的法律考虑有关。由于SEO从未包含任何用户数据，原始、匿名的Web服务器日志分析仍然不受其他可能适用的法律法规的限制。

值得一提的是，在某种程度上，基于GoogleSearchConsoleCrawlstats的类似见解是可能的。这些样本在数量和覆盖时间跨度上是有限的。与仅反映最近几个月数据的GoogleSearchConsole不同，它是专门的服务器日志文件，提供清晰、全面的长期SEO趋势图。

服务器日志中的宝贵数据

每次机器人请求服务器上托管的页面时，都会创建一个日志实例，记录许多数据点，包括：

典型的服务器日志记录示例可能如下所示：150.174.193.196--[15/Dec/2021:11:25:14+0100]"GET/index.htmlHTTP/1.0"2001050"-""Googlebot/2.1(+http://www.google.com/bot.html)""www.example.ai"

如何使用服务器日志

从SEO的角度来看，Web服务器日志提供无与伦比的洞察力的主要原因有以下三个：

协助从来自合法机器人（如Googlebot、Bingbot或YandexBot）的理想搜索引擎机器人流量中过滤掉对SEO没有意义的不受欢迎的机器人流量。

提供有关抓取优先级的SEO见解，从而使SEO团队有机会主动调整和微调他们的抓取预算管理。

允许监视并提供发送到搜索引擎的服务器响应的跟踪记录。

虚假的搜索引擎机器人可能会令人讨厌，但它们很少影响网站。有许多专业的服务提供商，如Cloudflare和AWSShield，可以帮助管理不良机器人流量。在分析Web服务器日志的过程中，假搜索引擎机器人往往扮演次要角色。

特别是对于内容新鲜度是关键的网站，这些网站被重新抓取的频率会严重影响它们对用户的有用性。换句话说，如果内容变化没有足够迅速地被采纳，用户体验信号和自然搜索排名就不太可能充分发挥其潜力。

虽然Google倾向于抓取所有可用信息并定期重新抓取已知的URL模式，但其抓取资源并非无限。这就是为什么对于包含数十万个着陆页的大型网站，重新抓取周期取决于Google的抓取优先级分配算法。

这种分配可以通过可靠的正常运行时间、高度响应的Web服务得到积极的刺激，并专门针对快速体验进行了优化。仅这些步骤就有利于SEO。只有通过分析涵盖较长时间的完整服务器日志，才有可能确定所有可抓取登录页面的总量之间的重叠程度，通常较少的相关、优化和可索引SEO登录页面在站点地图以及Google经常优先考虑的抓取、索引和排名。

这样的日志分析是技术SEO审计不可或缺的一部分，也是揭示抓取预算浪费程度的唯一方法。无论是可爬网过滤、占位符还是精简内容页面、开放的登台服务器或网站的其他过时部分，都会继续损害爬网并最终影响排名。在某些情况下，例如有计划的迁移，尤其是通过SEO审计（包括服务器日志分析）获得的洞察力，通常会决定迁移的成功与否。

此外，日志分析为大型网站提供了关键的SEO见解。它可以提供Google需要多长时间重新抓取整个网站的答案。如果该答案恰好是决定性的长-几个月或更长时间-可能需要采取行动以确保可索引的SEO登录页面被抓取。否则，网站的任何SEO改进很有可能会在发布后的几个月内被搜索引擎忽视，这反过来又会导致排名不佳。

服务器响应对于提高Google搜索的可见性至关重要。虽然GoogleSearchConsole确实提供了对最近服务器响应的重要一瞥，但GoogleSearchConsole提供给网站运营商的任何数据都必须被视为具有代表性但有限的样本。虽然这对于识别严重问题很有用，但通过服务器日志分析，可以分析和识别所有HTTP响应，包括任何可能危及排名的定量相关的非200OK响应。如果它们过多，可能的替代响应可以指示性能问题（例如，503ServiceUnavailable计划停机时间）。

从哪里开始

尽管服务器日志分析具有潜力，但大多数网站运营商并没有利用所提供的机会。服务器日志要么根本没有记录，要么经常被覆盖或不完整。绝大多数网站不会在任何有意义的时间段内保留服务器日志数据。对于任何愿意（与竞争对手不同）收集和利用服务器日志文件进行搜索引擎优化的运营商来说，这都是个好消息。

在计划服务器日志数据收集时，值得注意的是，服务器日志文件中至少必须保留哪些数据字段才能使数据可用。以下列表可被视为指南：

如果请求路径是相对URL，服务器日志文件中经常忽略的字段是请求的主机名和方案的记录。这就是为什么请务必与您的IT部门核实请求路径是否是相对URL，以便主机名和方案也记录在服务器日志文件中。一个简单的解决方法是将整个请求URL记录为一个字段，其中包括一个字符串中的方案、主机名、路径和参数。

收集服务器日志文件时，包括源自CDN和网站可能使用的其他第三方服务的日志也很重要。请咨询这些第三方服务，了解如何定期提取和保存日志文件。

克服服务器日志分析的障碍

通常，为了应对保留服务器日志数据的迫切需求，提出了两个主要障碍：成本和法律问题。虽然这两个因素最终都取决于个人情况，例如预算和法律管辖权，但都不必构成严重的障碍。

云存储可以是一个长期的选择，物理硬件存储也可能会限制成本。大约20TB硬盘的零售价低于600美元，硬件成本可以忽略不计。鉴于存储硬件的价格多年来一直在下降，最终存储成本不太可能对服务器日志记录构成严重挑战。

此外，还会产生与日志分析软件或提供服务的SEO审计提供商相关的成本。虽然这些成本必须计入预算，但鉴于服务器日志分析提供的优势，再次证明其合理性是很容易的。

虽然本文旨在概述服务器日志分析对SEO的内在好处，但不应将其视为法律建议。此类法律建议只能由符合法律框架和相关管辖权的合格律师提供。GDPR/CCPA/DSGVO等多项法律法规可适用于此。尤其是在欧盟运营时，隐私是一个主要问题。出于SEO的服务器日志分析的目的，任何与用户相关的数据都无关紧要。任何无法根据IP地址最终验证的记录都将被忽略。

关于隐私问题，不得使用任何未经验证且不是已确认搜索引擎机器人的日志数据，而是可以根据相关法律建议在规定的时间段后删除或匿名化。一些最大的网站运营商定期采用这种久经考验的方法。

什么时候开始

剩下的主要问题是何时开始收集服务器日志数据。答案就是现在！服务器日志数据只能以有意义的方式应用，并在足够多的情况下提供可操作的建议。服务器日志对SEO审核有用的临界质量通常在6到36个月之间，具体取决于网站的大小及其抓取优先级信号。

需要注意的是，后期无法获取未记录的服务器日志。今天开始的任何保留和保存服务器日志的努力很可能最早在明年取得成果。因此，收集服务器日志数据必须尽早开始，并在网站运行期间不间断地持续下去，并旨在在自然搜索中表现良好。