如今，随着每个人都生活在网上，在线渠道的网络流量正在激增。如果您深入研究流量，您会发现大部分流量并非来自合法用户。只有不到一半的流量是真正的人类，其余的是机器人，包括好机器人和坏机器人。

在早期，机器人仅用于垃圾邮件或小型抓取尝试。如今，机器人操作员正在大规模利用自动化来执行恶意活动。此类活动包括接管用户帐户、滥用API、执行DDoS攻击、抓取独特的定价信息、竞争性数据挖掘、网络抓取、数字欺诈、金融数据收集、交易欺诈、暴力登录等等。

尽管影响严重，但组织是否采用了有效的机器人管理方法？答案是不。许多企业仍在尝试使用传统解决方案来阻止机器人程序，从而将安全置于风险之中。那么，为什么传统的WAF缓解爬虫程序会失败呢？让我们来看看WAF在bot管理中失败的原因以及高级WAF保护的好处。

为什么传统的WAF保护不足？

要了解高级WAF对机器人检测和缓解的重要性，让我们探讨企业为阻止机器人攻击而采取的常见安全措施以及它们为何无效。

尽管下一代防火墙(NGFW)声称可以感知应用程序，但它们仍然依赖于基本的bot缓解功能，例如阻止IP、用户生成重复请求或对浏览器进行指纹识别。他们检查了有效载荷的前几个字节，因此，使用现代技术的下一代机器人仍未被发现。

WAF技术经历了几项改进，但它依赖于基于过滤器的方法来检测已证明不足以阻止机器人和其他自动威胁的恶意负载。

此外，管理具有操作复杂性的WAF策略已导致一些公司使Web应用程序不受保护。在某些情况下，由于目标企业无法足够快地修补漏洞，因此利用了一个已知漏洞。

结合这些挑战，机器人的轻松可用性和自动化技术的创新使得机器人检测和缓解变得更加困难。

为了部署有效的爬虫程序管理和保护，组织需要Web应用程序防火墙技术，该技术可以自动发展和微调自身以检测最复杂的爬虫程序并提供持续的安全性。好消息是，像AppTrana这样的高级WAF采用了有效的措施来检测和阻止不断发展的僵尸网络。

爬虫程序管理中高级WAF保护的优势

在高级WAF保护的情况下，WAF技术与行为分析相结合，可检测恶意机器人活动，无需人工干预即可更轻松地发现机器人流量。

AdvancedWAF的Bot检测包括以下组件：

除了阻止攻击的开箱即用的完全托管的WAF功能外，公司还可以创建自己的自定义策略和规则来阻止他们正在接收或担心可能会收到的机器人攻击。

例如，如果在短时间内从同一IP发出重复请求，则可以制定规则来阻止访问网站上的密码重置请求。

使用威胁情报数据库，其中包含所有近期攻击的详细信息、相关的IP地址、位置，无论这些攻击是机器还是人为产生的。这个数据库一直在更新。如果从任何可疑IP地址发出任何请求，该地址将被自动阻止。

安全能力

传统WAF

高级WAF

防御OWASP十大漏洞

简单的机器人保护

针对可疑机器人类型的自定义操作

集体机器人智能（行为模式、指纹和IP）

误报风险

没有任何

检测复杂的机器人攻击

缓解动态IP

有限的

恶意设备指纹

HTTP流量检查

与Indusface合作进行机器人管理

Web应用程序全天候成为目标，黑客正在寻找新的方法来破坏网站并造成混乱。加入Indusface完全托管的基于云的WAF、AppTrana，您不仅可以降低僵尸网络的风险，还可以通过阻止恶意机器人流量来最大限度地减少基础设施的处理负载。

AppTrana采用WAF技术、爬虫程序缓解和CDN编译，可通过提供准确且完全托管的基于云的保护来进一步保护您的应用程序完整性，确保为客户提供安全的在线体验，而不会影响速度。