什么是机器人管理？机器人管理是如何工作的？

什么是机器人管理？

机器人管理是一种策略，使您能够过滤允许哪些机器人访问您的网络资产。通过此策略，您可以允许使用有用的机器人，如谷歌爬虫，同时阻止恶意或不需要的机器人，例如用于网络攻击的机器人。机器人管理策略旨在检测机器人活动，识别机器人的来源，并确定活动的性质。

机器人管理对于防止对您的网站的性能和安全影响是必要的。如果允许恶意机器人访问您的资产，它们可能会使服务器过载，并导致合法用户被拒绝或速度减慢。此外，一些机器人用于抓取您的内容，并可用于窃取专有资产、凭据或系统文件。然后，这些项目可用于钓鱼用户、垃圾邮件内容或计划网络攻击。

与此同时，过于严格或错误识别坏机器人的机器人管理系统可能会对组织的业务造成严重损害。例如，阻止搜索引擎机器人可能会导致流量、转化率和收入的损失，阻止用于测试和自动化的本土机器人可能会扰乱重要的业务活动。

机器人管理使用一系列安全、机器学习和网络开发技术来准确评估机器人并阻止恶意活动，同时允许合法的机器人不间断地运行。

这些技术包括机器人模式数据库、用户行为分析（UBA）和Web应用程序防火墙（WAF），它们可以根据实时分析或业务规则拦截网络流量并阻止不必要的活动。

机器人管理是如何工作的？

机器人管理技术已经发展到与攻击者对机器人的能力和使用相匹配。现代机器人管理面临着双重挑战：识别在模拟人类用户方面越来越复杂的攻击者机器人，并将恶意机器人与合法机器人区分开来，这对组织的日常运营非常重要。

目前，有三种主要方法用于检测和管理机器人。
•静态方法——使用静态分析工具来识别已知与坏机器人相关的标头信息和web请求。这种技术是被动的，只能检测已知和主动的机器人。
•基于挑战的方法——使用机器人难以或不可能执行的主动挑战或测试来识别机器人。常用的挑战包括验证码验证、运行JavaScript的能力以及接受Cookie。
•行为方法——评估潜在用户的活动，并将该活动与已知模式进行匹配，以验证用户身份。该技术使用多个配置文件对活动进行分类，并区分人类用户、好机器人和坏机器人。

 
机器人管理方法

最有效的机器人管理策略结合了所有三种技术，以确保识别出尽可能多的机器人。通过结合技术，您可以增加识别机器人的机会，即使它们是最近创建的或具有动态行为。

除了机器人的自我管理外，您还可以使用机器人缓解服务。这些服务使用自动化工具来应用上述技术并识别机器人。服务通常监控您的API流量并实现速率限制以防止API滥用。这种速率限制使服务能够在整个环境中限制机器人，而不是专注于单个IP。