使用数据科学结合 AWS Shield Advanced 和 AWS WAF 来缓解 DDoS 攻击
利用数据科学和AWS Shield Advanced、AWS WAF应对DDoS攻击
关键要点本文章探讨了如何使用AWS Shield Advanced、AWS WAF和数据科学来减轻分布式拒绝服务DDoS攻击的风险。我们将研究如何结合这些服务和机器学习ML来检测和防止DDoS攻击，以增强在线支付解决方案公司的安全性。
本篇博文旨在帮助客户利用AWS的相关工具减轻分布式拒绝服务DDoS攻击的影响。DDoS攻击通常通过僵尸网络进行，攻击者会寻找网络设备如路由器的零日漏洞，并将其纳入他们的网络。通过分布在全球的机器人，攻击者等待来自控制服务器的指令。
我们将通过一个真实案例进行分析：在线支付解决方案公司Razorpay的B2B商业模式要求商家调用支付API。由于B2B支付的复杂性，必须区分小型商家与大型商家之间的流量模式。因此，Razorpay面临DDoS攻击的风险，而AWS能为他们提供持续的解决方案。
bear458加速器小熊官网入口首先，我们将介绍基本的DDoS架构方案，并展示如何根据Razorpay的具体需求进行定制，适用于具有不同需求的跨行业客户。
基本DDoS建议
下面是针对不同资源类别的一些现成DDoS解决方案建议：
资源类型建议解决方案静态网站Amazon CloudFront可以用于托管静态网站，并且可以使用AWS WAF的速率限制规则来限制CDN的流量。动态网站对于动态网站，可以在应用程序负载均衡器上使用标准WAF速率限制规则。客户上下文APIAPIs代表其他商家接收请求例如，最终用户从外卖应用程序下单并完成支付，请求被发送到apirazorpaycom，Razorpay会理解这是对外卖应用程序的支付请求。图1展示了不同资源类别的难度级别和解决方案。
DDoS响应阶段
我们已经讨论了初步的DDoS架构，现在让我们探索各个DDoS响应阶段：
阶段1 自动资产清单：创建一个自动化系统，捕获暴露的API或网站列表，按风险对API进行排名，形成资产清单。阶段2 资产分组：将API和网站静态或动态分组，并进一步细分为未经验证和经过验证的用户。绝大多数Razorpay API都有客户上下文，需要多层防御机制。阶段3 解决方案测试：模拟攻击流量以在不同负载、来源等条件下测试解决方案。AWS DDoS解决方案
AWS提供了两种主要的现成解决方案来保护DDoS攻击：AWS Shield和AWS WAF。
AWS Shield的重要功能
警报：在怀疑发生DDoS攻击时触发警报，可根据总流量、ALB的错误率和响应延迟等指标进行自定义。可见性：实时提供五个重要字段的值，如请求客户端IP、国家、用户代理、引用头和URL路由，以便采取行动。随叫随到的支持：提供来自Shield响应团队(SRT)的随叫随到支持，以了解攻击方式并根据洞察创建AWS WAF规则。AWS WAF的规则类型
阻止：阻止与预期变量匹配的请求，从个人到IP、URL路由、请求体或国家组合等多个字段。速率限制：跟踪每个来源IP地址的请求速率，并对超过限制的IP触发规则操作。可以在规则中添加范围缩小语句，仅跟踪和速率限制匹配的请求。Razorpay微服务保护架构
Razorpay的内部微服务有两个主要保护层。请求支付API apirazorpaycom 从Amazon Route 53 发送到ALB。AWS WAF和AWS Shield Advanced部署在ALB上。请求随后被转发到由API Gateway前置的微服务，如图2所示。
Razorpay API Gateway
API Gateway是微服务架构中重要的基础设施。Razorpay作为一个B2B组织代表商家执行各种操作。为了实现这一点并了解商家及最终用户的上下文，Razorpay使用了一个自定义的API Gateway：
高效处理高流量，具备极低延迟理解商家的上下文以提供身份验证和授权提供针对恶意流量的安全特性
Razorpay使用一个自管式API Gateway，称为Edge。API Gateway是第一个进入路径的系统，可以理解Razorpay领域特定的上下文，这是前面的层所无法完成的。每一个请求在被转发到各自的服务之前，会经过多个逻辑层。
Razorpay Edge和AWS解决方案洞察
由于Edge在每个请求上执行了多次计算，因此Razorpay生成了洞察数据以建立智能并防止DDoS攻击。所有事件近实时地被插入到时间序列数据库，并通过机器学习ML模型生成洞察：
识别恶意模式：生成可信度百分比，有助于定义进一步的行动、验证消费者的真实性并处理请求，还能在边缘阻止恶意请求。基于模式的速率限制：根据更大数据集包括消费者和IP地址推导速率限制，同时观察每周和每月的模式。一旦这些信息在Razorpay Edge可用，就可以进行多种操作以确保只有合法请求到达服务层。让我们探讨请求流动的每个阶段对DDoS处理的贡献，如图3所示。
所有Razorpay请求均经过API Gateway。以下是一些关键建议：
基于可用的反馈数据，网关检查给定请求模式是否属于恶意类别。如果恶意请求的可信度百分比较高，则阻止该请求；在AWS WAF层应用阻止规则。如果可信度较低，则使用CAPTCHA验证用户的真实性。对请求对象中的已有数据应用速率限制，使用ML模型的反馈。执行身份验证/识别和授权。对基于请求对象的派生数据应用速率限制，同样使用ML模型的反馈。如果请求被识别为恶意且可信度较低，则请求用户进行CAPTCHA验证。作为最佳实践，生成的请求洞察应被发布到Apache Kafka，以避免延迟影响并减少影响范围。
结论
通过本篇文章，您了解了如何利用机器学习模型应对DDoS攻击。
组织可以利用API Gateway生成的洞察数据识别请求模式，将模式分类到不同的类别，并根据类别执行以下操作：
向API Gateway发送反馈以便立即采取行动更新基于Edge的历史模式的速率限制更新WAF规则以阻止/减少速率限制正如前文所述，结合使用AWS WAF和AWS Shield Advanced，以及机器学习，能够有效检测和缓解DDoS攻击。
标签 机器学习
Jasmine Maheshwari
Jasmine是AWS的高级解决方案架构师，她在开发各种应用、产品和解决方案架构方面有超过16年的经验。她的专业领域包括安全、容器、分析和机器学习。Jasmine喜爱深入探讨技术概念和框架，并与同行技术专家进行富有激情的讨论，以欣赏不同的视角。
Amit Mahbubani
Amit是Razorpay的首席工程师，拥有近10年的工作经验。作为Razorpay早期的工程师，他在过去65年中对公司的成功起到了重要作用，贡献了诸如Route、支付链接、发票和RazorpayX等成功产品。Amit在平台工程部门工作，致力于将架构从单体应用转变为微服务，并实施API网关、通知服务和身份验证服务。
Ashwath Kumar
Ashwath是Razorpay的首席工程师，之前曾在Synopsys和Microsoft Corp工作。他的兴趣包括云安全、红队攻防、应用安全和威胁建模，曾发布Burp插件以处理复杂的身份验证机制，也曾在多场技术会议上做过演讲。
Ratan Phayade
Ratan是Razorpay的高级工程师，专注于创新与卓越。他在构建和贡献产品及服务方面的业绩显著，成功应对复杂挑战。他负责API网关项目和Razorpay平台工程部门的边界安全工作，为团队带来了丰富的专业知识和技术能力，不断突破可能性的界限。
使用 AWS HealthOmics 和 Amazon SageMaker 进行基因组语言模型的预训
使用 AWS HealthOmics 和 Amazon SageMaker 进行基因组语言模型的预训练重点摘要本文介绍了如何利用 AWS HealthOmics 和 Amazon SageMaker 进行基因组语言模型的预训练，特别是模型 HyenaDNA。该过程结合了云存储、机器学习服务以及基因组...