“中国会员电商第一股”云集的反爬虫攻防战 | 产业安全专家谈

发布者:腾讯安全
发布于:2021-09-14 18:03



云集成立于2015年,是一家由社交驱动的精品会员电商,被誉为“中国会员电商第一股”,数据资源积累量十分庞大。在数据的维护管理方面,过去云集主要采用自建IDC方式部署,迁移到公有云后,服务器和人工维护的成本大幅降低,最“疯狂”的时候,一个运维人员可以直接管理一两千台的云主机,这在过去是难以想象的画面。


数据管理究竟该选择云服务器还是自建IDC?选择公有云后,数据安全问题该如何保障?电商行业备受困扰的网络爬虫问题,公有云是否有对应的解决方案?针对以上问题,本期产业安全专家谈邀请到云集运维负责人吴兆荣,与大家分享云集在反爬虫攻防方面的实战经验。

Q1:相比数据本地部署,公有云部署具有哪些优势?

吴兆荣:首先,相比以往的自建实例,腾讯云SaaS产品拥有较大价格优势,实践过程中,相同配置的服务,会有30%以上的成本节约。


其次,SaaS产品具备灵活性高、弹性伸缩等特点。电商是一个流量有明显波峰波谷的行业,过度储备我们的服务器资源,会造成资源浪费。按照以往的操作,主机购买、部署、测试、验证,需要花费大概一周的时间,而SaaS产品最后会将时间缩减到30分钟。

 

Q2:数据“上云”提升效率的同时,有哪些令人头疼的网络安全问题?

吴兆荣:云服务器有其独有的灵活优势,云平台自身有一定的安全保障,云租户和云平台的安全能力是共担的。虽然不用担心基础设施被攻击,但是业务侧本身对外开放,所以被攻击的可能性也更大。


在业务侧的安全方面,云租户一般要承担主要责任。电商行业的商品信息、交易信息、会员信息等重要信息的价值很高,往往是黑灰产重点盯上的目标。会员信息防止泄漏,商品信息防爬虫,应用服务防CC攻击,营销活动防“羊毛党”等,都是电商行业普遍关注的安全问题。


上述信息数据的攻击者们,往往来源于竞争对手与黑灰产团伙,只要攻击成功,获利就很可观。因此,相对于其他行业,电商行业面临的网络攻击,主要有集中性、长期性、多变性、技术先进性等特征。

 

Q3:云集是如何对抗这些问题的?

吴兆荣:从宏观上,我们构建了纵深防御的体系,从外到内覆盖了DDoS、防火墙、WAF、主机安全、SOC等多个安全产品。同时,我们也会从多个维度进行防护,避免木桶效应造成的防御短板,采取监控、识别、处理、优化的链路防护思路,对抗网络层DDoS攻击。


从腾讯云的平台上,腾讯云会给我们这样的“大客户”赠送一些免费防御额度,一定程度上可以缓解网络层的DDoS攻击。腾讯云WAF作为网站应用流量的出入口,在面对HTTP Flood的DDoS攻击(俗称的CC攻击)时有更好的防御效果。同时,WAF还支持BOT防御、SQL 注入、XSS 跨站脚本、木马上传、非授权访问等问题。


总之,我们认为,网络安全体系的建设并不是静态的,而是不断动态进化的,需要与攻击者来回对抗,不断进化提升防御的水平。腾讯云原生安全产品的易用性、快速响应,还有协同联动能力都很不错,是能够适应动态多变的网络环境的。

 

Q4:云集每年在网络安全上投入占IT投入比大约多少

吴兆荣:云集每年在网络安全上的投入会占到服务器成本的10%-15%。网络安全对于电商平台至关重要,所以对于这方面的投入,我们认为这个比例是物有所值的。

 

Q5:面对网络安全的各种威胁,哪些安全产品/服务会让您“眼前一亮”?

吴兆荣:腾讯云WAF产品比较刷新我之前对WAF的认识。相比于之前用过的传统硬件WAF产品,腾讯云WAF,无论是架构还是功能丰富度都远超我们的预期。目前,我们正在使用腾讯云的CLB-WAF(负载均衡型WAF),是去年底推出的旁挂式WAF。


做过运维的伙伴都知道一个痛点:网关式安全产品不敢随便用。因为安全产品自身的不稳定性问题有可能导致业务故障,做旁路镜像时无法及时拦截威胁。而腾讯云CLB-WAF的旁挂式架构就没有这个烦恼。简单来说,旁挂式架构的原理是:CLB将业务请求镜像给WAF集群,同时等待WAF集群反馈可信状态来决定放行还是拦截,如果WAF集群出现问题,一旦超时,CLB就会自动放行,不会影响业务转发,这样既解决了稳定性问题,又能及时拦截威胁,对于我们来说是眼前一亮的方案,目前已运行大半年,完全没有因为WAF问题对我们业务造成影响。

 

Q6:网络爬虫是电商行业的一大顽疾,你们是否有受到这方面的困扰?

吴兆荣:电商行业是爬虫受害最严重的行业之一。针对电商行业的爬虫,它有专业性高、变化多端的特点。相信电商行业大部分客户,都会有这类的困扰。


目前云集的反爬虫策略,还处于不断摸索、不断进步的阶段。云集反爬虫主要依赖腾讯云WAF的BOT管理模块,它基于AI分析引擎,通过流量画像匹配用户爬虫,从而建立模型和行为标签,提供给我们爬虫和IP情报,快速识别爬虫行为,从而进行相关的干预。

 

腾讯云WAF近期推出了“情报IP”功能,我们试验下来效果非常明显。只要某个电商客户出现过爬虫攻击行为,该爬虫就会自动加入到我们的情报IP中。当我们再次遇到这类爬虫,WAF就会进行自动封禁。目前看来,这个功能在业内还是比较创新的,我们非常期待它长期的效果。





声明:该文观点仅代表作者本人,转载请注明来自看雪