ChatGPT在诸多领域都有着似乎还不错的发挥，那么，如果是将机器学习技术应用于网络安全任务，例如识别恶意链接，ChatGPT在这方面的表现又究竟会如何呢？上个月，卡巴斯基就专门对此做了一项实验。

卡巴斯基先是向ChatGPT询问“该链接是否指向钓鱼网站”，这时的检出率为87.2%，误报率为23.2%。而这意味每访问五个网站就有一个网站被误杀，虽然检出率非常高，但与此同时的误报率无法接受。

接着，卡巴斯基换了一种方式，直接询问ChatGPT“该链接是否安全”，这一次，检出率提高到了93.8%，但同时误报率也飙升到了64.3%。总体而言，ChatGPT的成绩不能算是特别理想。

卡巴斯基最后给出的结论是，他们认为ChatGPT的表现与他们对一个实习级钓鱼分析师的期望相当，可用于协助真人分析师的工作，例如突出显示URL中可疑的部分，并提供可能的攻击目标建议。但也仅止于此，ChatGPT及LLM目前尚不足以从根本上改变网络安全，至少在钓鱼检测方面是如此。

一个多月后，日本的一家安全公司NTT Security Holdings也对此做了相类似的实验，但是他们得出的实验结果相对要积极许多——ChatGPT（GPT-4）在检测网络钓鱼网站方面的准确率超过了98%。

相比卡巴斯基，NTT在实验中为ChatGPT提供了更多的提示。他们指导ChatGPT将任务拆分为了四个步骤：

社会工程学分析（识别网站是否包含对用户进行心理操纵的文本，例如虚假奖励、虚假病毒感染警报）。

品牌名称提取（对比URL和提取的品牌的合法域名，以确定目标网站是否冒充了一个服务或公司。）。

解释决策过程（令ChatGPT解释其决策的理由，以提高响应的准确性并更便于响应分析）。

结果输出（以JSON格式输出网络钓鱼分数、品牌名称、是否是网络钓鱼站点、域名的可疑性）。

实验结果显示，GPT-3.5的检出率为86.7%，误报率为1.5%；GPT-4的检出率为98.4%，误报率为1.7%。NTT认为ChatGPT确实能够高精度地检测网络钓鱼网站。同时，NTT发现，ChatGPT在上下文分析、确定域名是否合法、识别网络钓鱼网站中使用的社会工程学技术方面具有出色的表现。

编辑：左右里

资讯来源：Kaspersky、NTT Security Holdings

转载请注明出处和本文链接