2023 SDC 议题抢先看

01 议题前瞻

从逻辑计算到神经计算：针对LLM角色扮演攻击的威胁分析以及防御实践

以GPT-4为代表的大型语言模型（LLM）给社会带来了革命性的变革，安全方面也不例外。笔者在研究LLM安全过程中，有些绕不过、无法不去思考的问题：

1) 导致LLM有如此能力和潜力的本质原因是什么？

2) 为什么LLM 输入与输出之间有如不同以往的特性？

3) 这些改变对于网络安全意味着什么？

经过对于学术界、工业界最新研究成果的学习、研究，笔者找到一个可能的答案是：从逻辑计算到神经计算的底层计算范式转移是本质原因之一。从逻辑计算到神经计算的转变导致对于绝大多数企业和个人，他们需要更关注LLM的输入输出，一定程度需要弱化对于LLM内部可解释性的深入研究。而这导致prompt安全成为未来的重点之一。

本报告包含如下内容：

• 深度神经网络带来变革的可能的本质原因之一的分析：从形式逻辑计算到神经计算；

• 结合当前与未来基于LLM构建应用的体系的分析，对其进行较全面威胁建模；

• 对于prompt越狱的多维风险进行了分析，并进一步聚焦到LLM角色扮演攻击，笔者进行了较深入的威胁分析，实测该类攻击能以近50%概率突破GPT3.5模型。

结合LLM技术原理、prompt工程和微调技术，笔者提出在2个关键防御点上通过3种防御方案进行防御的框架。实验数据显示，这些方案能有效降低LLM角色扮演攻击的成功率高达90%。

LLM使得网络安全变得更复杂、风险更大，未来的攻防博弈也会更智能、更残酷。最后，笔者展望了未来在LLM prompt安全研究方向上的思考，特别是从自动对抗到智能对抗的转变。

02 演讲嘉宾

张栋-vivo安全研究员

目前专注AIGC安全研究，曾任职某通信网络集团、某金融集团，从事网络安全与隐私保护研究工作。

听众收获

1、对LLM在网络安全方面的影响有更深入的了解，特别是其输入和输出的重要性。

2、掌握了一套全面的威胁建模方法，可以应用于自己的网络安全分析。

3、获得了实用的防御方案和框架，可以直接应用于减少LLM相关的安全风险。

4、对未来网络安全的攻防趋势有更全面的认识，特别是从自动对抗到智能对抗的转变。

扫码报名参会

更多议题细节，欢迎来 SDC 现场聆听