Jailbreak

本文讨论了通过伪造对话历史和API调用进行jailbreak攻击的方法，而无需搜索和包装。微软指出，这种“破绽”的原因是会话本地存储，而chatgpt的云端会话存储则无此问题，同时开源LLM必将长久面临此类问题。微软提出了针对盈利的LLM提供商的解决建议，包括对会话信息进行签名、保留云端会话等。

本文研究了使用LLM（大型语言模型）为基础的代理的越狱问题。作者选择这个研究目标的原因是现有体系逐渐完善，其中包括一个跨攻击方法的统一评估框架和提供多种主流攻击的实际数据的网站。作者计划从攻击方法入手，快速阅读主流的方法，因为主流的对齐dataset和victim model的攻击结果可以在网站上找到。