《SAMPLING-AWARE ADVERSARIAL ATTACKS AGAINST LARGE LANGUAGE MODELS》这篇论文来自TUM， 主要说明了传统jailbreak方法重优化而忽略采样的问题，引出了3种平衡采样与优化的方式：先优化后采样，交替优化采样，选取后b个优化进行采样，这些优化与采样都是在设定的预算B内进行的。通过这3种策略得在几个经典jailbreak方法上，至高得到了37个点的提升。

值得注意的是，不同以往的优化范式传统 PAIR 的 improve 输入近似：

$$ q_{t+1} = \operatorname{improve}(q_t, y_t) $$

而论文框架允许：

$$ q_{t+1} = \operatorname{improve}(Q, S) $$

第 $t$ 轮调用 improve(Q, S) 时，具体是什么？

  • $Q = [q_1, q_2, \ldots, q_t]$

    包含从第 1 轮到当前第 $t$ 轮的所有攻击提示。

    不包含 $q_{t+1}$，因为 $q_{t+1}$ 正是这次 improve 要生成的结果。

  • $S = s_1 \parallel s_2 \parallel \cdots \parallel s_t$

    包含从第 1 轮到当前第 $t$ 轮的所有采样集合。

    注意 $S$ 是“集合的列表”，每个 $s_i$ 本身可能有 $n_i$ 个回复：

    $$ s_i = \{y_{i1}, y_{i2}, \ldots, y_{in_i}\} $$

    所以 $S$ 里可能有 $n_1 + n_2 + \cdots + n_t$ 个回复。