Paper Reading

水印的成功源于以下几个方面。 1. 训练有素的分类模型有可能被重新编程用于 OOD 检测，因为它们是两个相关的任务； 2. 重编程已被广泛研究，从图像分类到时间序列分析，使我们的建议在各个领域具有通用性； 3. OOD 检测缺乏对现实世界 OOD 分布的了解。幸运的是，通过仅在低维度进行数据级操作，水印可以在很大程度上缓解有限数据的问题。

局部正则化上下文优化(LoCoOp)主要包含两部分：1. 从 CLIP 局部特征中提取与 ID 无关的区域。2. 用提取的区域进行 OOD 正则化训练。

本文提出了一种新的 CLIP 架构，称为 CLIP 说“不”(CLIPN)。从三个方面对CLIP在OOD检测方面进行了升级。 1. 架构。 在CLIP 中添加了新的“否”提示和“否”文本编码器。我们新颖的可学习“不”提示在提示中集成了否定语义，补充了原始 CLIP 的提示。此外，我们的“不”文本编码器捕获图像相应的否定语义，使 CLIP 说“不”成为可能。 2. 训练损失。我们进一步提出两个损失函数。第一个是图像-文本二元相反损失，它使图像特征与正确的“否”提示特征相匹配。换句话说，它可以教会 CLIP 何时说“不”。第二个是文本语义相反的损失，这使得标准提示和“否”提示嵌入得彼此相距甚远。换句话说，它可以教会 CLIP 理解“否”提示的含义。 3. 无阈值推理算法。经过 CLIPN 的训练后，我们设计了两种无阈值算法：competing-to-win 和 agreeingto-differ。competing-to-win的目标是从标准的和“否”文本编码器中选择最置信的概率作为最终预测。同时，通过考虑标准和“无”文本编码器的预测，agreeingto-differ会为 OOD 类别生成额外的概率。

论文的主要贡献有三： 1. 第一个提出在 CLIP 中进行多模态prompt学习，以便更好地调整其视觉语言表征。 2. 为了将在文本和图像编码器中学习到的提示联系起来，提出了一种耦合函数，以明确地将视觉prompt作为其对应的语言prompt的条件。它充当了两种模态之间的桥梁，允许梯度相互传播，促进模态之间的协同。 3. 多模态prompt学习通过视觉和语言分支中的多个transformer块进行学习，以逐步学习两种模态的协同行为。这种深度prompt策略允许对上下文关系进行独立建模，从而为对齐视觉语言表征提供了更多的灵活性。

论文的主要贡献有三： 1. 提出了一个LLM来生成目标类别的高质量语言描述，并建立了一个强大的文本分类器。 2. 采用了一个图像示例聚合器，可以接收任意数量的图像作为输入，构建视觉分类器。 3. 提出了一个简单的方法来融合语言描述和图像示例的信息，得到了一个多模态分类器。

提出了分布无关的离群点检测(Distributional-agnostic Outlier Exposure，DOE)，一种基于隐式数据转换的新型离群点检测方法。利用“模型扰动会隐式地产生数据变换”这一思想，当检测模型足够深入，原始数据和转换后的数据分布之间的差异可以足够大，进而有效合成与原始数据大不相同的额外 OOD 数据。