
香港浸会大学与康奈尔大学合作发表论文《Rethinking LLM Unlearning Objectives: A Gradient Perspective and Go Beyond》,提出了一个名为梯度效应的分析框架,旨在从梯度角度系统性地分析各种反学习方法的性能变化及其内在机制。基于此分析,作者提出了一系列改进的遗忘目标,大大提升了LLM反学习的有效性。
香港浸会大学与康奈尔大学合作发表论文《Rethinking LLM Unlearning Objectives: A Gradient Perspective and Go Beyond》,提出了一个名为梯度效应的分析框架,旨在从梯度角度系统性地分析各种反学习方法的性能变化及其内在机制。基于此分析,作者提出了一系列改进的遗忘目标,大大提升了LLM反学习的有效性。
我们针对盲式灵活分子对接(Blind Flexible Docking)场景,即缺少对接口袋先验信息的同时,又放松了蛋白质刚性假设,提出了FABFlex模型,一个多任务的基于回归的网络模型,旨在探索回归范式在灵活对接场景下的潜力,实现更快更准的灵活分子对接。论文已在ICLR 2025发表。
因果发现的现实挑战:稀缺的高级变量
这项工作探讨了如何可靠地评估并提高大规模视觉语言模型在面对真实分布外数据的鲁棒性,特别是通过新构建的 CounterAnimal 数据集评估 CLIP 模型在分布外场景下的表现。
当前,大语言模型(Large Language Model, LLM)借助上下文学习(In-context Learning)和思维链提示(Chain of Thoughts Prompting),在许多复杂推理任务上展现出了强大的能力。
在这项工作中,我们提出了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方法,该方法利用通过利用大型语言模型 (LLM) 的专家知识和推理能力来想象潜在的异常值暴露,从而提升VLMs的OOD检测性能 (如图1 (c) 所示),同时无需访问任何实际的 OOD 数据。
我们提出了一种名为NegLabel的创新方法,该方法利用VLMs进行OOD检测。NegLabel方法特别引入了“负标签”机制,这些负标签与已知ID类别标签具有显著的语义差异,通过分析比较图像与ID标签和负标签的亲和性,NegLabel能够有效地区分出属于分布外的样本,从而显著增强模型对OOD样本的识别能力。
我们结合球面线性插值法和直接引入噪声的方法,提出了一个全新的插值方法:对潜在变量的极值进行约束,并结合微小的高斯噪声使其更接近预期的分布,且引入了原始图片来缓解信息丢失的问题。
尽管大语言模型 LLM (Large Language Model) 在各种应用中取得了巨大成功,但它也容易受到一些 Prompt 的诱导,从而越过模型内置的安全防护提供一些危险 / 违法内容,即 Jailbreak。