如何看待kdd2023?

发布网友 发布时间：2024-10-24 12:30

我来回答

共1个回答

热心网友 时间：9小时前

在讨论如何评价KDD 2023时，我们关注的是领域自适应（DA）和领域泛化（DG）领域，它们是顶级会议的热门研究方向。DA主要关注如何利用有标签训练数据（源域）和无标签目标数据，以提升模型在不同领域间的适应性。相比之下，DG则在多个源域数据之间工作，但不知道目标域，其目标是提升模型在未知分布上的泛化能力。传统DG方法通常在源域进行预训练模型，然后部署时不进行调整，核心在于如何利用多个源域带来的丰富信息。

然而，现有文献表明，仅依赖源域信息难以实现目标域的泛化。为解决这一问题，测试时间自适应（TTA）方法应运而生，但现有的TTA方法要么需要重新训练模型，要么更新部分模型参数，或者引入额外分支。本文提出了一种方法——《领域特定风险最小化以实现非分布泛化》，在KDD 2023上发表，与悉尼大学和MSRA的合作者共同完成。该方法从现有的DG边界出发，推导了一个简单的错误边界，揭示了未见目标样本对泛化误差的影响，并设计了启发式算法进一步减小泛化误差。整体框架被称为DRM，无需任何梯度更新。

论文和代码已公开发布，详细内容可参考arxiv链接和github仓库。该方法解决了理论和实践中的问题，包括假设过自信和悲观适应性差距减少。假设过自信问题导致训练时参数空间可能不包含理想参数，最优源域模型在任意目标域上表现不佳，两者之间存在显著的适应性差距。悲观适应性差距减少问题在于传统方法几乎无法识别和最小化适应性差距，因此无法处理所有类型的分布位移。

论文中提出的方法通过引入新的泛化边界，考虑了源域与目标域之间的适应性差距，为OOD算法设计提供了新的视角。该边界激发了针对不同源任务训练特定分类器、动态集成它们的策略，从而丰富了假设空间。实验结果显示，该方法在多个基准上取得了显著性能提升，相比现有DG方法和TTA方法具有更少的参数量和更快的训练速度，同时能够结合现有OOD方法和TTA方法进一步提升性能。

总结而言，本文在理论和实践层面研究了领域自适应对领域泛化的关键作用，并提出了DRM方法以消除适应性差距带来的负面影响。DRM通过动态调整分类器权重，利用不同分类器组合提高预测准确性，同时保持与现有方法相当的参数量和训练速度，展现出在非分布泛化任务上的优势。未来研究可以考虑进一步减少多分类器结构产生的额外参数，例如使用变系数技术等先进技术和模型设计。