【学术讲座】开放世界中机器学习的自然鲁棒性

来源:计算机与人工智能学院 发布日期: Tue Dec 26 00:00:00 CST 2023 浏览次数:1422

时间:2023年12月26日16:00-18:00

地点:犀浦校区X31541报告厅

主讲人:魏鸿鑫 

主讲人简介:

        魏鸿鑫,现任南方科技大学统计与数据科学系助理教授,博士生导师。他于2023年在新加坡南洋理工大学计算机科学系完成博士学位, 于2016年在华中科技大学获得本科学位。他曾在清华交叉信息研究院担任研究助理,读博期间曾在美国威斯康辛大学麦迪逊分校进行研究访问。他的研究方向主要包括 开放世界机器学习, 鲁棒深度学习, 以及弱监督学习。其课题研究的长期目标在于构建可靠的机器学习系统,使其能在各阶段不可预知的数据条件下安全可靠地运行。学术兼职方面其目前已担任ICML, NeurIPS, ICLR, CVPR, KDD, IJCAI等顶级学术会议的程序委员会成员,并在TPAMI, TNNLS,PR等顶级期刊担任审稿人,连续两届获得NeurIPS 2021, 2022杰出审稿人称号。

讲座摘要:

        现代机器学习技术在计算机视觉和自然语言处理等许多领域展示了出色的能力。尽管在实验环境中的表现超越了人类,但许多研究工作揭示了机器学习模型在现实世界应用中违反基本假设而变得脆弱的问题。这些问题显著阻碍了机器学习的适用性和可靠性。因此,自然鲁棒性的目的是在机器学习流程中保持模型在自然产生的的数据损坏或改变下的性能。在这个概念下,本次演讲首先将研究两个自然发生的问题:标签错误和分布偏移,它们分别属于弱监督学习和开放世界机器学习的子领域。然后,我将讨论如何在训练过程中探索超出分布范围的示例的价值。具体而言,我将介绍自然鲁棒性中的三个最新的研究成果:1)Disagreement原则在标签噪声中干净样本的选择是不必要的。2)将模型输出的量级从优化中分离可以缓解神经网络的过度自信问题。3)分布外样本可以有益于模型的鲁棒性。