国内 AI 大佬沈向洋和马毅牵头,创办了一个新的学术会议,CPAL(Conference on Parsimony and Learning),即简约与学习会议。CPAL 是一年一度的研究型学术会议,专注于解决机器学习、信号处理、优化等领域中普遍存在的简约、低维结构问题。创办这个会议的出发点,即将其设计为一个普遍的科学论坛,使机器学习、应用数学、信号处理、优化、智能系统以及所有相关的科学和工程领域的研究人员能够聚集在一起,分享见解,并最终努力达成一个共同的现代理论和计算框架,从简约学习的角度理解智能和科学。首届 CPAL 会议将于 2024 年 1 月 3 日 - 6 日,在香港大学数据科学研究院举办。CPAL 会议愿景
智能或科学的存在,乃至其产生的最基本原因之一是,世界并非完全随机,而是高度结构化和可预测的。因此,智能或科学的一个基本目的和功能是从大量感知到的世界数据中学习简约的模型(或规律),来理解这种可预测的结构。在过去的十年中,机器学习和大规模计算的出现,极大地改变了我们在工程和科学中处理、解释和预测数据的方式。基于特定信号和测量结构的参数模型(比如稀疏和低秩模型)来设计算法的「传统」方法,及其相关的优化工具包,现在已经通过数据驱动的学习技术得到了极大地丰富,其中,大规模网络被预训练,然后适应各种具体任务。然而,无论是现代数据驱动还是经典模型基础的范例的成功,都关键地依赖于正确识别实际数据中存在的低维结构,我们认为学习和压缩数据处理算法的角色(无论是显式还是隐式,如深度网络)是密不可分的。在过去的十年左右的时间里,包括理论、计算和实践在内的几个研究领域都已经探索了学习与压缩之间的相互作用。一些工作探索了深度学习时代下的信号模型的角色和作用,试图理解深度网络与非线性、多模态数据结构之间的相互作用。还有些人将这些见解应用到深度架构的原理设计中,将数据中所期望的结构融入到学习过程中。另一些人则将通用深度网络本身视作一等公民,探索了如何压缩和稀疏模型以提高效率,这往往伴随着硬件或系统感知的联合设计。在所有这些场景中,基于低维模型的理论工作已经开始用于解释深度架构和高效学习的基础,包括从优化到泛化问题,尽管其中也存在「过参数化」等障碍。最近,基础模型的出现使一些人提出,简约性和压缩本身是智能系统学习目标的一个基本部分,这与神经科学对压缩作为大脑表征世界感知数据的指导原则的观点相连。总的来说,这些研究线路到目前为止相对独立地发展,尽管他们的基础和目的都在于简约性和学习。我们组织这次会议的目的是统一解决和进一步深化研究这个问题:我们希冀这次会议成为一个通用的科学论坛,让机器学习、应用数学、信号处理、优化、智能系统以及所有相关科学和工程领域的研究人员可以在这里紧密交流,分享见解,最终从简洁学习的视角向理解智能和科学的现代理论和计算框架共同迈进。首届大会主席共有四人,他们分别是沈向洋、马毅,以及慕尼黑大学的 Gitta Kutyniok、宾夕法尼亚大学的 René Vidal。会议程序主席包括 CMU 的池跃洁(Yuejie Chi)、Google DeepMind 的 Gintare Karolina Dziugaite、密歇根大学的曲庆(Qing Qu),以及德州大学奥斯汀分校的汪张扬(Atlas Wang)。大会相关主题包括但不限于以下领域,详细信息请参阅:https://cpal.cc/subject_areas/:- 模型和算法:深度网络的简约训练和推理算法(例如基于稀疏性、低秩或其他);紧凑高效的神经网络架构设计;结构化模型为基础的深度学习;稳健性 / 可解释性由简约原则指导;生成模型;分布式和联邦学习;高效的神经网络扩展;其他非线性降维方法等。
- 数据:现代信号模型;数据集简约和稀疏数据格式;结构化数据表示学习等。
- 理论:深度学习中与其隐含简约性严格相关的泛化、优化、稳健性和近似;经典稀疏编码理论及其与神经网络稀疏性的联系;由于稀疏性而遗忘等。
- 硬件和系统:库,内核,编译器或定制硬件加速稀疏计算;资源高效学习与协同设计等。
- 应用和科学:简约人工智能用于科学和工程;理论神经科学和认知科学为简约性提供基础;其他跨学科应用等。
以上是 CPAL 关注的主要概述,但不包含所有内容。如果你不确定自己的论文是否适合本会议,请随时通过电子邮件(pcs@cpal.cc)与程序主席联系。CPAL 设有一个主要的论文集轨道(存档)和一个「最新亮点」轨道(非存档):- 论文集轨道(存档):提交和评审阶段是双盲的。会议使用 OpenReview 托管论文并允许公开讨论。完整的论文可以有最多九页,参考文献和附录页数不受限制。
- 「最新亮点」轨道(非存档):提交会议风格的论文(最多九页,附加页用于参考文献),描述工作内容。请在 OpenReview 上上传一个简短(250 字)的摘要。评审将以单盲方式进行(作者不需要匿名化提交)。
评审机制中的重要创新:每篇论文都有一个 Program Chair 负责引导。对于每篇被接受的论文,其负责的 Area Chair 和 Program Chair 的姓名将公开发布在其 OpenReview 页面上,以确保责任。对于每篇被拒绝的论文(不包括撤稿),只会显示其负责的 Program Chair 的姓名。审稿人将获得评级并动态选择。所有截止日期均为 UTC-12:00 时区(地球上任何地方)的晚上 11:59。- 2023 年 8 月 28 日:论文集轨道提交截止日期
- 2023 年 10 月 10 日:最新亮点轨道提交截止日期
- 2023 年 10 月 14 日:两周答辩阶段开始(论文集轨道)
- 2023 年 10 月 27 日:答辩阶段结束,作者与审稿人讨论阶段开始(论文集轨道)
- 2023 年 11 月 5 日:作者与审稿人讨论阶段结束(论文集轨道)
- 2023 年 11 月 20 日:最终决定公布日期(两个轨道)
- 2023 年 12 月 5 日:定稿截止日期(两个轨道)
- 2024 年 1 月 3 日至 6 日:主要会议(香港大学主校区)
Dan Alistarh,奥地利科学技术研究院
SueYeon Chung, 纽约大学
Tom Goldstein,马里兰大学
Yingbin Liang,俄亥俄州立大学
Robert D. Nowak,威斯康星大学麦迪逊分校
Dimitris Papailiopoulos,威斯康星大学麦迪逊分校
Jong Chul Ye,韩国科学技术院
...更多演讲嘉宾将很快公布!
如有任何疑问,请联系组织者:pcs@cpal.cc