Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

陈萍报道

ICLR 2023论文列表公布,有机构一口气中20多篇

深度学习顶级学术会议 ICLR 2023 录用结果已经公布!论文接收的完整列表已经在 OpenReview 平台上公开。

图片

ICLR 2022 完整论文列表:https://openreview.net/group?id=ICLR.cc/2023/Conference#notable-top-5-

ICLR 全称为国际学习表征会议(International Conference on Learning Representations),今年将举办的是第十一届,预计将于 5 月 1 日至 5 日在卢旺达首都基加利线下举办。

机器学习社区中,ICLR 是较为「年轻」的学术会议,它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办,2013 年才刚刚举办第一届。不过 ICLR 很快就获得了学术研究者们的广泛认可,被认为是深度学习的顶级会议。在 Google Scholar 的学术会议 / 杂志排名中,ICLR 目前排名第十位,要高于 NeurIPS。

图片

在今年的接收统计中, ICLR 共接收近 5000 篇投稿,整体接收率为 31.8%,接近于去年的 32.26%。今年还有一个变化是接收论文的 tag 会有两个,一个是论文类型(oral、spotlight、poster),另一个是 presentation 的方式

图片

位于 top5% 论文内容涉及 Transformer、in-context learning、扩散模型等内容。

图片top5% 论文列表截图

论文接收列表一放出,在推特上引起了热烈讨论。

斯坦福大学计算机科学博士 Dan Fu 表示自己参与的论文中了 spotlight,他还谈到,大家都在议论 Attention is all you need,但没有人给出到底需要多少层 Attention?在这篇论文中,他们提出了一个新的生成语言模型 H3,其性能优于 GPT-Neo-2.7B,只需要 2 个 Attention 层。

图片

KAIST AI(韩国电信公司与韩国科学技术院合作成立的 AI 研发机构)表示,他们总共有 24 篇论文被 ICLR 2023 录取,包括 9 篇 Spotlights。

图片

除此以外,Salesforce AI Research 也有多篇论文被接收。

图片

在本次接收名单中,马毅教授、Yann LeCun 等人合作撰写的文章《Minimalistic Unsupervised Learning with the Sparse Manifold Transform》也被接收,除此以外,马毅教授参与的另一篇关于增量学习论文也在接收列表中。

图片

图片

最近一段时间,生成模型发展迅速,随之而来的风险也在增加,谷歌一篇关于大型语言模型如何更好的向用户显示输出的研究也被接收:

图片

很多网友都在推特上分享了论文被接收的喜悦,没有中的小伙伴也不要灰心,争取在接下来的顶会上有所斩获。

参考链接:https://twitter.com/search?q=ICLR%202023&src=typed_query&f=top

理论ICLR 2023
相关数据
马毅人物

加州大学伯克利分校电气工程与计算机科学系教授,BAIR成员。研究兴趣:计算机视觉、高维数据的低维模型、可扩展优化和机器学习、智能机器。近期研究低维模型和深度网络之间的关系、高维数据的稀疏表征和低秩近似、高维数据的聚类和分类、3D图像重建。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

增量学习技术

增量学习作为机器学习的一种方法,现阶段得到广泛的关注。对于满足以下条件的学习方法可以定义为增量学习方法: * 可以学习新的信息中的有用信息 * 不需要访问已经用于训练分类器的原始数据 * 对已经学习的知识具有记忆功能 * 在面对新数据中包含的新类别时,可以有效地进行处理

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

图论技术

图论是以“图”为研究对象的一个数学分支,是组合数学和离散数学的重要组成部分。图是用来对对象之间的成对关系建模的数学结构,由“顶点”(又称“节点”或“点”)以及连接这些顶点的“边”(又称“弧”或“线”)组成。值得注意的是,图的顶点集合不能为空,但边的集合可以为空。图可能是无向的,这意味着图中的边在连接顶点时无需区分方向。否则,称图是有向的。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

语言模型技术

统计式的语言模型是借由一个几率分布,而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。

推荐文章
暂无评论
暂无评论~