2023 扩散模型研究暴增 ICLR AI 顶会 AIGC 论文得分出炉 席卷 (2023扩散模型)
11 月 5 日,人工智能顶级会议 ICLR 2023 的评审结果正式发布。
ICLR 全称是 International Conference on Learning Representations(国际学习表征会议),由深度学习三巨头其中的两位 Yoshua Bengio 和 Yann LeCun 牵头创办于2013年,在人工智能领域地位举足轻重。ICLR 2023 将于 2023 年 5 月 1 日至 5 月 5 日在卢旺达基加利举行。

ICLR 的审稿分数和意见全部在 OpenReview 平台上公开,一些网友已经爬取了平台上本轮审稿的论文得分数据,做了相关排名统计。
论文评分方面,今年的论文平均得分为 4.95。最终的论文录用结果尚未公布,参照上一年 32.3% 的录用率,今年共有 1556 篇左右的论文有希望被录用,最低均分线在 5.50 分。

从提交论文的主题来看,最热门的方向与往年相差不大,强化学习、深度学习、表征学习、图神经网络等仍旧是热点。而其中尤其引人注目的,是

从下图显示的频率排名变化幅度最大的前 10 个论文关键词可以看到,
论文题目中的关键词频率也印证了扩散模型的研究热度有多高:
上图是论文标题关键词频率排名变化幅度最大的前 10 个关键词, difFusion 位列第 2,从去年的第 132 名大幅暴增到第 25 名。
甚至有网友开玩笑,不如就把 ICLR 2023 的名字改为“Diffusion Conference 2023”吧......

100 多篇论文以扩散模型为研究主题 ,在 233 篇得分为 7分(含)及以上的论文中,共有 13 篇涉及扩散模型。
这些工作所涵盖的具体方向也十分广,如高效采样、与其他生成模型结合、在CV/NLP领域的应用、在多模态领域的应用、与强化学习结合、分子图建模、扩散模型理论与理解、扩散模型泛化与拓展、扩散模型迁移、特殊结构数据的建模、鲁棒性与稳定性、扩散模型的隐私保护,以及其他方向。
研究提出的生成模型涉及多个模态,模型本身的名字也是五花八门,过去几个月令人惊艳的许多生成模型都在其中,如:
来自谷歌的 文本生成 模型 DreamFusion (被称为“3D 版 Dall·E”),论文还得到了 8.0 的高分,总排名第 13。
另外还有谷歌发布的检索增强的 文本生成图像模型 Re-Imagen、文本生成视频模型 Phenaki, Meta 的 文本生成视频模型 Make-A-Video 等等。
扩散模型所引发的这一波 AIGC 热潮是席卷式的。扩散模型第一次被提出是在 2015 年(DPM,Diffusion Probabilistic Models),直到2020年,UC 伯克利的Pieter Abbeel 等人提出去噪扩散概率模型(Denoising Diffusion Probabilistic Model, DDPM),在图像生成方面击败了 GAN,向世界展示了扩散模型的威力。
而扩散模型真正开始成为研究热门,今年 4 月 OpenAI 发布的文本生成图像模型 DALL·E 2 居功至伟,之后又有谷歌推出 Imagen,直接对标 DALL·E 2,文本生成图像领域从此开始卷了起来。
今年 8 月,初创公司 Stability.AI 发布深度学习文生图模型Stable Diffusion,开源后更是一石激起千层浪,后续基于扩散模型的文本生成图像模型可以说是越来越卷,并很快扩展到文本生成视频、文本生成 3D、文本生成音频等等。
如今,扩散模型已经当之无愧成为深度生成模型中新的 SOTA,其所引发的 AIGC 热潮已经势不可挡。
所以,想要进入 AIGC 这一赛道的可以早点行动了。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
版权文章,未经授权禁止转载。详情见 转载须知 。