看完32篇论文，你大概就知道Sora如何炼成？ |【经纬低调出品】

龙年伊始，OpenAI发布的Sora便向科技圈投了一枚“重磅炸弹“，但也闹出了一个小乌龙。

此前，一篇名为《震惊世界的Sora发明者之一，是毕业于上海交大的天才少年——谢赛宁》的文章刷屏，文章提到曾经的上海交大ACM班成员谢赛宁是Sora的发明者之一。随即，谢赛宁在微信朋友圈澄清，表示自己和Sora并没有关系。

但不可否认是，Sora技术报告中曾引用了一项研究成果——DiT模型，出自谢赛宁与Sora研发负责人之一William (Bill) Peebles（Bill系William昵称）合著的一篇论文《Scalable diffusion models with transformers》。

该论文提出了一种新的扩散模型架构，称为Diffusion Transformer (DiT)，它使用Transformer架构替换了传统的U-Net架构，让DiT具有更好的可扩展性，可以训练更高分辨率的图像生成模型。同时，DiT在类条件ImageNet 512x512和256x512基准测试中取得了最先进的成果。

按照惯例，我们决定请出大模型，带着大家一同深入学习一下这篇科研论文。本次测评的大模型产品分别是刚刚升级的谷歌Gemini、阿里云发布的通义智文、百川智能的百川大模型、月之暗面的kimi chat。以下，Enjoy：

‍

1

**Gemini‍‍**

Gemini无法上传文档，但可以直接在线搜索论文，并根据要求进行概括分析。

**论文《Scalable diffusion models with transformers》简介**

作者: William Peebles 和 Saining Xie

核心思想:

1.提出了一种新的扩散模型架构，称为 DiT，该架构使用Transformer 替换了传统的 U-Net 主干。

2.DiT 在潜在空间中对图像进行建模，并通过Transformer 的注意力机制学习图像的全局依赖关系。

3.DiT 具有良好的可扩展性，可以训练到更高的分辨率和更大的模型容量。

4.在 ImageNet 分类任务上，DiT 取得了最先进的性能。

主要贡献:

-   提出了一种新的扩散模型架构，DiT。
    
-   证明了 DiT 具有良好的可扩展性。
    
-   在 ImageNet 分类任务上，DiT 取得了最先进的性能。

DiT 模型由以下几个部分组成:

-   编码器: 将图像编码成潜在表示。
    
-   扩散过程: 逐渐添加噪声到潜在表示。
    
-   解码器: 将潜在表示解码成图像。

训练方法:

DiT 模型使用了一种称为 contrastive learning 的训练方法。contrastive learning 的目标是让模型学习区分真实图像和噪声图像。

实验结果:

在 ImageNet 分类任务上，DiT 模型取得了最先进的性能。

结论:

DiT 是一种新的扩散模型架构，具有良好的可扩展性和性能。

其他:

-   DiT 模型还可以用于其他图像生成任务，例如图像合成和超分辨率。
    
-   DiT 模型的代码将在 Github 上开源。

## 总结

DiT 模型是扩散模型领域的一项重要进展。它具有良好的可扩展性和性能，可以用于各种图像生成任务。

但Transformer架构究竟是什么？我们请大模型来回答这一问题：**请解释下，何为Transformer架构？**

**Gemini：**

Transformer架构是一种依赖注意力机制在输入和输出之间建立全局依赖关系的神经网络架构。它最初由Google Research在2017年提出，用于机器翻译任务，并在该领域取得了突破性的成果。

Transformer架构主要由以下几个部分组成：

-   编码器：负责将输入序列转换为一个中间表示。编码器由多个self-attention层组成，每个self-attention层都会学习输入序列中不同部分之间的依赖关系。
    
-   解码器：负责将编码器生成的中间表示转换为输出序列。解码器也由多个self-attention层组成，此外还会使用注意力机制来将编码器生成的中间表示与解码器的输出进行关联。
    
-   注意力机制：注意力机制是Transformer架构的核心。它可以学习输入和输出之间不同部分的相关性，并根据相关性为每个输出token分配不同的权重。

Transformer架构具有以下几个优点：

-   全局依赖关系：Transformer架构可以通过注意力机制学习输入和输出之间全局依赖关系，这使得它能够更好地处理长距离依赖关系问题。
    
-   并行性：Transformer架构的各个self-attention层可以并行计算，这使得它能够有效地利用GPU等硬件资源。
    
-   可扩展性：Transformer架构可以很容易地扩展到更大的数据集和更复杂的模型。

Transformer架构已经被广泛应用于自然语言处理领域的各种任务，包括机器翻译、文本摘要、问答等。此外，Transformer架构也被应用于计算机视觉领域的一些任务，例如图像分类、目标检测等。

## **Transformer架构的应用**

Transformer架构已经被广泛应用于自然语言处理领域的各种任务，包括：

-   机器翻译：Transformer架构是目前机器翻译领域最先进的模型之一。它能够有效地处理长距离依赖关系问题，并学习输入和输出之间全局依赖关系。
    
-   文本摘要：Transformer架构可以用于生成文本摘要。它能够学习文本中不同部分的重要程度，并生成一个包含关键信息的摘要。
    
-   问答：Transformer架构可以用于回答问题。它能够理解问题和答案之间的关系，并生成一个准确的答案。

此外，Transformer架构也被应用于计算机视觉领域的一些任务，例如：

-   图像分类：Transformer架构可以用于图像分类。它能够学习图像中不同部分之间的关系，并将其用于图像分类。
    
-   目标检测：Transformer架构可以用于目标检测。它能够学习目标和背景之间的关系，并将其用于目标检测。

**总结**

Transformer架构是一种具有强大功能的神经网络架构，它已经被广泛应用于自然语言处理和计算机视觉领域的各种任务。

了解到Transformer在图像领域的应用情况，进而提问：Transformer架构可以用于图像分类。它能够学习图像中不同部分之间的关系，并将其用于图像分类。**那么，这篇论文做了哪些突破性尝试？实验结果如何？**这一问题用于进一步了解本篇论文的突破性进展。

**Gemini：**

## 论文《Scalable diffusion models with transformers》的突破性尝试和实验结果

**突破性尝试**

-   该论文提出了一种新的扩散模型架构，称为 Diffusion Transformer (DiT)，它使用Transformer架构替换了传统的U-Net架构。
    
-   DiT使用了一种新的注意力机制，称为 local self-attention，它可以有效地学习图像中局部区域之间的依赖关系。
    
-   DiT使用了一种新的训练策略，称为 masked autoregression，它可以提高模型的泛化能力。

**实验结果**

DiT模型在类条件ImageNet 512x512和256x512基准测试中取得了最先进的成果。在512x512分辨率下，DiT模型的FID得分达到了2.27，比之前的最先进模型低了0.14。

具体来说，该论文的突破性尝试体现在以下几个方面：

-   使用Transformer架构替换U-Net架构：传统的U-Net架构在图像分类任务中取得了很大成功，但它存在一些局限性，例如无法有效地学习图像中全局依赖关系。Transformer架构可以有效地学习图像中全局依赖关系，因此可以克服U-Net架构的局限性。
    
-   使用local self-attention机制：传统的self-attention机制会计算所有token之间的依赖关系，这在高分辨率图像上会带来很大的计算成本。Local self-attention机制只计算局部区域之间的依赖关系，因此可以有效地降低计算成本。
    
-   使用masked autoregression训练策略：传统的扩散模型训练策略会使用所有像素来预测噪声图像，这会导致模型过拟合。Masked autoregression训练策略只使用一部分像素来预测噪声图像，因此可以提高模型的泛化能力。

DiT模型的实验结果表明，Transformer架构可以有效地用于图像分类任务。与传统的U-Net架构相比，DiT模型具有更好的可扩展性和图像生成质量。

## **结论**

论文《Scalable diffusion models with transformers》提出了一种新的扩散模型架构，称为DiT。该模型使用Transformer架构替换了传统的U-Net架构，并使用了一种新的注意力机制和训练策略。

DiT模型在类条件ImageNet 512x512和256x512基准测试中取得了最先进的成果。实验结果表明，Transformer架构可以有效地用于图像分类任务。

**问题：****请展开讲述实验过程，说明DiT模型在类条件ImageNet 512x512和256x512基准测试中取得了哪些先进的成果？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_6586430.9892974003487968.png)

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_8045100.22448425989609933.png)

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_8366500.6327255847588604.png)

紧接着，下图展示了不同调节策略的比较adaLNZero 在所有训练阶段的表现都优于交叉注意和情境调节。

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_6748160.5057015751591504.png)

接下来看看，大模型如何分析这张表格？

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_3888550.823453452272548.png)

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194354_5246020.2996710783466551.png)

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_6569390.8780942845217865.png)

**问题：实验过程中，作者比较了不同模型大小和不同分辨率下DiT模型的性能，得到了哪些结论？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_3817940.7496264463988145.jpeg)

**最后一个问题：该篇论文的理论和实验结果对openAI的sora模型有哪些助益？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194357_6600230.8893782139192629.png)

2

**通义智文**

通义智文有专门解读论文的窗口，上传文档后便可以得到论文概述和论文速读。

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194355_4278860.945887163304644.png)

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194352_6222920.317820300565933.png)

**问题一：U-Net模型最初应用在哪些领域？存在哪些局限性？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_7513460.9355181186489989.png)

**问题二：该篇论文基于transformer架构的新类扩散模型——Diffusion Transformers（DiTs）。请问，transformer架构有什么优势？作者为何transformer架构？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194354_6786830.6388022754326362.png)

**问题三：这篇文章要验证一个什么科学假设？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_8418560.8630158994534289.png)

**问题四：论文中的实验是如何设计的？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_9279900.07505814358693175.png)

**问题五：用结合图表，通俗易懂地解释DiT模型实验过程**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194359_7308630.9657275491344675.png)

因通义智文不能在多轮对话过程中添加图片，所以关于图表的问题只能搁置。

**问题六：如何可视化缩放对样本质量的影响？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_8774100.9458409424024601.png)

**问题七：实验过程中，作者比较了不同模型大小和不同分辨率下DiT模型的性能，得到了哪些结论？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194353_6731310.16373151448783707.png)

**问题八：DiT-XL/2相对于其他模型的计算效率如何？优势体现在哪里？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_9089620.34878001978433315.png)

**问题九：该篇论文的理论和实验结果对openAI的sora模型有哪些助益？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_8826910.29708102657621926.png)

3

**Kimi chat**

**问题一：帮我总结这篇文献的见解、核心观点及重要结论**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194353_5973530.7041049669190085.png)

**问题二：Transformer架构在哪些领域取得较大成功？研究人员为何将其应用于扩散模型？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194355_6607290.7938149277096429.png)

**问题三：这篇文章要验证一个什么科学假设？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194400_7126050.8520217555339146.png)

**问题四：论文中的实验是如何设计的？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194356_9925570.4366142628237647.png)

**问题五：用结合图表，通俗易懂地解释DiT模型实验过程**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194352_7256440.2945426228976664.png)

**问题六：结合论文的实验过程，并解读下图的数据关系，并说明实验人员观察到的结果。**

**![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_6654680.34530289348092946.png)**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_7970040.00620385236363441.png)

**问题七:实验过程中，作者比较了不同模型大小和不同分辨率下DiT模型的性能，得到了哪些结论？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_9279510.46800231323204633.png)

**问题八：该篇论文的理论和实验结果对OpenAI的sora模型有哪些助益？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194352_0253670.3862520878739564.png)

4

**百川大模型**

**问题一：帮我总结这篇文献的见解、核心观点及重要结论**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194358_3583130.49843642086287965.png)

**问题二：Transformer架构在哪些领域取得较大成功？研究人员为何将其应用于扩散模型？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194358_9332020.8312716905840176.png)

**问题三：这篇文章要验证一个什么科学假设？有哪些突破？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194354_6916380.022676088923432203.png)

**问题四：论文中的实验是如何设计的？请用通俗易懂地解释DiT模型实验过程。**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194357_5672250.8364081173395983.png)

**问题五：实验过程中，作者比较了不同模型大小和不同分辨率下DiT模型的性能，得到了哪些结论？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194355_9681080.17225900737910715.png)

**问题六：该篇论文的理论和实验结果对OpenAI的sora模型有哪些助益？**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194355_3927630.9095222986441174.png)

5

**Sora 成功背后有哪些重要技术？**

很多人更多是惊叹于Sora强大的逼真视频生成能力，而学术界则是愿意追根溯源，进一步了解背后的技术原理和基础。

正如OpenAI最新发布的技术报告显示，Sora背后“text-to-video”的模型基础是Diffusion Transformer Model，这是一种结合了 Transformer 架构和扩散模型的图像、视频及其他数据的生成模型。而谢赛宁也是从Sora技术报告中分析出，这很可能就是建立在DiT的基础之上。

而Sora的爆火，可以视为OpenAI一直坚持的Scaling law的又一次胜利——没有多么纯粹原创的技术，很多技术成分早已存在，但它却比所有人都更笃定地走了下去，并用足够多的资源在巨大的规模上验证了它。

博采众长，Sora参考借鉴了近期业界、学界的计算机视觉、自然语言处理的技术进展。如把训练数据编码成Patch的方法，引用了谷歌DeepMind的Patch n’ Pack等。当然，Sora的技术报告也贴心留下了References，包括上面分析的那篇论文，共提到了32篇文献。

为了进一步了解Sora背后理论基础，我们请出大模型帮忙整理出这些文献的内容，但kimiChat、百川大模型、通义智文未能给出答案：

KimiChat:

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194352_7381600.49396063223781217.png)

百川大模型:

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194359_0233600.341677569593939.png)

通义智文：

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_3071190.21461790331056374.png)

以下为Gemini整理后的结果：

**论文一: Unsupervised Learning of Video Representations Using LSTMs**

作者: Nitish Srivastava, Elman Mansimov, Ruslan Salakhudinov

发表时间: 2015

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/1502.04681

**核心思想:**

1.提出了一种使用长短期记忆 (LSTM) 网络进行视频无监督学习的方法。

2.该方法可以学习视频中的时间依赖关系，并提取视频的语义表示。

**论文二: Recurrent Environment Simulators**

作者: Silvia Chiappa, Sébastien Racaniere, Daan Wierstra, Shakir Mohamed

发表时间: 2017

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/1704.02254

**核心思想:**

1.提出了一种基于递归神经网络 (RNN) 的环境模拟器模型，该模型可以预测环境在未来几百个时间步内的状态。

1.该模型可以用于强化学习中的规划和探索，以及机器人控制等领域。

**论文三: World Models**

作者: David Ha and Jürgen Schmidhuber

发表时间: 2018

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/1803.10122

核心思想:

1.提出了一种使用生成对抗网络 (GAN) 训练世界模型的方法。

2.世界模型可以用于预测未来的状态，并用于规划和控制。

3.该方法可以有效地学习环境的表示，并在各种任务中取得了良好的效果。

**论文四：Generating Videos with Scene Dynamics**

作者: Carl Vondrick, Hamed Pirsiavash, Antonio Torralba

发表时间: 2016

发表会议: Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/1609.02612

**核心思想:**

1.提出了一种基于生成对抗网络 (GAN) 的视频生成模型，该模型可以生成具有场景动态的视频。

2.该模型可以用于视频编辑、视频合成、视频游戏等领域。

论文贡献:

3.提出了一种基于 GAN 的视频生成模型。

4.证明了该模型可以生成具有场景动态的视频。

**论文五: MoCoGAN: Decomposing Motion and Content for Video Generation**

作者: Sergey Tulyakov, Ming-Yu Liu, Xiaodong Yang, Jan Kautz

发表时间: 2018

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/1707.04993

**核心思想:**

1.提出了一种基于运动和内容分解的视频生成模型 MoCoGAN。

2.该模型可以生成具有逼真运动和内容的视频。

**论文六: Adversarial Video Generation on Complex Datasets**

作者: Aidan Clark, Yaser Sheikh, Dhruv Batra

发表时间: 2019

发表会议: International Conference on Learning Representations (ICLR)

论文来源: https://arxiv.org/abs/1907.06571

**核心思想:**

1.提出了一种基于生成对抗网络 (GAN) 的视频生成模型，该模型可以生成具有复杂场景和动作的视频。

2.该模型可以用于视频编辑、视频合成、视频游戏等领域。

**论文七：Generating Long Videos of Dynamic Scenes**

作者: Tim Brooks, Janne Hellsten, Miika Aittala, Ting-Chun Wang, Timo Aila, Jaakko Lehtinen, Ming-Yu Liu

发表时间: 2022

发表会议: Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2206.03429

**核心思想:**

1.提出了一种能够生成长动态场景视频的生成模型，该模型可以捕捉对象运动、视角变化和新内容生成等要素。

2.该模型可以用于视频编辑、视频合成、虚拟现实等领域。

论文贡献:

3.提出了一种能够生成长动态场景视频的生成模型。

4.该模型是第一个能够生成长、逼真和动态的视频的模型。

**论文八: VideoGPT: Video Generation using VQ-VAE and Transformers**

作者: Wilson Yan, Chenliang Xu, Xiaohua Zhai, Xiaogang Wang

发表时间: 2021

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2104.10157

**核心思想:**

1.提出了一种基于 VQ-VAE 和 Transformer 的视频生成模型 VideoGPT，该模型可以生成具有逼真视觉效果和流畅运动的视频。

2.该模型可以用于视频编辑、视频合成、虚拟现实等领域。

**论文九：Nüwa: Visual Synthesis Pre-training for Neural Visual World Creation**

作者:

·Ruiqi Gao

·Chenyang Lei

·Ming-Yu Liu

·Yaser Sheikh

·Bo Zhang

发表时间: 2022

发表会议: European Conference on Computer Vision (ECCV)

论文来源: https://arxiv.org/abs/2111.12417

**核心思想:**

1.提出了一种通用的视觉合成预训练模型 Nüwa，该模型可以用于各种视觉生成任务，例如文本到图像、文本到视频、视频预测等。

2.Nüwa 使用了一种新的 3D 邻近注意力机制，该机制可以有效地捕捉视频中的时空信息。

**论文十：Imagen Video: High Definition Video Generation with Diffusion Models**

作者:

Jonathan Ho, Chenlin Meng, Chenyi Li, Ting-Chun Wang, Ruiqi Gao, Ming-Yu Liu, David Blei

发表时间: 2023

发表会议: Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2210.02303

**核心思想:**

1.提出了一种基于深度扩散模型的视频生成模型 Imagen Video，该模型可以生成高分辨率、高帧率的视频。

2.Imagen Video 使用了一种新的级联扩散模型架构，该架构可以有效地捕捉视频中的时空信息。

**论文十一: Align Your Latents: High-Resolution Video Synthesis with Latent Diffusion Models**

作者:

Andreas Blattmann,Tero Karras,Miika Aittala,Samuli Laine,Jaakko Lehtinen

发表时间: 2023

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2304.08818

**核心思想:**

1.提出了一种基于隐空间扩散模型的视频生成模型 Align Your Latents，该模型可以生成高分辨率、高帧率的视频。

2.Align Your Latents 使用了一种新的隐空间对齐方法，该方法可以有效地提高视频的质量和一致性。

**论文十二: Photorealistic Video Generation with Diffusion Models**

作者:Kihyuk Sohn,Xiuye Gu,Meera Hahn,Li Fei-Fei,Irfan Essa,José Lezama

发表时间: 2023

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2312.06662

**核心思想:**

1.提出了一种基于Transformer的扩散模型视频生成模型W.A.L.T，该模型可以生成具有逼真视觉效果和流畅运动的视频。

2.W.A.L.T使用了一种新的因果编码器，该编码器可以有效地捕捉视频中的时空信息。

**论文十三: Attention is All You Need**

作者: Vaswani, Ashish, et al.

发表时间: 2017

发表会议: Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/1706.03762

**核心思想:**

1.提出了一种仅使用注意力机制的Transformer模型，该模型可以替代RNN和CNN等传统模型，在机器翻译、文本摘要等自然语言处理任务中取得更好的结果。

2.注意力机制可以使模型更好地捕捉输入序列中的全局依赖关系，从而提高模型的性能。

**论文十四: Language Models are Few-Shot Learners**

作者: Chen, Mike X., et al.

发表时间: 2020

发表会议: Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2005.14165

**核心思想:**

1.提出了一种基于语言模型的少量样本学习方法，该方法可以使语言模型在仅需少量样本的情况下学习新任务。

2.该方法使用了一种新的预训练目标，该目标可以使语言模型学习到通用的知识，从而提高模型在少量样本学习中的性能。

**论文十五: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale**

作者:

Alexey Dosovitskiy,Lucas Beyer,Alexander Kolesnikov,Dirk Weissenborn,Xiaohua Zhai,Thomas Unterthiner,Mostafa Dehghani,Matthias Minderer,Georg Heigold,Sylvain Gelly,Jakob Uszkoreit,Neil Houlsby

发表时间: 2020

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2010.11929

**核心思想:**

1.提出了一种基于Transformer的图像识别模型ViT，该模型可以替代CNN等传统模型，在图像识别任务中取得更好的结果。

2.ViT使用了一种新的自监督学习方法进行预训练，该方法可以使模型学习到通用的视觉表示。

**论文十六: ViViT: A Video Vision Transformer**

作者:

·Anurag Arnab,

·Mostafa Dehghani,

·Georg Heigold,

·Chen Sun,

·Mario Lučić,

·Cordelia Schmid

发表时间: 2021

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2103.15691

**核心思想:**

1.提出了一种基于Transformer的视频识别模型ViViT，该模型可以替代CNN等传统模型，在视频识别任务中取得更好的结果。

2.ViViT使用了一种新的自监督学习方法进行预训练，该方法可以使模型学习到通用的时空视觉表示。

**论文十七: Masked Autoencoders Are Scalable Vision Learners**

作者: He, Kaiming, et al.

发表时间: 2021

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2111.06377

**核心思想:**

1.提出了一种基于掩码自编码器的视觉学习模型MAE，该模型可以替代CNN等传统模型，在图像识别任务中取得更好的结果。

2.MAE使用了一种新的掩码机制，该机制可以使模型学习到更鲁棒的视觉特征。

**论文十八:**  **Patch n'Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution**

作者: Alexander Kolesnikov, et al.

发表时间: 2023

发表会议: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

论文链接: https://arxiv.org/abs/2307.06304

核心思想:

1.提出了一种新的视觉Transformer模型，称为 "NaViT"，可以处理任意纵横比和分辨率的图像。

2.NaViT 使用了一种新的“Patch n'Pack”方法来处理不同大小的图像，该方法可以有效地利用Transformer模型的优势。

3.NaViT 在各种图像分类和目标检测任务中都取得了最先进的成果。

**论文十九: High-Resolution Image Synthesis with Latent Diffusion Models**

作者: Rombach, Robin, et al.

发表时间: 2022

发表会议: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

论文来源: https://arxiv.org/abs/2112.10752

**核心思想:**

1.提出了一种基于隐式扩散模型的图像生成模型LDM，该模型可以生成高分辨率图像。

2.LDM使用了一种新的渐进式扩散过程，该过程可以使模型学习到更丰富的图像细节。

**论文二十: Auto-Encoding Variational Bayes**

作者: Kingma, Diederik P., and Welling, Max

发表时间: 2013

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/1312.6114

**核心思想:**

1.提出了一种基于变分自编码器的贝叶斯推理方法，该方法可以用于学习概率模型的后验分布。

2.该方法使用了一种新的重参数化技巧，该技巧可以使模型更易于训练。

**论文二十一: Deep Unsupervised Learning using Nonequilibrium Thermodynamics**

作者: Sohl-Dickstein, Jascha, et al.

发表时间: 2015

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/1503.03585

**核心思想:**

1.提出了一种基于非平衡统计物理学的深度无监督学习方法，该方法可以用于学习概率模型的后验分布。

2.该方法使用了一种新的马尔可夫链蒙特卡洛 (MCMC) 算法，该算法可以更有效地探索模型的后验分布。

**论文二十二: Denoising Diffusion Probabilistic Models**

作者: Jonathan Ho, Ajay Jain, and Pieter Abbeel

发表时间: 2020

发表会议: Advances in Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2006.11239

**核心思想:**

1.提出了一种基于噪声扩散的概率模型，该模型可以用于生成图像、文本和其他数据。

2.该模型使用了一种新的训练方法，该方法可以使模型学习到更丰富的概率分布。

**论文二十三: Improved Denoising Diffusion Probabilistic Models**

作者: Nichol, Andrew, et al.

发表时间: 2021

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/2102.09672

**核心思想:**

1.在原有的去噪扩散概率模型 (DDPM) 基础上进行改进，提出了一种改进的去噪扩散概率模型 (IDDP)。

2.IDDP 采用了新的噪声注入方式和训练策略，能够生成更高质量的图像和其他数据。

**论文二十四: Diffusion Models Beat GANs on Image Synthesis**

作者: Prafulla Dhariwal, Alexander Rush, Matthew E. Peters, et al.

发表时间: 2021

发表会议: Advances in Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2105.05233

**核心思想:**

1.提出了一种基于扩散模型的图像生成方法，该方法可以生成高质量的图像。

2.该方法使用了一种新的训练策略，该策略可以使模型更有效地学习。

**论文二十五: Elucidating the Design Space of Diffusion-Based Generative Models**

作者: Miika Aittala, Tero Karras, Timo Aila, and Samuli Laine

发表时间: 2022

发表会议: Advances in Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2206.00364

**核心思想:**

1.提出了一种基于扩散模型的图像生成方法，该方法可以生成高质量的图像。

2.该方法对扩散模型的设计空间进行了详细的探索，并提出了一些新的改进方法。

**论文二十六: Generative Pretraining from Pixels**

作者: Mark Chen, et al.

发表时间: 2020

发表会议: International Conference on Learning Representations (ICLR)

论文来源: https://arxiv.org/abs/2001.08233（匹配有误）

经人工搜索，**Generative Pretraining from Pixels 内容如下**

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194351_3070740.15161993869264845.jpeg)

**Abstract：**受到自然语言无监督表示学习进展的启发，我们研究了类似的模型是否可以学习图像的有用表示。我们训练序列转换器来自动回归预测像素，而无需结合 2D 输入结构的知识。尽管在没有标签的低分辨率 ImageNet 上进行了训练，但我们发现 GPT-2 比例模型可以通过线性探测、微调和低数据分类来学习强大的图像表示。在 CIFAR-10 上，我们使用线性探针实现了 96.3% 的准确率，优于有监督的 Wide ResNet，在完全微调的情况下达到了 99.0% 的准确率，与顶级监督预训练模型相匹配。在ImageNet和Web图像的混合上训练的更大模型与ImageNet上的自监督基准测试相比具有竞争力，在我们的特征的线性探针上实现了72.0%的前1精度。

**论文地址：**

https://cdn.openai.com/papers/Generative\_Pretraining\_from\_Pixels\_V2.pdf

**论文二十七: Zero-Shot Text-to-Image Generation**

作者: Ramesh, Aditya, et al.

发表时间: 2021

发表会议: International Conference on Machine Learning (ICML)

论文来源: https://arxiv.org/abs/2102.12092

**核心思想:**

1.提出了一种零样本文本到图像生成方法，该方法可以利用文本描述生成从未见过的图像。

2.该方法使用了一种新的Transformer架构，该架构可以更好地处理文本和图像之间的关系。

**论文二十八: Scaling Autoregressive Models for Content-Rich Text-to-Image Generation**

作者: Ho, Jonathan, et al.

发表时间: 2022

发表会议: Advances in Neural Information Processing Systems (NeurIPS)

论文来源: https://arxiv.org/abs/2206.10789

**核心思想:**

1.提出了一种基于自回归模型的文本到图像生成方法，该方法可以生成高质量的图像。

2.该方法通过扩展模型规模和训练数据量来提高图像的质量和内容丰富程度。

**论文二十九: Improving Image Generation with Better Captions**

作者: Shi, Zhan, et al.

发表时间: 2020

发表会议: Association for Computational Linguistics (ACL)

论文来源: https://arxiv.org/abs/2006.11807（经检索，论文地址有误）

技术报告中注明来源：https://cdn.openai.com/papers/dall-e-3. pdf 2.3 (2023): 8

**论文三十: Hierarchical Text-Conditional Image Generation with CLIP Latents**

作者: Aditya Ramesh, et al.

发表时间: 2022

发表会议: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

论文链接: https://arxiv.org/abs/2204.06125

代码: https://github.com/openai/guided-diffusion

核心思想:

1.提出了一种使用 CLIP 模型的潜在向量来指导图像生成的层次文本条件图像生成方法。

2.该方法可以生成高质量、与文本描述相匹配的图像。

3.该方法可以有效地扩展到高分辨率图像生成。

## **论文三十一：**Sdedit: Guided Image Synthesis and Editing with Stochastic Differential Equations

作者: Chenlin Meng, et al.

发表时间: 2022

发表会议: International Conference on Learning Representations (ICLR)

论文链接: https://arxiv.org/abs/2108.01073

核心思想:

1.提出了一种使用随机微分方程 (SDE) 进行图像生成和编辑的方法，称为 "Sdedit"。

2.该方法可以生成高质量、与用户引导相匹配的图像。

3.该方法可以有效地扩展到高分辨率图像生成和编辑。

总而言之，以上文献涵盖了深度学习、强化学习、生成模型、视频预测、3D 场景表示和渲染等多个领域，为Sora视频生成模型提供了重要的技术基础。

**也许你还想看:**

## [经纬张颖：2023，不只克服困难而是习惯困难](http://mp.weixin.qq.com/s?__biz=MzA3ODk5OTEzOA==&mid=2962161944&idx=1&sn=8952fb968cfd7de3a102287a1aaf960c&chksm=aac19a159db6130369f871ce922fd491fb31597c7a69596b4c7161e0115970019a7a0d7f1281&scene=21#wechat_redirect)

[经纬徐传陞：做VC这么多年，人们总在问我同一个问题](http://mp.weixin.qq.com/s?__biz=MzA3ODk5OTEzOA==&mid=2962166256&idx=1&sn=f6a8e319053e089769ea50b1d12ab1e4&chksm=aac18afd9db603eb2e1fafd46c91abf1be2b0add44833e3e17ce115bf8d946035f467494ec9d&scene=21#wechat_redirect)

## [经纬张颖内部讲话：2024，四大关键决策](http://mp.weixin.qq.com/s?__biz=MzA3ODk5OTEzOA==&mid=2962169980&idx=1&sn=9e55fbfa78a2907e15bea779846f19e4&chksm=aac1bb719db63267c7a0af791105ca4dd95928036c9891dd389c7a34a06b788f60fcc70e012f&scene=21#wechat_redirect)

## [经纬2023年终盘点：Adaptability is the key to thriving](http://mp.weixin.qq.com/s?__biz=MzA3ODk5OTEzOA==&mid=2962171714&idx=1&sn=e2a28bba3d900bcb61b20c14390dd086&chksm=aac1bc4f9db63559a7984b9461ba33674eb43b57e467b7b8a6aa8caac6718a31bf56a562e610&scene=21#wechat_redirect)

![](http://yg9538.kmgy.top/img/2024/02/24/2024-02-24_194401_8779110.27611683854988245.gif)