援用超 85000 次的经典论文GAN 获 NeurIPS2024 时分观察奖后，它的发源和背后故事也被抛了出来。

要从Yoshua Bengio 践诺室的一次头脑风暴提及。

Bengio 召集践诺室成员，提议了一个裕如挑战性的设计：

老师一个笃定性的生成蚁合 g，该蚁合仅在输入 z 中包含立地噪声。这个蚁合的输出 x=g ( z ) 应该是从某个散布 p ( x ) 中抽取的样本。输出不错是任何状貌：图像、音频、文本。

梗直世东谈主王人无眉目之时，一个在其时看似滑稽且险些意外旨的观点揭开了 GAN 的序幕：

如果能有另一个神经蚁合充任判别器，会如何？

作家之一 Sherjil Ozair，一边申诉着这段履历，一边还清醒曾有 DeepMind 研究员向他开打趣，说他可能如故完成了最伟大的责任，不错顺利退休了。

但他以为事实并非如斯。

CNN 嗅觉像是终末的发明，但并不是。

GAN 嗅觉像是终末的发明，但也不是。

LSTM、ResNet、DQN、AlphaGo、AlphaZero、MuZero 都并非闭幕。

Transformer 和大言语模子，亦不是终末的发明。

这项出自 Yoshua Bengio、lan Goodfellow 等一众大佬，援用越过 85000 次，被 NeurIPS2024 官方评价为"生成建模的基础部分之一，在昔日 10 年中激励了许多研究推崇"的研究。

究竟是如何真金不怕火成的？

Sherjil Ozair 申诉背后故事

以下是 Sherjil Ozair 的齐全自述：

终点镇定听到 GAN（生成抗击蚁合）在 2024 年 NeurIPS 大会上得回时分观察奖。

NeurIPS 时分观察奖是授予那些在十年时分里选定住熟识的论文。

"我"花了一些时分归来 GAN 是如何产生的以及昔日十年中东谈主工智能的发展。

2012 年头，当"我"照旧印度理工学院德里分校的本科生时，"我"随机发现了 Geoffrey Hinton 在 Coursera 上的一门深度学习课程。

深度学习其时是机器学习中一个角落化且小众的分支界限，它本心能达成更多的"端到端"学习，况兼更接近东谈主类大脑的责任形式。

这门课终点精彩。它不仅很好地评释了深度学习的旨趣，还充满了 Hinton 荒芜的英式幽默和非传统想维。

比如，他建议"咱们"这样可视化高维空间：

要处理 14 维空间中的超平面，联想一个 3 维空间，然后高声对我方说" 14 "，每个东谈主都是这样作念。

但请记着，从 13 维到 14 维的漂流，其增多的复杂性与从 2 维到 3 维的漂流一样大。

出于酷好郁勃地想学习更多学问，"我"开动仔细研究扫数能找到的府上。

其时主如果一些了得研究者发表的学术论文，比如Yoshua Bengio，其中许多都保存在他践诺室的网站上。

2012 年，Quora 终焚烧爆，Yoshua 持续在 Quora 上回答研究深度学习的问题。

"我"至意地感谢他匡助像"我"这样的本科生交融深度学习。"我"通过 Quora 研究他，抒发感恩。

令"我"终点惊喜的是，"我"不仅收到了恢复，还收到了一份他践诺室的实习邀请。

这是一次运谈的再见，而其时的"我"对此次一样和行将伸开的旅程的蹙迫性和影响力还只须少许点松开的刚烈。

"我"由衷性感激 Yoshua Bengio 为这个宇宙和为"我"所作念的一切。

"我"通过了口试得回了实习契机，2014 年夏天，将在 Yoshua 的 LISA 践诺室实习。

本想 2013 年就实习的，但印度理工学院的轨制要肄业生必须在第三学年的暑假在他们招供的公司实习。

2014 年 5 月，"我"飞抵蒙特利尔，来到了践诺室。

刚见到 Yoshua，他就立马把"我"拉进了一个房间，内部坐着的还有 Ian Goodfellow 和 Aaron Courville。

Yoshua 不绝评释着他最近一直在想考的一个新观点：

设计构建一个笃定性的生成蚁合 g，只在输入 z 中包含立地噪声。这个蚁合的输出 x=g ( z ) 应该是来自某个散布 p ( x ) 的样本，不错是任何状貌：图像、音频或文本。

他强调这等于"咱们"需要老师的策画。

但如何老师呢？在这种"隐式"汇集聚，概率 p ( x ) 并莫得明确抒发。

他提议应该对生成器的输出（生因素布）和某个样本数据集（不错是图像、音频等）进行"双样本散布疋配"。

但如何进行这种散布疋配仍然不解确。

算作一个年青纯确实本科生，"我"提议了矩匹配，但"咱们"都知谈矩匹配可能无法支吾高维数据。小组里也讨论了其他观点，也都嗅觉不够有劝服力。

不外，Yoshua 对老师一个笃定性的、奢华噪声并产生样本的生成神经蚁合的愿景和柔和令东谈主印象深入且裕如启发性。

团队决定暗里不绝想考这个问题。

在 Les Trois Brasseurs 餐厅的一次践诺室聚餐中，Ian Goodfellow 片刻预想了一个在其时看似滑稽且险些毫意外旨的主意：

如果让另一个神经蚁合来充任判别器会如何？

这是一个开拓前沿的手艺。

其时，神经蚁合的老师还相等"原始"。等闲作念法是：

拓荒一个主神经蚁合，输入数据，得到一个量度收尾，对其欺诈一个数学亏损函数，然后使用梯度下落来优化这个蚁合。

而 Ian 的想规则把亏损函数自己设计成一个可学习的神经蚁合。不是优化一个固定的数学亏损，而是用另一个"判别器"神经蚁合来提供亏损值和梯度，用于老师"生成器"神经蚁合。

这个观点当然招致质疑。通盘系统会不会崩溃到退化输出？判别器从何而来？处处都是先有鸡照旧先有蛋的逆境。

但 Ian 对此也早有腹案。他提议让判别器和生成器在一个零和博弈中抗击：

生成器试图产生与真实数据"难以辨别"的输出，而判别器则要设法分辨看到的是生成样本照旧真实样本。

也许这能行？第二天，践诺室扫数成员都收到了一封邮件。

在一个充斥着编程和运行践诺的永夜，Ian 告成让第一个生成抗击蚁合运行起来。

这些是在 MNIST 数据集上产生的第一批样本。

其时"我"正在研究雷同的东西，用非神经蚁合判别器进行老师，但收尾远不足预期。

于是"我"决定转而匡助 Ian 研究 GAN。距离 NeurIPS 2014 的提交甘休日历只须一周了。"咱们"决定任重道远，应该能赶上提交一篇论文。

在接下来的几天里，"咱们"诞生了评估关节来与现存的生成模子进行相比，尝试了不同的架构、噪声函数和博弈公式。

Jean、Yoshua 和"我"发现 GAN 博弈是拘谨的，况兼在均衡景况下最小化了 Jensen-Shannon 散度。

"咱们"坚抓了下来，在终末一周完成了扫数责任，并提交了一篇论文到 NeurIPS。

GAN 被经受为海报展示论文（posted presentation）。

"我"铭记固然民众都很郁勃，但也都知谈 GAN 的老师动态终点不相识。大部分合营者开动研究其它模子架构，试图贬责在 GAN 中发现的问题。

GAN 在 12 月份进行了展示，却基本上莫得引起精细。

几个月后，2015 年 8 月，Alec Radford开动发布他一直在研究的卷积 GAN 的样本。

没错，等于阿谁险些参与了 OpenAI 扫数要紧冲破的 Alec Radford。2015 年，他正在研究卷积神经蚁合、批量归一化和 GAN。

"我"无法十足展现 DCGAN 之后 GAN 引发的浩大关注。

但"我"想强调的是，GAN 的演进进程被哀感顽艳地用来璀璨 AI 全体的率先。

这张展示图像生成惊东谈主发展的图片如故落后了，因为当今的图像生成模子如故能生成百万像素级的图像，以致不错生成视频。

至于"我"个东谈主的故事，GAN 算作"我"的第一篇学术论文既是福亦然祸。一位 DeepMind 的研究员曾开打趣说，"我"可能如故不错退休了，因为"我"可能如故完成了我方最伟大的责任。

然则"以为历史如故闭幕"可能是 AI 界限最大的失误。"咱们"老是倾向于以为"等于这个了，这是终末的发明"。但事实从来都不是这样。

CNN 也曾嗅觉像是终末的发明，但并不是。

GAN 也曾嗅觉像是终末的发明，但并不是。

LSTM 也曾嗅觉像是终末的发明，但并不是。

ResNets、DQN、AlphaGo、AlphaZero、MuZero 都不是终末的谜底。

回过火来看，这些观点老是显得很滑稽。然则想想当今，Transformer 和大言语模子被以为是终末的发明。

但它们也不是。

"我"最近离开了前沿 AI 践诺室的圈子，开动创办一家公司来构建一些着实令东谈主传颂的东西。"我"很快会共享更多研究信息。敬请关注。

感谢 NeurIPS Conference 授予 GAN 时分观察奖，也感谢这些抗击者们：Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Aaron Courville、Yoshua Bengio

也为 Seq2Seq 论文作家们示意道贺。

Ian Goodfellow 开麦

Mehdi Mirza 将这段履历共享出来后蛊惑到不少网友围不雅，网友们看直率思盎然：

没预想论文一周就写出来了。

好一段精彩的历史归来！在" Attention is all you need "之前，GAN 才是主流。

GAN 论文一作 Ian Goodfellow 也厚谊开麦：

如果你是阿谁期间的亲历者，值得一读以怀旧；如果你不是，也能通过这些翰墨一窥当年的情形。

对于 GAN 论文的更多细节，不错点击这里稽查：。

参考连络：https://x.com/sherjilozair/status/1864013580624113817

—  完  —

点这里� � 关注我，铭记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿推崇日日相见 ~