Ilya Sutskever的AI必读30篇！

Ilya Sutskever的AI必读30篇！ “如果你真正掌握了这些内容，你将了解当今90%的重要知识。” ——Ilya Sutskever

Ilya Sutskever 的前 30 篇阅读清单

Ilya Sutskever 与 John Carmack 分享了一份包含 30 篇论文的清单，并表示：“如果你真正学会了所有这些，你就会知道当今 90% 的重要内容”。下面我们将回顾这些论文/资源。

复动力学第一定律 作者：

Scott Aaronson 《复动力学第一定律》

一文讨论了 Sean Carroll 在 FQXi 的“Setting Time Aright”会议上提出的一个有趣的问题，该会议汇集了来自各个领域的专家来讨论时间的本质。卡罗尔的问题围绕着为什么物理系统的复杂性似乎随着时间的推移而增加，达到最大值，然后减少，这与不断增加的熵不同。

文章解释说，熵衡量系统的无序程度并单调增加。然而，复杂性的表现有所不同，在下降之前会在中间时间达到峰值。为了深入研究这一现象，作者引入了柯尔莫哥洛夫复杂性的概念。柯尔莫哥洛夫复杂度定义为可以生成给定字符串的最短计算机程序的长度。一个相关的概念“复杂度”衡量字符串的复杂性，作为描述字符串作为典型成员的集合的最短程序。

为了解决卡罗尔的问题，作者提出了“复杂性”的概念，作为考虑计算资源边界的复杂性度量。复杂熵应该反映从一组输出样本的最短有效程序中的位数，使得目标字符串相对于该组显得随机。据推测，复杂性在系统演化的开始和结束时会很小，但在中间时间会很大，反映了观察到的复杂性模式。无论是从理论上还是从经验上证明这一猜想都面临着挑战，特别是由于计算复数熵的困难。建议的一种实用方法是使用 gzip 压缩文件的大小作为 Kolmogorov 复杂度的近似值。

作者提到了一个正在进行的研究项目，旨在使用这种方法来实证验证该猜想。这篇文章还认为复杂性或复杂性会随着时间的推移而变化，并在中间阶段达到峰值。作者建议使用计算资源界限来定义这种度量，并讨论了理论和经验方法来验证复杂性以这种方式表现的猜想。这一探索为理解物理系统复杂性的动态本质提供了宝贵的见解。