思想复制：通过模仿人类思维学习在行动中思考

Thought Cloning: Learning to Think while Acting by Imitating Human Thinking

S Hu, J Clune
[University of British Columbia]

思想复制：通过模仿人类思维学习在行动中思考

要点:

• 动机：提出一种新的模仿学习框架，Thought Cloning，通过模仿人类思考过程来改进强化学习智能体的表现。研究者认为，强化学智能体在泛化能力、探索能力、规划能力、适应新情境的能力等方面远远不及人类，其中一个原因是缺乏语言思考的收益。
• 方法：提出Thought Cloning，不仅克隆人类示范者的行为，还克隆人类在执行这些行为时的思考过程。通过在大规模的包含人类思考过程的数据集上训练，论文验证了Thought Cloning相比行为克隆方法在学习速度和处理新情境能力上的优势。
• 优势：Thought Cloning相较于行为克隆方法具有更快的学习速度，并且在面对新情境任务时具有更大的性能优势。此外，Thought Cloning还对AI安全性和可解释性有重要益处，可以更容易地诊断问题、纠正代理的思考或阻止代理执行不安全的计划。

一句话总结:
提出了一种名为Thought Cloning的模仿学习框架，通过模仿人类思考过程来训练AI智能体，提高其学习速度、泛化能力和处理新情境的能力，同时提供重要的AI安全性和可解释性优势。

https://arxiv.org/abs/2306.00323