Loading...

Lecun报告《目标驱动AI:能学习、记忆、推理、规划、具备常识且可控安全的AI系统研究》

大模型9个月前发布 智源社区
277 0 0

《Objective-Driven AI – 朝着能够学习、记忆、推理、规划、具备常识且可控制以及安全的人工智能系统迈进》

自监督学习(SSL)在理解和生成文本、图像、视频等方面表现很好,但还不足以达到人类智能水平。我们需要机器能学习世界运作的方式,进行推理和规划。

大规模自回归语言模型能很好地生成文本,但仍存在诸多问题,如事实错误、逻辑错误、不一致、有限的推理能力等。大模型无法表示基础的现实,也缺乏常识和规划能力。

大模型是有限的,就像大脑的维尔尼克语言区和布若卡语言区。我们还缺少类似前额叶皮层的高级认知规划模块。

应该转向目标驱动AI系统,它可以学习、推理、规划,同时可控且安全。关键是构建能预测状态的世界模型,以及度量目标完成度的成本函数。

建议舍弃生成模型,采用联合嵌入预测架构。舍弃概率模型,采用基于能量的模型。舍弃强化学习,采用模型预测控制。

联合嵌入预测架构适合学习世界模型。成本函数可实现多步规划、层次规划。解耦世界模型与解码器,可避免LLM的一些问题。

目标驱动AI可使对话系统安全可控,无需额外的RLHF微调。可配置成本模块实现约束,确保输出的事实性、无害性等。

关键挑战是学习世界模型和成本函数。要达到人类水平 AI 还需要解决许多问题,需要花费数年乃至数十年时间。

http://aicoco.net/s/4n 

© 版权声明

相关文章

暂无评论

暂无评论...