Loading...

超越PaLM!北大硕士提出DiVeRSe,全面刷新NLP推理排行榜

智源社区1年前 (2023)发布 智源社区
405 0 0

最近,来自北大和微软的研究人员基于自洽的新方法DiVeRSe,包含三个主要的创新点,进一步提升了模型的推理能力。

超越PaLM!北大硕士提出DiVeRSe,全面刷新NLP推理排行榜

论文链接:https://arxiv.org/abs/2206.02336

代码链接:https://github.com/microsoft/DiVeRSe

第一,受到自洽方式「想法不同,答案相同」的启发,即从语言模型中采样不同的推理路径,DiVeRSe在多样性上更进一步,按照「条条大路通罗马」的理念,使用多个prompt生成答案,能够生成更完整、互补的答案。

第二,在生成推理路径时,语言模型中并不存在一种机制来纠正先前步骤中的错误,可能会导致最终预测结果的混乱。DiVeRSe借鉴verifier的思想,对每个推理路径的正确性进行验证来引导投票机制。也就是说,并非所有的推理机制都是相等重要的或都是好的。

第三,由于答案是基于多个步骤的推理而产生的,当一个路径生成一个正确的答案时,可以认为所有的步骤都对最终的正确性做出了贡献。然而,当生成一个错误的答案时,这并不意味着所有的步骤都是错误的或对错误有贡献。

© 版权声明

相关文章

暂无评论

暂无评论...