导语
现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计,而随着人工智能技术不断发展,算法自动学习算法的案例日益增多,如以神经网络为代表的的人工智能算法,这是算法神经化求解的缘由。在算法神经化求解方向上,图神经网络是一个强有力的工具,能够充分利用图结构的特性,实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。
为了探讨图神经网络在算法神经化求解的发展与现实应用,集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳,共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域,包括神经算法推理、组合优化问题求解、几何图神经网络,以及算法神经化求解在 AI for Science 中的应用等方面,希望为参与者提供一个学术交流平台,激发参与者的学术兴趣,进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始,每周三晚 19:00-21:00 举行,持续时间预计8周。欢迎感兴趣的朋友报名参与!
读书会背景
读书会框架介绍
发起人团队介绍
范长俊,国防科技大学系统工程学院副教授,研究方向是人工智能与复杂系统。以第一作者或通讯作者在Nature Machine Intelligence、Nature Communications、AAAI等顶级期刊和会议发表论文多篇。
黄文炳,中国人民大学高瓴人工智能学院助理教授、博导。研究方向包括几何机器学习理论方法、几何机器学习在机器人感知与决策任务上的应用、科学知识嵌入的机器学习等。尤其在图神经网络GNN方面,提出了训练深度图神经网络的方法DropEdge和面向大规模图的图神经网络高效训练方法AS-GCN。
报名参加读书会
本读书会适合参与的对象
-
基于图神经网络与算法神经化求解相关研究,特别是对算法对齐、组合优化、几何图神经网络和AI for Science相关研究中的模型、方法有浓厚兴趣的一线科研工作者; -
能基于读书会所列主题和文献进行深入探讨,可提供适合的文献和主题的朋友; -
能熟练阅读英文文献,并对复杂科学充满激情,对世界的本质充满好奇的探索者; -
想锻炼自己科研能力或者有出国留学计划的高年级本科生及研究生。
本读书会谢绝参与的对象
运行模式
举办时间
参与方式
报名方式
针对学生的退费机制
加入社区后可以获得的资源
-
在线会议室沉浸式讨论:与主讲人即时讨论交流
-
交互式播放器高效回看:快速定位主讲人提到的术语、论文、大纲、讨论等重要时间点
-
高质量的主题微信社群:硕博比例超过80%的成员微信社区,闭门夜谈和交流
-
超多学习资源随手可得:从不同尺度记录主题下的路径、词条、前沿解读、算法、学者等
-
参与社区内容共创任务:读书会笔记、百科词条、公众号文章、论文解读分享等不同难度共创任务,在学习中贡献,在付出中收获。
-
共享追踪主题前沿进展:在群内和公众号分享最新进展,领域论文速递
参与共创任务,共建学术社区
-
读书会笔记:在交互式播放器上记录术语和参考文献
-
集智百科词条:围绕读书会主题中重要且前沿的知识概念梳理成词条。例如:
-
大规模人群模拟:观察集体愚蠢与集体智慧 | 集智百科
-
行为经济学:经济系统的行为主体是否理性?| 集智百科
-
网络可控性:结构可控性与最大匹配 | 集智百科
-
论文解读分享:认领待读列表中的论文,以主题报告的形式在社区分享
-
论文摘要翻译:翻译社区推荐论文中的摘要和图注
-
公众号文章:以翻译整理或者原创生产形式生产公众号文章,以介绍前沿进展。例如:
-
论文翻译
多者异也:破缺的对称性与科学层级结构的本质
诺奖委员会万字评述:为什么复杂系统研究受诺贝尔物理学奖青睐?
从生命起源到流行病:复杂系统中的多尺度涌现现象涌现:21世纪科学的统一主题
从麦克斯韦妖到量子生物学,生命物质中是否潜藏着新物理学?
大脑热力学:利用“湍流”远离平衡态
张江:从图网络到因果推断,复杂系统自动建模五部曲
粗看长尾,细辨幂律:跨世纪的无标度网络研究纷争史
-
科普文章翻译
PS:具体参与方式可以加入读书会后查看对应的共创任务列表,领取任务,与运营负责人沟通详情,上述规则的最终解释权归集智俱乐部所有。
阅读材料
主题一:图神经网络与经典算法对齐
-
Veličković P, Blundell C. Neural algorithmic reasoning[J]. Patterns, 2021, 2(7): 100273.
-
Neural Execution of Graph Algorithms. Yiding Feng, Chelsea Finn, and Stefanie Jegelka. NeurIPS 2019.
-
K. Xu, J. Li, M. Zhang, S. S. Du, K.-I. Kawarabayashi, and S. Jegelka. What can neural networks reason about? In International Conference on Learning Representations, 2020b.
-
Deac A I, Veličković P, Milinkovic O, et al. Neural algorithmic reasoners are implicit planners[J]. Advances in Neural Information Processing Systems, 2021, 34: 15529-15542.
-
Ibarz B, Kurin V, Papamakarios G, et al. A generalist neural algorithmic learner[C]. Learning on Graphs Conference. PMLR, 2022: 2: 1-2: 23.
主题二:图神经网络与组合优化——端到端求解
自回归简介
-
Khalil E, Dai H, Zhang Y, et al. Learning combinatorial optimization algorithms over graphs[J]. Advances in neural information processing systems, 2017, 30.
-
Fan C, Zeng L, Sun Y, et al. Finding key players in complex networks through deep reinforcement learning[J]. Nature machine intelligence, 2020, 2(6): 317-324.
-
Bello I, Pham H, Le Q V, et al. Neural combinatorial optimization with reinforcement learning[J]. arXiv preprint arXiv:1611.09940, 2016.
-
Amos B, Kolter J Z. Optnet: Differentiable optimization as a layer in neural networks[C]//International Conference on Machine Learning. PMLR, 2017: 136-145.
-
Kool W, Van Hoof H, Welling M. Attention, learn to solve routing problems![J]. arXiv preprint arXiv:1803.08475, 2018.
非自回归简介
-
Li Z, Chen Q, Koltun V. Combinatorial optimization with graph convolutional networks and guided tree search[J]. Advances in neural information processing systems, 2018, 31.
-
Fu Z H, Qiu K B, Zha H. Generalize a small pre-trained model to arbitrarily large tsp instances[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(8): 7474- 7482.
-
Nazari M, Oroojlooy A, Snyder L, et al. Reinforcement learning for solving the vehicle routing problem[J]. Advances in neural information processing systems, 2018, 31.
-
Chalumeau F, Coulon I, Cappart Q, et al. Seapearl: A constraint programming solver guided by reinforcement learning[C]//Integration of Constraint Programming, Artificial Intelligence, and Operations Research: 18th International Conference, CPAIOR 2021, Vienna, Austria, July 5–8, 2021, Proceedings 18. Springer International Publishing, 2021: 392-409.
-
Pogančić M V, Paulus A, Musil V, et al. Differentiation of blackbox combinatorial solvers[C]//International Conference on Learning Representations. 2020.
主题三:图神经网络与组合优化——局部改进求解
局部改进精确算法
-
Gasse M, Chételat D, Ferroni N, et al. Exact combinatorial optimization with graph convolutional neural networks[J]. Advances in neural information processing systems, 2019, 32.
-
Khalil E, Le Bodic P, Song L, et al. Learning to branch in mixed integer programming[C]. Proceedings of the AAAI Conference on Artificial Intelligence. 2016, 30(1). 这篇论文将图神经网络应用于决策树的分支选择,从而改进了传统的分支策略,从而解决混合 整数规划(MIP)问题。 -
Chen X Y, Tian Y D. Learning to perform local rewriting for combinatorial optimization. In: Proceedings of the 33rd Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates, Inc., 2019. 6278−6289
局部改进启发式算法
-
Mills K, Ronagh P, Tamblyn I. Finding the ground state of spin Hamiltonians with reinforcement learning[J]. Nature Machine Intelligence, 2020, 2(9): 509-517.
-
Deudon M, Cournut P, Lacoste A, et al. Learning heuristics for the tsp by policy gradient[C]//Integration of Constraint Programming, Artificial Intelligence, and Operations Research: 15th International Conference, CPAIOR 2018, Delft, The Netherlands, June 26–29, 2018, Proceedings 15. Springer International Publishing, 2018: 170-181.
-
Xin L, Song W, Cao Z, et al. NeuroLKH: Combining deep learning model with Lin- Kernighan-Helsgaun heuristic for solving the traveling salesman problem[J]. Advances in Neural Information Processing Systems, 2021, 34: 7472-7483.
主题四:几何图神经网络
不变图神经网络
-
K. T. Schütt, H. E. Sauceda, P.-J. Kindermans, A. Tkatchenko, and K.-R. Müller. SchNet – A deep learning architecture for molecules and materials. J.Chem.Phys 2018.
-
Johannes Gasteiger, Janek Groß, Stephan Günnemann. Directional Message Passing for Molecular Graphs. ICLR 2020.
-
Johannes Gasteiger, Florian Becker, Stephan Günnemann. GemNet: Universal Directional Graph Neural Networks for Molecules. NeurIPS 2021.
等变图神经网络
-
Nathaniel Thomas, Tess Smidt, Steven Kearnes, Lusann Yang, Li Li, Kai Kohlhoff, Patrick Riley. Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds. 2018.
-
Victor Garcia Satorras, Emiel Hoogeboom, Max Welling. E(n) Equivariant Graph Neural Networks. ICML 2021.
-
Johannes Brandstetter, Rob Hesselink, Elise van der Pol, Erik J Bekkers, Max Welling. Geometric and Physical Quantities Improve E(3) Equivariant Message Passing. ICLR 2022.
主题五:图神经网络在科学计算中的应用
-
数学(GNN与偏微分方程,PDE)
-
物理(GNN与spin glasss)
-
化学
-
生物
相关学习路径
公众号文章
图网络入门路径:从网络科学视角出发,上手深度学习前沿技术
图网络——悄然兴起的深度学习新浪潮 | AI&Society第八期回顾(总结文章)
面向组合优化问题的图学习综述