Bohrium
robot
新建

空间站广场

论文
Notebooks
比赛
课程
Apps
我的主页
我的Notebooks
我的论文库
我的足迹

我的工作空间

任务
节点
文件
数据集
镜像
项目
数据库
公开
漫谈AI时代的科学计算与物理建模|AI视角下的密度泛函建模与DeePKS
电子结构
AI4S
Deep Learning
电子结构AI4SDeep Learning
Linfeng Zhang
发布于 2023-09-02
推荐镜像 :ABACUS:3.3.2-user-guide
推荐机型 :c2_m4_cpu
赞 22
2
6
漫谈AI时代的科学计算与物理建模|AI视角下的密度泛函建模与DeePKS
整体介绍
从AI的视角来看电子结构问题的切入点
第一个AI切入点:对电子波函数的直接变分求解
第二个AI切入点:基于Hartree-Fock解做修正
Hartree-Fock是怎么一回事
基于Hartree-Fock的量子化学方法(post-HF)简介
DeePHF:比“泰勒展开”式的post-HF更高效的机器学习方法
HF衍生的机器学习方法面临哪些瓶颈问题
第三个AI切入点:结合密度泛函理论
Remark 1:一定得是密度吗?
Remark 2:orbital-free为什么不叫density based?
Remark 3:non-empirical v.s. semi-empirical,是科学还是宗教?
AI视角下的密度泛函建模:模型是什么?怎么学?问题的结构有哪些特别之处?
DeePKS方法的具体实现
手把手上手实践

漫谈AI时代的科学计算与物理建模|AI视角下的密度泛函建模与DeePKS

代码
文本

整体介绍

本文属于漫谈AI时代的科学计算与物理建模系列之一。整个合集尚在完善中。欢迎各种讨论交流。

我们推荐读者将导语一作为前置阅读材料,在其中我们从多尺度建模的角度给出了AI与电子结构问题结合的系统可能性。本文将介绍AI视角下的密度泛函建模问题,并系统介绍Deep Kohn Sham(DeePKS),一个机器学习辅助的密度泛函模型。

不同于传统电子结构问题或者机器学习问题的介绍方法,本文在基本理论方法与上手实践之外,还将试图讲清楚两点:

  1. 从AI结合电子结构问题的视角来看,为什么密度泛函建模是一个供切入的好问题;
  2. 从模型、数据、软件的动态发展视角来看,该怎么看当前的发展和未来的趋势。
代码
文本

本文内容较长。这里总结一些可能的戳点:

  1. 对于熟悉电子结构问题的读者:密度泛函未必是原则上最好的切入点,是合适的理论框架、合适的数值算法与合适的计算基础设施结合,令其在广泛的应用问题上能以相对低门槛的方式发挥作用——这很关键;
  2. 对于熟悉机器学习问题的读者:这不是一个典型的有监督或者无监督机器学习问题,而内嵌了一个不动点问题下定义的模型,相应模型的结构也出现在不少机器学习应用的讨论里,例如,见Deep Implicit Layers 这一Tutorial系列;
  3. 对于广泛关注AI4S的读者:DeepMind名气大,21年有一篇结合AI的密度泛函工作发表在了Science上,后来开源了相应的模型(DM21),但可能还有更多事情要做;
  4. ...
代码
文本

本文目录如下:

  1. 从AI的视角来看电子结构问题的切入点;
  2. AI视角下的密度泛函建模:模型是什么?怎么学?问题的结构有哪些特别之处?
  3. DeePKS方法的具体实现
  4. 手把手上手实践
代码
文本

从AI的视角来看电子结构问题的切入点

代码
文本

为了让讨论更加有效,我们将“电子结构问题”的范围限制在电子-原子体系的基态能量和电子波函数性质的计算求解上。

AI给了我们表示和逼近高维复杂函数的新的可能性。从这个角度来看,多电子薛定谔方程求解简直是绝佳的选题。 但是,一路探索下来,作者还是有不少心路历程希望分享。

我们从导语一中的文字开始:对于大部分日常生活中关心的问题,我们几乎只需要从多电子和多离子薛定谔方程开始就够了: 其中哈密顿量 定义为 这里的 分别是 维欧几里得空间中电子和离子的坐标, 表示核电荷, 表示离子 的质量。 为了简单起见,这里省略了自旋指标,并使用原子单位。

对此,没有比 P. A. M. Dirac 的话更有洞察力的了。他在量子力学诞生之后立即写道

量子力学的一般理论现在几乎已经完成,仍然存在的不完善之处只跟与相对论的精确结合有关。这些不完善之处只在涉及高速粒子时有问题,在考虑原子和分子结构以及普通化学反应时并不重要。在这些情况下,忽略相对论质量与速度的影响,并且只假设各种电子和原子核之间的库仑力,通常就已经足够准确了。

…… 但是,Dirac紧接着也写道:

已知的基本物理定律足以支持大部分物理学和整个化学的数学理论,而困难仅在于这些定律的精确应用会导致过于复杂的方程。因此,有必要发展量子力学的近似实用方法,这些方法在不需要太多计算的情况下,可以解释复杂原子系统的主要特征。

可惜的是,“量子力学的近似实用方法”一直以来就是个老大难的问题。它非常困难,因为涉及希尔伯特空间的高维度、电子-电子和电子-离子相互作用产生的高度纠缠、以及波函数必须在两个相同的电子交换位置时改变其符号的臭名昭著的泡利排斥原理,等等。

但是,直观来想,这不恰恰可能体现AI的优势吗?于是,第一个AI切入点来了!

代码
文本

第一个AI切入点:对电子波函数的直接变分求解

代码
文本

乍一看,我们会发现,给定原子位置,电子基态问题很容易被转化为一个变分优化问题: 换句话说,如果我们有能力很好地将参数化,并根据上式进行蒙特卡洛变分优化,那么我们将有可能得到系统的答案。对AI背景的同学来说,这个式子看起来可能不那么直观,但它在很多地方都与统计机器学习和生成模型有相似处,这个我们留给以后讨论。

本文作者与韩劼群和鄂维南老师在18年初就对这个问题进行了探索,也产生了一定的学术成果。一个有趣的故事是,在当时,本文作者与韩劼群在鄂维南老师的指导下与合作者已经就AI表示势能面这个问题做出了很不错的成果,并接二连三地“攻城略地”,例如发展的开源软件DeePMD-kit已经逐渐被很多人用了起来。但仅当我们看到解决薛定谔方程的一丝丝苗头时,鄂老师便建议我们调转方向,全力以赴地做这个方向。其核心原因是,“薛定谔方程是根本中的根本”。

然而,时隔五年,我们并不认为这个问题上有了本质的突破。事实上,包括后来无论是DeepMind(现为Google DeepMind)做的FermiNet、还是曾在德国柏林自由大学、现为MSR AI4Science Leader的Frank Noe组做的PauliNet,都算不得是本质的突破——有什么根本问题因为这些突破被解决吗?尚没有。有广泛使用的工具被替代吗?尚没有。

代码
文本

究其原因,笼统来说,这里我们需要AI表示的,是一个高维反对称函数,展开来写,这意味着两个电子交换位置时,这个高维的波函数需要变号(为简化符号,此处及以下在避免歧义的前提下会省略):

这让一切变得极为困难。尽管后续整个领域依旧有很多探索,本文作者也与合作者在保正则性质的流模型基础上、及在辅助场空间都做了不少探索,但这些探索远没有走向成熟。

我们不得不找新的切入点。

关于这个问题更深入的讨论,只能交给【这篇还没写的blog】了。先挖个坑,下面是AI视角下的总结。

AI视角下的薛定谔方程直接求解问题

表示多体波函数,并通过变分优化进行训练

  • 优势:无监督、完全基于第一性原理、几乎不需要训练数据
  • 难点:波函数的表示及优化;以及如果这两个问题解决良好的话,可否通过预训练实现真正意义上的Foundation Model。
代码
文本

第二个AI切入点:基于Hartree-Fock解做修正

代码
文本

Hartree-Fock解本身是对进行无奈近似的结果。我们先简要给出其推导(推导有所简化,详细版可见几乎任何量子化学教科书),介绍基于Hartree-Fock的进一步的量子化学方法,然后讨论AI切入点。

代码
文本

Hartree-Fock是怎么一回事

为了形式上方便,我们将上述总哈密顿算符表示为:

这里,表示第i个电子的单体哈密顿算符,表示第i个和第j个电子之间的两体相互作用。

Hartree-Fock近似(HF近似)是一种用于求解多体薛定谔方程的近似方法。基本思想是假设多电子波函数可以表示为单电子波函数的Slater行列式形式:

这里,是第j个电子的单电子波函数,读者可以验证在此形式下满足的交换反对称性质被自动满足。

代码
文本

接下来我们将用变分法求解

首先,我们构造一个能量泛函:

使用Lagrange乘子法,我们需要优化以下泛函:

其中是Lagrange乘子。通过对求导并令导数为零,我们得到了Hartree-Fock方程:

其中分别表示库伦算符和交换算符,分别描述了电子之间的库伦排斥和交换相互作用。它们可以写成:

Hartree-Fock方程是一个自洽场方程组,需要通过迭代求解。通过求解Hartree-Fock方程,我们可以得到系统的近似基态波函数和能量。

代码
文本

AI视角下Hartree-Fock方程与原薛定谔方程的关系

Hartree-Fock近似使得我们将维的电子多体波函数表示和优化问题转化成了个3维的电子轨道的表示和优化问题。

显然,3维电子轨道的表示不再面临维数灾难问题,也就不那么依赖AI了,而可以展开在一组(完备性需要检验的)基组(Basis Set)上。于是,相应的优化问题变成了自洽场方程组下迭代求解基组系数的问题。

由于Slater行列式给出的波函数所在空间要比所有满足交换反对称性质的所在空间小,所以最终得到的变分能量将严格大于或等于体系基态能量。

代码
文本

基于Hartree-Fock的量子化学方法(post-HF)简介

Hartree-Fock(HF)方法作为薛定谔方程的近似求解方法,尚有一系列不足之处,例如电子之间的关联效应(如电子云的变形和极化)在HF近似中被忽略,进而导致了HF方法不能准确描述强关联体系,如平衡键长、电子亲和势和电离势等性质可能会有显著的误差。

Post-HF系列的量子化学方法是在HF方法的基础上发展起来的一系列更高级的电子结构理论方法,也是量子化学发展的主旋律赛道之一。从AI表示高维复杂函数的视角来看,Post-HF方法是在HF解的基础上做“泰勒展开”,大多数不同的Post-HF方法只是在展开方式上不同。例如,Configuration Interaction (CI, 组态相互作用)方法是在线性组合意义下直接做激发展开;Coupled-Cluster(CC,耦合簇)系列方法是在指数上做激发展开;MPn(Møller-Plesset Perturbation Theory of order n)则是从微扰展开的角度出发对HF解进行修正,等等。

从这个视角来看,“泰勒展开”式的修正很大的一个挑战在于,计算复杂度会随着展开阶数的上升而迅速上升。例如,常被称作“量子化学金标准”的CCSD(T)(Coupled Cluster with Single and Double excitations and perturbative Triple excitations)方法,相当于2.5阶展开,其计算复杂度为体系规模的7次方。这大大制约了相应算法对大规模体系的求解能力,详见导读一图一。

AI视角下的post-HF方法

post-HF是在HF解(单体电子轨道及轨道能量)基础上的“泰勒展开”式的修正。尽管这样的修正下很多实际问题需要的精度可以被达到,但计算复杂度也随之快速增长。

如果考虑机器学习方法,我们需要考虑如何建立到我们关心的物理量(例如体系能量)之间的映射关系。在映射关系的构建过程中,还需满足其中的物理约束。

代码
文本

DeePHF:比“泰勒展开”式的post-HF更高效的机器学习方法

基于HF的解如何对我们关心的物理性质进行修正,看起来同样是一个良定义的机器学习问题。围绕这一可能性人们做了很多尝试。这里我们简单直接地先给出DeePHF(Deep post-HF)方法文章中的介绍,如下截图。这里也呼应了关于模型约束的一些讨论。

示例图片

我们将在介绍完密度泛函后进一步深度介绍模型构建过程中需要考虑的问题。

代码
文本

HF衍生的机器学习方法面临哪些瓶颈问题

介绍完上面的一系列内容,我们不禁要问:在这套框架下发展下去的方法有什么问题呢?简单来说,就是光有能量修正对很多应用来说是不够的:

  1. 有了能量只是一个开始,对体系进行演化需要受力信息、对很多性质计算需要电子结构相关的信息(例如电子密度、偶极等),这些信息都不是直接容易获取的;

  2. 对于很多实际应用来说,这样的修正也不是立马能与production-level的框架结合、产生实际效果。

上述两个原因使我们走向了密度泛函的道路,并进一步发展了DeePKS方法。从机器学习角度来看,DeePHF和DeePKS的区别和联系大致如下:

示例图片

我们将通过下文介绍,这条路能更加容易地满足上述两点考虑。

代码
文本

第三个AI切入点:结合密度泛函理论

密度泛函理论的起源是1964年,当时物理学家Pierre Hohenberg和Walter Kohn提出了著名的Hohenberg-Kohn定理,这也成为密度泛函理论(Density Functional Theory, DFT)的基础。Hohenberg-Kohn定理分为两个部分:

  1. Hohenberg-Kohn第一定理(存在定理): 这个定理表明,对于一个多电子体系,其基态的电子密度可以唯一地确定其外势(通常是由原子核产生的静电势)。换句话说,基态的电子密度包含了关于体系能量和波函数的所有信息。 这意味着我们可以通过电子密度来描述多电子体系的性质,而不需要使用复杂的多电子波函数。

  2. Hohenberg-Kohn第二定理(变分定理): 这个定理说明,在满足某些约束条件的前提下,基态能量可以通过电子密度的变分法来求解。 换句话说,对于一个给定的外势,基态能量可以表示为电子密度的泛函,而基态电子密度就是使这个泛函取得最小值的那个密度。

事实上,尽管能量关于密度的依赖形式是不显示知道的,但它可以被一套形式上的原则确定(感兴趣深入的读者可以参考本文),即:

这里,表示所有边缘积分为的电子试探波函数.

看起来剩下的任务不多了,就是确定的具体形式!但这容易吗?简短的答案是:初步的尝试取得了惊人的成功,但终极方案尚未成型——这看起来是一个好选题、是给AI的一个大机会!

代码
文本

AI视角下的密度泛函理论需求

从AI视角来看,我们需要的是一个对于所有电子原子体系的真正意义上的“foundation model”:把那个理论上存在、但具体形式未知的密度泛函依赖形式给出来——如果给出来了,那么给出来一次就够了!这会是一个激动人心的选题!

但是,从实操角度来讲,模型的“表示”和“优化”该从何切入?这个领域的一系列legacy models、legacy models、legacy software又意味着什么?这是一个需要耐心且深入的话题。

顺着这条路该如何探索呢?探索的“奇点”又将合适到来?本文作者希望介绍探索过程中的一些奇思妙想和神奇偶遇,来说明一起未必那么的显然。

代码
文本

Remark 1:一定得是密度吗?

在带着“AI有可能带来新可能性”的视角探索DFT的过程中,我们发现有很多formulation并非显然。例如这里讨论的便是一个新的可能性——这个可能性曾让本文作者无比激动,但最终发现只不过是让人更深刻地认识到了这个问题的难点。

这个可能性的起点在于注意到的表示是个问题的核心原因是从压缩的太狠了。其实我们可以考虑多层次的密度或者密度矩阵表示:

1-body density , 2-body density , -body density , 1-body reduced density matrix (1-RDM) , 2-RDM , -RDM ,

代码
文本

有了这么多层次,我们自然同样可以考虑Hohenberg-Kohn的两个定理——既然它们对密度成立,也自然对比密度信息更丰富的高阶密度或者密度矩阵成立,形式上来讲如下:

或者

进一步,我们会惊喜地发现,对于开始便会有显式的依赖关系: 注意这里都可以通过的边缘积分给出。

如果是这样,岂不形式未知这个老大难的问题便解决了?

想到这里,本文作者甚至以为是因为作为一个12维函数,前人不太擅长处理,所以这是一个未被尝试过的可能性——毕竟,这些讨论甚至很少见于一般教科书。

代码
文本

就在本文作者准备系统实现这一想法的几天时间里,一些“前人一定想过这个问题”的想法最终导致了如下搜索结果。

示例图片

有趣的是,就在1963年的这篇RMP文章里,本文作者读到了这样的一段:

代码
文本
示例图片

这里便是我们所用到的,而(8.2)便是我们所写的

能读完的读者想必也看出了问题在哪——在所谓“-representability”!正如我们可选择的电子波函数不是所有3维空间任意性态良好的函数、而得是满足交换反对称的函数;可供我们选择的得是在能被合法的边缘积分得到的函数空间!这是所谓“-representability”的问题。

显然,这个问题让AJ Coleman这位前辈从1951年意识到、到1963年的第一篇文章、再直到1989年的系列文章第三篇,可以说是研究了半辈子。甚至,直到2012年PRL还有相关工作作为这一问题的“终结”——这不经令人唏嘘,也令本文作者很荣幸地共享到了与这位前辈一样的"naive and un-examined faith in Ritz and Rayleigh shaken, and interested aroused"。

代码
文本

AI视角下的2-RDM

尽管对于2-RDM来说,我们显式地知道泛函依赖形式、用AI表示2-RDM看起来也很有戏,但是问题的难点藏在了representability里——不是所有能直接表示的都是物理上可取的,搞错了会得到很不物理的结果。这个问题让一位长者研究了几十年,不能说AI视角下一定没有新突破点、但挑战很大。

代码
文本

Remark 2:orbital-free为什么不叫density based?

讨论这个问题是因为,这个问题从AI视角来看也未见得是显然的。

导语一中,我们已经知道,Kohn-Sham(KS)密度泛函理论(DFT)在过去几十年中占据主导地位,下面的介绍方式也是大家看教科书时最为“正统”的。在KS-DFT框架下,静态外部势中相互作用电子的棘手多体问题被简化为在有效势中的非相互作用电子的可处理问题。有效势包括外部势和电子之间的库仑相互作用的影响,例如Hartree、交换关联相互作用。KS-DFT最小化总能量泛函 这对应以下非线性特征值问题的解

其中表示单粒子或非相互作用的动能, 表示电子与核之间的相互作用, 称为Hartree-交换-相关能, 是Hartree-交换关联势。 KS哈密顿量定义为

特征值是实数,并按非递减顺序排列,因此对应于最低的个特征值的特征函数。由于的依赖性,KS方程需要在收敛之前进行自洽求解。在KS-DFT中,建模交换-关联能的泛函依赖关系成为关键难题,因为其精确形式未知,需要进行近似。

代码
文本

尽管上文是“正统说法”,但不知道学DFT的同学们有多少与作者产生过同样的想法: 为什么明明叫“Density functional theory”,满眼却都是“(Kohn-Sham) Orbitals”? 甚至,真正是“density-based”的DFT,却被叫做“orbital-free” DFT(OFDFT)。OFDFT真有那么卑微吗?

代码
文本

【TODO】科普OFDFT的难点和KSDFT的好处,畅想AI视角下的新可能性。

代码
文本

Remark 3:non-empirical v.s. semi-empirical,是科学还是宗教?

【TODO】介绍“物理学家的哲学”,Jacob‘s Ladder,SCAN;

【TODO】介绍Thirty years of density functional theory in computational chemistry: an overview and extensive assessment of 200 density functionals

【TODO】AI视角下看这个问题——要学、要尽量保证的东西,放模型里、还是数据里、还是Loss function里,的问题。

代码
文本

AI视角下的密度泛函建模:模型是什么?怎么学?问题的结构有哪些特别之处?

代码
文本

DeePKS方法的具体实现

代码
文本

手把手上手实践

代码
文本
电子结构
AI4S
Deep Learning
电子结构AI4SDeep Learning
已赞22
本文被以下合集收录
2023机器学习及其在化学中的应用
昌珺涵
更新于 2024-09-12
22 篇158 人关注
漫谈AI时代的科学计算与物理建模
Linfeng Zhang
更新于 2024-07-17
4 篇20 人关注
推荐阅读
公开
漫谈AI时代的科学计算与物理建模|导语一:where did we stand
AI4S
AI4S
Linfeng Zhang
更新于 2024-08-04
16 赞4 转存文件
公开
AI辅助的材料建模&DeepModeling工具上手合集:从多尺度到预训练
AI4SDeepModelingDPA
AI4SDeepModelingDPA
Linfeng Zhang
发布于 2023-10-10
4 赞1 转存文件
评论
 接下来我们将用变分法求解$\Phi(\m...

jie

04-14 04:24
这里交换算符应该是笔误?分子或许是\phi_j^{*}(\mathbf{r}_j)\hat{v}_{ij}\phi_i(\mathbf{r}_i)?

Linfeng Zhang

作者
05-04 10:19
嗯嗯
评论
 <div class="alert al...

Yifan Li

10-23 13:04
这个领域的一系列legacy models、legacy models、legacy software又意味着什么? 其中有一个legacy models是不是打错了

Yifan Li

10-23 13:04
探索的“奇点”又将合适到来? “合适”-->何时?

Yifan Li

10-23 13:05
“一起”-->“一切”?
评论