文献案例｜支持向量机（SVM）材料科学实践

1 教学案例｜可视化演示、核函数、模型实现、参数优化

1.1 线性支持向量机分类在低维空间中的可视化演示

使用生物炭数据集 [2]，数据集详情请见 3.2 小节。该数据集已经过处理以满足教学需要。

1.1.1 导入数据集，预处理并可视化

固体生物炭材料中的重金属吸附效率 SEoHM 根据以下方程计算：

$$a=\frac{(c_i-c)\times V}{m}$$

其中 $c_i$ 是金属的初始浓度（$mg/L$），$c$ 是金属的平衡浓度（$mg/L$），$V$ 是溶液体积（$L$），$m$ 是固体材料质量（$g$）。

在这里，我们认为当 SEoHM > 0.12 ($\approx 60\%$数据)时，吸附效果合格。

1.1.2 画决策边界

使用 matplotlib.axes.Axes.coutour([X, Y], Z, [levels], **kwargs) 函数绘制决策边界。

contour 函数是我们专门用来绘制等高线的函数。等高线，本质上是在二维图像上表现三维图像的一种形式，其中两维 X 和 Y 是两条坐标轴上的取值，而Z表示高度。Contour 就是将由 X 和 y 构成平面上的所有点中，高度一致的点连接成线段的函数，在同一条等高线上的点一定具有相同的 Z 值。我们可以利用这个性质来绘制我们的決策边界。

要明白绘制决策边界的意义，首先要理解 contour 函数：

使用 np.meshgrid 函数建立 coutour 函数所需的网格

我们的决策边界是 $$\vec{\omega }\times \vec{x}+b=0$$

在决策边界的两边找出两个超平面，使得超平面到决策边界的相对距离为1。我们只需要在我们的样本构成的平面上，把所有到决策边界的距离为 0 的点相连，就是我们的决策边界，而把所有到决策边界的相对距离为 1 的点相连，就是我们的两个平行于决策边界的支持向量了。此时，我们的 Z 就是平面上的任意点到达决策边界的距离。

从这个图里可以简单判断，环境金属含量 Co 与灰分百分比 A 都与吸附效率呈正相关，且环境金属含量 Co 起显著的主要影响。

1.1.3 维度变换

当我们使用不同的特征来查看数据：

让我们再试一下刚才绘制线性决策边界的方式，看看是否能够再划分数据。

明显，现在线性 SVM 已经不适合于我们的状况了，我们无法找出一条直线来划分我们的数据集，让直线的两边分别是两种类别。

这个时候，如果我们能够在原本的 X 和 y 的基础上，添加一个维度 h，变成三维，我们可视化这个数据，来看看添加维度让我们的数据如何变化。

此时我们的数据在三维空间中，我们的超平面就是一个二维平面。明显我们可以用一个平面将两个数据集分开，这个平面就是我们的超平面。 我们刚才计算 h，并将 h 作为数据的第三维度来将数据升维的过程，被称为"核变换”，即是将数据投影到高维空间中，以寻找能够将数据完美分割的超平面。为了详细解释这个过程，我们需要引入 SVM 中的核心概念：核函数。

1.2 核函数

"核技巧"(Kernel Trick)，是一种能够使用数据原始空间中的向量计算来表示升维后的空间中的点积结果的数学方式。具体表现为 $$K(\mu ,\nu )=\Phi (\mu )\Phi (\nu )$$ 而这个原始空间中的点积函数 $K(\mu ,\nu )$，就被叫做'核函数"(Kernel Function)。

核函数的意义：

1. 有了核函数之后，我们无需去担心 $\Phi$ 究竟应该是什么样，因为非线性 SVM 中的核核函数都是正定核函数 (positive definite kernel functions)，他们都满足美世定律(Mercer's theorem)，确保了高维空问中任意两个向量 的点积一定可以被低维空问中的这两个向量的某种计算来表示（多数时候是点积的某种变换）。
2. 使用核函数计算低维度中的向量关系可大大简化计算
3. 计算是在原始空间中进行，所以避免了维度灾难的问题

参数 kernel 在 sklearn 中的几个选项：

1.2.1 查看不同核函数的区别

同样的，我们使用上一小节中的等高线画法，来绘制一个不同核函数的分类效果。

• 可以观察到，线性核函数和多项式核函数在非线性数据上表现会浮动，如果数据相对线性可分，则表现不错，如果是像环形数据那样彻底不可分的，则表现糟糕。在线性数据集上，线性核函数和多项式核函数即便有扰动项也可以表现不错，可见多项式核函数是虽然也可以处理非线性情况，但更偏向于线性的功能。

• sigmoid核函数就比较尴尬了，它在非线性数据上强于两个线性核函数，但效果明显不如 rbt，它在线性数据上完全比不上线性的核函数们，对扰动项的抵抗也比较弱，所以它功能比较弱小，很少被用到。

• rbf，高斯径向基核函数基本在任何数据集上都表现不错，属于比较万能的核函数。无论如何先试试看高斯径向基核函数，它适用于核转换到很高的空间的情况，在各种情况下往往效果都很不错，如果 rbf 效果不好，那我们再试试看其他的核函数。另外，多项式核函数多被用于图像处理之中。

1.3 模型实现｜SVM 预测高熵合金相态（分类）

本案例与「第 2 节」中实践案例相同，经过简化供教学示范使用。

1.3.1 案例背景

高熵合金（HEAs）是一类独特的多主元素合金（MPEAs），可以作为单相固溶体结晶。自 2004 年被提出以来，HEAs 引起了广泛的关注，不仅因为其优越的性能，还因为它为合金设计开辟了一个广阔的新领域。到目前为止，MPEAs 的组成空间中极小的部分已经通过试错方法进行了研究，周期表中有 80 多种金属元素，有效识别 MPEAs 的相位并找到所有可能的 HEA 组成是一个巨大的挑战。目前，研究人员使用高配位熵、混合焓、原子尺寸差等参数来识别HEAs，但这些参数并不稳健。热力学计算方法（如CALPHAD）和第一性原理计算在计算相稳定性方面更有效，但受限于计算成本和数据范围。机器学习（ML）在从现有数据中提取隐含关系方面表现出优势。支持向量机（SVM）是另一种著名的 ML 算法，它需要较少的训练样本，并具有许多内在优点，包括良好的理论基础、凸性、优秀的泛化能力和高计算速度。因此，这项研究采用了机器学习方法，构建了一个支持向量机（SVM）模型，将该模型应用于 16 个元素的组成空间，预测了多种高熵合金的相态。[2.2]

1.3.2 数据集介绍

在这里，我们选择参考文献 [2.3] 中的数据集，该数据集收集了 408 个经实验合成的 MPEA 样品，包含 648 个微观结构表征。我们只考虑最常见的铸态样品，以排除加工条件和热力学处理的影响。排除含有稀土元素或轻元素（除 Al 外）的样品以及相不确定的样品，以降低复杂性。不考虑密堆积六方 HEA，因为它们通常包含稀土元素。

然后，我们得到了一个包含 322 个不同铸态 MPEA 样品的数据集，其中包含 3-9 个组分元素。其中，有 18 个样品具有单个 BCC 相，43 个样品具有单个 FCC 相。其余的 261 个样品具有多相、金属间化合物或非晶相，用“NSP”标记，表示“不形成单相固溶体”。三元到九元 MPEA 的百分比以及 BCC、FCC 和 NSP 相的比例如图 (a) 所示。大多数样品由五个或六个元素组成，而单相 HEA 仅占很小一部分。数据集中有 18 个元素（Al、Ti、V、Cr、Mn、Fe、Co、Ni、Cu、Y、Zr、Nb、Mo、Ag、Hf、Ta、W 和 Au），它们的出现次数如图 (b) 所示。我们发现 Fe、Ni、Cr、Co 和 Al 在 200 个以上的样品中出现，而 Hf、Ag 和 Au 仅出现一次。

特征构建｜MPEAs的热力学参数被用作候选特征，可以通过以下方程计算：

$$\begin{array}{c}\begin{array}{c}{S}_C=-R\sum _{i=1}^N{c}_i\ln c_i\\ \Delta H=4\sum _{i=1,i\ne j}^N\Delta H_{ij}^{\mathrm{liq}}{c}_i{c}_j\\ T_m=\sum _{i=1}^N{c}_i{T}_{mi}\\ VEC=\sum _{i=1}^N{c}_{i}VE{C}_i\\ r_d=\sqrt{\sum _{i=1}^N{c}_i{\left(1-r_i/\sum _{j=1}^N{c}_j{r}_j\right)}^2}\\ {\chi }_d=\sqrt{\sum _{i=1}^N{c}_i{\left({\chi }_i-\sum _{j=1}^N{c}_j{\chi }_j\right)}^2}\end{array}\end{array}$$

其中，$c_i$、$r_i$、$T_{mi}$、$VE{C}_i$ 和 ${\chi }_i$ 分别表示第 i 个元素的摩尔分数、原子半径、熔点、价电子浓度和 Pauling 电负性。N 是组成元素的数量，R 是气体常数。$H_{ij}^{liq}$ 是二元液态合金的混合焓，来源于 Miedema's 理论 [3]。

最稳定的二元化合物的形成焓 $H_{IM}$ 可以从参考文献 [4] 中得出，也被认为是候选特征。

1.3.3 代码实现

可以看到多项式核占用了大部分的计算时间，但是为什么 rbf 核效果还略差呢？

其实，这里真正的问题是数据的量纲问题。回忆一下我们如何求解决策边界，如何判断点是否在决策边界的一边？是靠计算-距离”，虽然我们不能说SVM是完全的距离类模型，但是它严重受到数据量纲的影响。让我们来探索一下数据集的量纲：

1. 从上表各特征的平均值(mean 列) 可以看出量纲不统一;
2. 从最小值、最大值分别与1%数据，99%数据比较看出无明显偏布；（为什么要在标准化前查看数据有无偏布？）

因此我们对训练集进行标准化处理后重新建立模型;

量纲统一之后，可以观察到，所有核函数的运算时间都大大地减少了，尤其是对于线性核和多项式核来说。其次，rbf 表现出了非常优秀的结果。经过我们的探索，我们可以得到的结论是：

1. 线性核，尤其是多项式核函数在高次项时计算非常缓慢
2. rbf 不擅长处理量纲不统一的数据集

幸运的是，这两个缺点都可以由数据无量纲化来解决。因此，SVM 执行之前，非常推荐先进行数据的无量纲化！ 到了这一步，我们是否已经完成建模了呢？虽然 rbf 效果已经很好了，但还没有胜过两个两个线性核，但是不要忘了它还有很多核函数相关参数可以调整，接下来我们就来看看这些参数。

1.4 参数优化

在知道如何选取核函数后，我们还要观察一下除了 kernel 之外的核函数相关的参数。对于线性核函数，“kernel"是唯一能够影响它的参数，但是对于其他三种非线性核函数，他们还受到参数 gamma，degree 以及 coef0 的影响。 让我们再看一下各类核函数的表达式：

参数 gamma 就是表达式中的 γ，degree 就是多项式核函数的次数 d，参数 coef0 就是常数项 r。其中，高斯径向基核函数受到 gamma 的影响，而多项式核函数受到全部三个参数的影响。

1.4.1 rbf 核｜搜索最佳的 gamma 值

1.4.2 多项式核｜使用网格搜索

由于多项式核函数涉及的参数更多，我们使用 sklearn 的网格搜索功能，对 degree, gamma, coef0 三个参数进行穷尽搜索。

由于 degree 加入后参数搜索较慢，我们先设置 degree = 1，对 gamma, coef0 两个参数进行穷尽搜索。

练习｜下面，我们加入 degree 参数，对 degree, gamma, coef0 三个参数进行搜索，欢迎读者根据上述示例自行完成代码，进行课后练习。

1.5 小结

到了这里，我们就得到了一个表现较好的 SVM 模型。

SVM 的优势在于其具有强大的学习能力的同时也具有较快的计算速度。但是面对特征量较多，较为“臃肿”的数据，由于其核函数需要升维处理，这会极大的影响其计算速度，甚至导致其不收敛（得不出训练结果），这种情况下只能使用不带核函数的支持向量机，但这会使 SVM 的效果大打折扣。因此对于 SVM 在材料中的应用时应优先考虑其数据集中特征数 n 与样本数 m 的比例，一般有以下选用原则：

1. 如果相较于 𝑚 而言，𝑛 要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。
2. 如果 𝑛 较小，而且 𝑚 大小中等，例如 𝑛 在 1-1000 之间，而 𝑚 在 10-10000 之间，使用高斯核函数的支持向量机。
3. 如果 𝑛 较小，而 𝑚 较大，例如 𝑛 在 1-1000 之间，而 𝑚 大于50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。

• SVM 的优点：

  • SVM是一个凸优化问题，求得的解一定是全局最优。
  • 不仅适用于线性线性问题还适用于非线性问题。
  • 拥有高维样本空间的数据也能用SVM，这是因为数据集的复杂度只取决于支持向量而不是数据集的维度，这在某种意义上避免了“维数灾难”。
  • 理论基础比较完善(例如神经网络就更像一个黑盒子)。

• SVM 的缺点：

  • 涉及m阶矩阵的计算(m为样本的个数), 因此SVM不适用于超大数据集。
  • 只适用于二分类问题（多分类问题需要使用相应策略，如ovo和ovr）。

2 实践案例｜SVM 预测高熵合金相态（分类）

2.1 案例背景

高熵合金（HEAs）是一类独特的多主元素合金（MPEAs），可以作为单相固溶体结晶。自 2004 年被提出以来，HEAs 引起了广泛的关注，不仅因为其优越的性能，还因为它为合金设计开辟了一个广阔的新领域。到目前为止，MPEAs 的组成空间中极小的部分已经通过试错方法进行了研究，周期表中有 80 多种金属元素，有效识别 MPEAs 的相位并找到所有可能的 HEA 组成是一个巨大的挑战。目前，研究人员使用高配位熵、混合焓、原子尺寸差等参数来识别HEAs，但这些参数并不稳健。热力学计算方法（如CALPHAD）和第一性原理计算在计算相稳定性方面更有效，但受限于计算成本和数据范围。机器学习（ML）在从现有数据中提取隐含关系方面表现出优势。支持向量机（SVM）是另一种著名的 ML 算法，它需要较少的训练样本，并具有许多内在优点，包括良好的理论基础、凸性、优秀的泛化能力和高计算速度。因此，这项研究采用了机器学习方法，构建了一个支持向量机（SVM）模型，将该模型应用于 16 个元素的组成空间，预测了多种高熵合金的相态。[2.2]

2.2 数据集介绍

在这里，我们选择参考文献 [2.3] 中的数据集，该数据集收集了 408 个经实验合成的 MPEA 样品，包含 648 个微观结构表征。我们只考虑最常见的铸态样品，以排除加工条件和热力学处理的影响。排除含有稀土元素或轻元素（除 Al 外）的样品以及相不确定的样品，以降低复杂性。不考虑密堆积六方 HEA，因为它们通常包含稀土元素。

然后，我们得到了一个包含 322 个不同铸态 MPEA 样品的数据集，其中包含 3-9 个组分元素。其中，有 18 个样品具有单个 BCC 相，43 个样品具有单个 FCC 相。其余的 261 个样品具有多相、金属间化合物或非晶相，用“NSP”标记，表示“不形成单相固溶体”。三元到九元 MPEA 的百分比以及 BCC、FCC 和 NSP 相的比例如图 (a) 所示。大多数样品由五个或六个元素组成，而单相 HEA 仅占很小一部分。数据集中有 18 个元素（Al、Ti、V、Cr、Mn、Fe、Co、Ni、Cu、Y、Zr、Nb、Mo、Ag、Hf、Ta、W 和 Au），它们的出现次数如图 (b) 所示。我们发现 Fe、Ni、Cr、Co 和 Al 在 200 个以上的样品中出现，而 Hf、Ag 和 Au 仅出现一次。

特征构建｜MPEAs的热力学参数被用作候选特征，可以通过以下方程计算：

$$\begin{array}{c}\begin{array}{c}{S}_C=-R\sum _{i=1}^N{c}_i\ln c_i\\ \Delta H=4\sum _{i=1,i\ne j}^N\Delta H_{ij}^{\mathrm{liq}}{c}_i{c}_j\\ T_m=\sum _{i=1}^N{c}_i{T}_{mi}\\ VEC=\sum _{i=1}^N{c}_{i}VE{C}_i\\ r_d=\sqrt{\sum _{i=1}^N{c}_i{\left(1-r_i/\sum _{j=1}^N{c}_j{r}_j\right)}^2}\\ {\chi }_d=\sqrt{\sum _{i=1}^N{c}_i{\left({\chi }_i-\sum _{j=1}^N{c}_j{\chi }_j\right)}^2}\end{array}\end{array}$$

其中，$c_i$、$r_i$、$T_{mi}$、$VE{C}_i$ 和 ${\chi }_i$ 分别表示第 i 个元素的摩尔分数、原子半径、熔点、价电子浓度和 Pauling 电负性。N 是组成元素的数量，R 是气体常数。$H_{ij}^{liq}$ 是二元液态合金的混合焓，来源于 Miedema's 理论 [3]。

最稳定的二元化合物的形成焓 $H_{IM}$ 可以从参考文献 [4] 中得出，也被认为是候选特征。所有样品的特征都经过归一化处理：

$$P_i^{norm}=(P_i-P_{min})/(P_{max}-P_{min})$$

2.3 数据预处理

导入数据集

让我们挑选两个特征，在低维空间中可视化查看数据的分布情况。在这里，我们绘制了 $r_d-versus-\Delta H$ 和 $T_m-versus-VEC$ 两个向量空间

在 $r_d-versus-\Delta H$ 空间中，我们发现样本高度重叠且相位无法区分。在 $T_m-versus-VEC$ 空间中，VEC 似乎可以很好地区分 BCC 和 FCC 样本，但仍无法区分单相样本和 NSP 样本。

2.4 模型参数

支持向量机（SVM）模型是使用 Scikit-Learn 库构建的。径向基函数（Radial basis function，RBF）

$$k(x_i,x_j)=e^{-G|x_i-x_j{|}^2}$$

被用作核函数，其中 $x_i(x_j)$ 表示第 $i$ 个（第 $j$ 个）样本的特征，$G$ 是核系数。模型训练采用了惩罚参数 $C$。通过使用核函数，输入数据可以映射到高维甚至无限维空间，然后构造和优化超平面和支持向量以区分不同类别。一对一方法用于多分类问题（SVC 函数中默认该方法处理多分类问题）[6]。所采用的数据集包含322个经过铸造的高熵合金样本，其中 90% 用于训练，剩下的 10% 用于测试。采用 10 折交叉验证来评估 SVM 模型的性能：将训练集随机分成10个不相交的子集，依次将其中九个用于训练，剩下的一个用于验证。因此，训练（交叉验证）准确率被定义为10个训练（交叉验证）准确率的平均值。通过网格搜索方法优化 G 和 C ：取G和C的值为$2^i$和$2^j$ ($-4\le i\le 7$ 和 $0\le j\le 11$)，并选择实现最高验证准确率的 $i$ 和 $j$ 对。

网格搜索的热力学图可视化

2.5 特征工程

接下来，我们使用上述样本和候选特征构建了一个 SVM 模型，并进行了前向特征搜索过程。

特征集从一个空集开始，然后，候选特征一个接一个地放入特征集。当包含一个特征时，具有 $VEC$ 的 SVM 模型达到最高的 CV 精度，配置熵 $S_C$的 CV 精度最低。在寻找第二个特征时，其余特征依次与 VEC 组合，特征子集 {VEC,rd} 达到最高精度。类似地，剩余特征被依次选出。当包含更多特征时，由于过拟合，验证精度会降低。

最后，特征子集 $\{VEC,r_d,T_m,\Delta H,S_C\}$达到全局最高的 CV 精度。

更换不同的随机数种子，进行 10 次前向特征选择，将每次选择的特征进行加权处理，最终计算每个特征权重，并依据权重排序。