决策树与可解释性｜决策树（Decision Tree）在材料学中的应用

1. 决策数简介

引言：

决策树（$DecisionTree$）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。它们从根节点开始，通过分裂属性将数据分割成较小的子集，直至叶节点，每个叶节点代表一个预测结果。

决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。

决策树的特点：

决策树的优点包括模型的直观性和可解释性。然而，它们也容易过拟合，即模型在训练数据上表现很好但在新数据上表现差。为了防止过拟合，可以采用剪枝技术。

在回归问题中，决策树能够预测连续值。在材料科学中，决策树可以用于发现新材料的潜在属性或预测材料性能。

Python的sklearn库提供了决策树算法的实现，支持分类（DecisionTreeClassifier）和回归（DecisionTreeRegressor）问题。

本教程AIMS：

本教程将使用一个材料科学中的数据，用决策树算法对材料进行分类并总结分类规则。

• 掌握如何使用 sklearn 建立决策树模型，理解参数、属性、接口
  • 分类树重要属性和参数｜建立一棵树
  • 回归树剪枝与可视化
• 通过绘制决策树图

Reference:

1. Suwarno, S.; Dicky, G.; Suyuthi, A.; Effendi, M.; Witantyo, W.; Noerochim, L.; Ismail, M. Machine Learning Analysis of Alloying Element Effects on Hydrogen Storage Properties of AB2 Metal Hydrides. Int. J. Hydrogen Energy 2022, 47 (23), 11938–11947. https://doi.org/10.1016/j.ijhydene.2022.01.210.

案例背景

向清洁和可持续能源的过渡以克服对日益稀缺的化石燃料的依赖，是可持续发展的基础。氢能是一种很有前途的能源载体，可以燃料电池的形式转化为电能。氢的能量密度约为 $142MJ/kg$，大大高于标准化石燃料（$47MJ/kg$），同时在燃烧过程中只产生水蒸气作为副产品，清洁无污染。然而，需要储氢设备来向燃料电池供应氢，这限制了氢能的应用。轻型燃料电池汽车需要大约 $4kg$ 的氢气才能行驶 $400$ 公里。但在环境温度和大气压下，$1kg$ 气体形式的氢气将占据 $11m^3$ 的体积。因此，目前正进行许多研究以实现高容量储氢。

常用的储氢方法有高压气瓶储氢、低温液态储氢和固体材料储氢。高压气瓶储氢具有最高的储氢容量，但需要在非常高的压力（$800bar$）下可用，这带来了安全问题，低温液态储氢同样不适合在室温下使用。相比之下，储氢合金可吸收氢气形成金属氢化物，其在晶格间隙位置上吸收的氢能够在室温和大气压下储存，同时又兼具有较高的储氢容量，因而成为有前途的储氢方式。

金属氢化物可分为离子氢化物、共价氢化物和金属间氢化物。金属间氢化物被认为是其中最有前途的储氢材料。金属间氢化物被表征为五个金属氢化物家族，即 $A、A2B、AB、AB2$ 和 $AB5$。在这些家族中，$AB2$ 金属氢化物显示出突出的储氢和电池应用的潜力。其中元素 $A$ 可由第 $4$ 族元素（$Ti$、$Zr$ 和 $Hf$）或镧系元素（$La、Ce$ 和 $Pr$）形成，而 $B$ 可由过渡和非过渡金属形成，如 $V、Cr、Mn$ 和 $Fe$。$AB2$ 合金结晶为立方 $C14$ 或六方 $C15$ 结构的 $Laves$ 相晶体。这取决于合金成分，特别是元素的外部电子密度和原子尺寸。立方相因具有更高的晶格空隙率，一般具有更高的储氢容量。

在这里，我们收集并整理了 1998 年至 2019 年发表的储氢合金储氢容量研究的数据。建立了 $ML$ 模型，将 $AB2$ 合金的化学组成与储氢性质联系起来，即生成热（$DeltaH$）、立方相丰度 （$C14$）和氢重量百分比（$wt$%$H$）。该模型旨在获得合金元素在储氢性能中的作用的新见解，并可用于研究人员指导他们的实验工作。

数据集介绍

本数据集针对 $AB2$ 合金金属氢化物的储氢性能，首先提供了 $314$ 个不同合金的储氢性质数据。这些数据包含在文件 “AB2_Hydrogen.xlsx" 表中。

1. 表第一列为数据来源参考文献的序号
2. 第 $2$~$23$ 列给出了吸氢合金各元素 ($Ti,Zr,Mn,Co,Cr$$,$ $V,Ni,Sn,Al$$,$ $C,Mg,Gd,Fe,B,Cu$$,$ $Mo,W,La$$,$ $Si,Nb,Ce,Y$) 含量，以原子比例形式给出
3. 第 $24$，$25$ ，$26$ 列给出了$AB2$合金中B、A的含量和比例；
4. 第$27$ ，$28$给出了该金属氢化物反应的生成热（$Delta$ $H$）和熵变（$Delta$ $S$）
5. 第 $29$ ，$30$ 列给出了该金属氢化物反应的立方相丰度 （$C14$）和六方相丰度 （$C15$）
6. 第 $31$ 列给出了氢重量百分比（$wt$%$H$）。

本文将使用合金元素作为特征，金属氢化物的生成焓ΔH作为标签

2 分类树(DecisionTreeClassifier)

• 代码示例：

classsklearn.tree.DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)

DecisionTreeClassifier 是 sklearn 库中用于分类问题的决策树模型。它通过构建一棵决策树来预测样本的类别。模型的主要参数包括：

• criterion：衡量分裂质量的函数，常用的有 "gini"（基尼不纯度）和 "entropy"（信息增益）。
• splitter：选择分裂节点的策略，"best" 表示选择最优分裂，"random" 表示随机分裂。
• max_depth：树的最大深度，用来控制过拟合。
• min_samples_split：分裂内部节点所需的最小样本数。
• min_samples_leaf：叶节点所需的最小样本数，也是用来控制过拟合的重要参数。
• max_features：寻找最佳分裂时考虑的特征数量。
• random_state：控制随机性的种子值。

决策树的优点在于模型易于理解，可视化展示决策过程，但也容易过拟合，特别是当树太深时。通过调整参数，比如增加 min_samples_split 或设置 max_depth，可以帮助减轻过拟合问题。

2.1 重要参数

2.1.1 criterion 参数与创建决策树模型

为了要将表格转化为一棵树，决策树需要找出最佳节点和最佳的分枝方法，对分类树来说，衡量这个“最佳”的指标叫做“不纯度”。通常来说，不纯度越低，决策树对训练集的拟合越好。现在使用的决策树算法在分枝方法上的核心大多是围绕在对某个不纯度相关指标的最优化上。

不纯度基于节点来计算，树中的每个节点都会有一个不纯度，并且子节点的不纯度一定是低于父节点的，也就是说，在同一棵决策树上，叶子节点的不纯度一定是最低的。

Criterion这个参数正是用来决定不纯度的计算方法的。sklearn提供了两种选择：

1）输入”$entropy$“，使用信息熵（Entropy） $$\mathrm{Entropy}(t)=-\sum _{i=0}^{c-1}p(i\mid t){\log }_{2}p(i\mid t)$$ 2）输入”$gini$“，使用基尼系数（Gini Impurity） $$Gini(t)=1-\sum _{i=0}^{c-1}p(i\mid t{)}^2$$ 其中 $t$ 代表给定的节点，$i$ 代表标签的任意分类，$p(i\mid t)$ 代表标签分类 $i$ 在节点 $t$ 上所占的比例。注意，当使用信息熵时，sklearn 实际计算的是基于信息熵的信息增益($InformationGain$)，即父节点的信息熵和子节点的信息熵之差。

比起基尼系数，信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是 在实际使用中，信息熵和基尼系数的效果基本相同。信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数。另外，因为信息熵对不纯度更加敏感，所以信息熵作为指标时，决策树的生长会更加“精细”，因此对于高维数据或者噪音很多的数据，信息熵很容易过拟合，基尼系数在这种情况下效果往往比较好。当然，这不是绝对的。

决策树的基本流程简单概括如下：

1. 计算全部特征的不纯度指标 →
2. 选取不纯度指标最优的特征来分枝 →
3. 进行第一个特征分枝后，计算全部特征的不纯度指标 →
4. 选取不纯度指标最优的特征继续分枝……

• 在创建决策树之前，我们先导入数据

A. 导入数据集和需要的模块

B. 数据预处理：删除数据量过少的元素

我将选择$\Delta H$作为要预测的标签，初步设置为大于等于 $40$ 的是放热（标记为 $Heat$），小于 $40$ 的是不放热（标记为 $Unheat$）。

经过统计，发现数据中存在一些大部分合金都不含有的元素，因此在训练决策树之前我们先对数据进行预处理，删掉绝大多数合金中含量为0的元素。这里我们以 Y 金属(在 $290$ 个合金数据中含量为 $0$ )作为分界点。

如上图所示，以金属 Y 为分界金属，可从特征元素中将含量较少的金属元素剔除。

C. 划分训练集和测试集

D. 建立模型

在决策树中做决策的方法包括基尼系数和信息熵，他们都是衡量数据不确定性或纯度的指标，用于决策树算法中选择最优分裂属性。

• 信息熵是度量数据集不确定性的另一种方法，基于信息论。数据集的信息熵越小，其包含的信息量越少，数据集的纯度越高。信息熵的计算公式是 $-\sum p_i{\log }_2(p_i)$。

• 基尼系数反映了从数据集中随机选择两个样本，其类别标签不一致的概率。基尼系数越小，数据集的纯度越高。计算公式是 $1-\sum (p_i{)}^2$，其中 $p_i$ 是某类别在数据集中的相对频率。

基尼系数和信息熵的主要区别在于计算方法不同，但都旨在衡量数据集的不纯度。在实际应用中，这两种方法没有绝对的优劣之分，选择哪一种主要基于问题本身的需求和数据的特性。

E. 画出一棵树

我们发现，生成的决策树模型比较大，我们不对决策树模型进行解读，先进行剪枝处理，再对最终的决策树模型进行解读。

2.1.2 random_state & splitter

random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。

splitter也是用来控制决策树中的随机选项的，有两种输入值，输入best，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性 feature_importances_ 查看），输入random，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。

上面的训练将会依据我们的训练数据生成一个较大的决策树图，决策树大的好处是能够对数据进行更加细致的划分，但是很可能出现模型过拟合的情况，而对于一些位置数据的划分效果不好，因此，通常我们会对较大的决策树进行剪枝处理。

2.1.3 剪枝参数

在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，这就是说， 它会在训练集上表现很好，在测试集上却表现糟糕。 我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。

为了让决策树有更好的泛化性，我们要对决策树进行剪枝。 剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。 sklearn为我们提供了不同的剪枝策略：

• max_depth

  一般 max_depth 用作树的”精修“

  限制树的最大深度，超过设定深度的树枝全部剪掉

  这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所以限制树深度能够有效地限制过拟合。在集成算法中也非常实用。实际使用时，建议从 $=3$ 开始尝试，看看拟合的效果再决定是否增加设定深度。

• min_samples_leaf & min_samples_split

1. min_samples_leaf 限定一个节点在分枝后的每个子节点都必须包含至少 min_samples_leaf 个训练样本，否则分枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生

   一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从 $=5$ 开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，$=1$ 通常就是最佳选择。

2. min_samples_split 限定一个节点必须要包含至少 min_samples_split 个训练样本，这个节点才允许被分枝，否则分枝就不会发生。

• max_features & min_impurity_decrease

1. max_features 限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工，max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用 $P$$CA$，$ICA$ 或者特征选择模块中的降维算法。

2. min_impurity_decrease 限制信息增益的大小，信息增益小于设定数值的分枝不会发生。这是在sklearn 0.19版本种更新的功能，在0.19版本之前时使用min_impurity_split。

决策树解读

• 根节点信息解读：

1. Ti <= 0.685：这是决策树在当前节点上做出决策的条件。意味着如果某个样本在“Ti”这个特征上的值小于或等于0.685，那么它会被分到左侧的子节点；否则，它会被分到右侧的子节点。这里的“Ti”代表某个具体的特征，可能是材料的成分比例、温度、压力等任何一个能影响到最终分类的因素。

2. gini = 0.25：基尼不纯度（Gini impurity），是一种衡量数据集混杂程度的指标，范围从0到1。值越低表示数据集越“纯”，即在当前节点下的样本属于同一个类别的概率越高。这里的0.25表示在当前节点下，数据集有一定的混杂度。

3. samples = 219：这表示当前节点包含的样本总数。也就是说，在分到这个节点的样本有219个。

4. value = [187, 32]：这代表当前节点包含的样本中，各个类别的数量。假设我们的目标是预测材料是否具有某种特性（比如是不是热导材料），这里的数组表示在这219个样本中，有187个属于第一类（比如不是热导材料），32个属于第二类（比如是热导材料）。

5. class = Heat：这表示如果当前节点是一个叶子节点（即没有进一步的分支），那么它会将样本分类到“Heat”这个类别。在多数情况下，叶子节点会选择最多数的类别作为该节点的类别。

• 子节点信息解读

子节点的显示信息可解读为：

1. gini=0.0：这是基尼不纯度，一个衡量标准，用于评估分割的质量。基尼不纯度表示在这个节点上的数据混合度。值为0意味着这个节点是完全纯净的，也就是说，所有的样本都属于同一个类。在这个案例中，所有的61个样本都被正确地分类到了同一个类别，没有混杂其他类别的样本。

2. samples=61：这表示在当前节点包含的样本数量，这里有61个样本。

3. value=[61,0]：这个数组展示了每个类别的样本数量。在二分类问题中，这个数组有两个值。第一个值（61）表示第一个类别的样本数量，第二个值（0）表示第二个类别的样本数量。这个子节点的所有样本都被分类到第一个类别，没有样本被分类到第二个类别。

4. class = Heat：这指的是当前节点样本的主要（或纯净的）类别。由于这个节点是完全纯净的（gini=0），所以这里的所有样本都被归类为“heat”。

总的来说，这个子节点是一个完全纯净的节点，它的所有$61$个样本都被准确分类为“Heat”类别，没有任何误分类。这样的节点在决策树中是理想的末端节点（叶节点），因为它们不需要进一步的分割来区分样本。

确认最优的剪枝参数

怎么来确定每个参数的值呢？这时候，我们就要使用确定超参数的曲线来进行判断了，继续使用我们已经训练好的决策树模型 clf。超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量指标为纵坐标的曲线，它是用来衡量不同超参数取值下模型的表现的线。在我们建好的决策树里，我们的模型度量指标就是 score。

• 思考：

1. 剪枝参数一定能够提升模型在测试集上的表现吗？ - 调参没有绝对的答案，一切都是看数据本身。
2. 这么多参数，一个个画学习曲线？

剪枝参数的默认值会让树无尽地生长，这些树在某些数据集上可能非常巨大，对内存消耗很大。所以如果你手中的数据集非常大，通常都要进行剪枝处理，因此提前设定这些参数来控制树的复杂性和大小会比较好。

2.1.4 目标权重参数

• class_weight & min_weight_fraction_leaf

完成样本标签平衡的参数。样本不平衡是指在一组数据集中，标签的一类天生占有很大的比例。比如说，在银行要判断“一个办了信用卡的人是否会违约”，就是是vs否（1%：99%）的比例。这种分类状况下，即便模型什么也不做，全把结果预测成“否”，正确率也能有99%。因此我们要使用class_weight参数对样本标签进行一定的均衡，给少量的标签更多的权重，让模型更偏向少数类，向捕获少数类的方向建模。该参数默认None，此模式表示自动给与数据集中的所有标签相同的权重。

有了权重之后，样本量就不再是单纯地记录数目，而是受输入的权重影响了，因此这时候剪枝，就需要搭配min_ weight_fraction_leaf这个基于权重的剪枝参数来使用。另请注意，基于权重的剪枝参数（例如min_weight_ fraction_leaf）将比不知道样本权重的标准（比如min_samples_leaf）更少偏向主导类。如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分。

2.2 重要属性和接口

属性是在模型训练之后，能够调用查看的模型的各种性质。对决策树来说，最重要的是 feature_importances_，能够查看各个特征对模型的重要性。

sklearn中许多算法的接口都是相似的，比如说我们之前已经用到的 fit 和 score，几乎对每个算法都可以使用。除了这两个接口之外，决策树最常用的接口还有 apply 和 predict。apply 中输入测试集返回每个测试样本所在的叶子节点的索引，predict输入测试集返回每个测试样本的标签。返回的内容一目了然并且非常容易，大家自己下去试试看。

结果中 B 为 AB2 合金中 B 的比例，A 为 AB2 合金中 A 的比例，一般皆为 1:2

Journal 表现出较为靠前的重要性，表明对于实验数据，不同的文献来源可能会引起较大的偏差。

至此，我们已经学完了分类树 DecisionTreeClassifier 和用决策树绘图的所有基础。我们讲解了决策树的基本流程，分类树的七个参数，一个属性，四个接口，以及绘图所用的代码。

• 七个参数：criterion，两个随机性相关的参数（random_state，splitter），四个剪枝参数（max_depth, ，min_sample_leaf，max_feature，min_impurity_decrease）
• 一个属性：feature_importances_
• 四个接口：fit，score，apply，predict

有了这些知识，基本上分类树的使用大家都能够掌握了，接下来再到实例中去磨练就好。

3 回归树算法(DecisionTreeRegressor)

在Scikit-learn中，回归树（DecisionTreeRegressor）主要用于处理回归问题，即目标变量（或称为标签）是连续性的数值。回归树通过将特征空间划分成不同的区域，并在每个区域内对目标变量的值进行预测，来解决回归问题。使用回归树的步骤包括实例化模型、训练模型与数据拟合、以及使用训练好的模型进行预测。

它可以通过DecisionTreeRegressor类在Scikit-learn中实现，该类提供了许多参数（如max_depth, min_samples_split等）来调整树的结构和解决过拟合或欠拟合的问题。

• 实例

  回归树可视化选择 $AB2$ 吸氢金属合金材料的 $PCT$ 曲线的实验数据进行展示。

  $Pressure-Composition-Temperature$ ($PCT$) 曲线是一定温度下合金中氢浓度与氢吸收/解吸压力曲线，是在特定应用下选择吸氢材料的重要参考。

sklearn 中的回归树：

classsklearn.tree.DecisionTreeRegressor(criterion=’mse’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=False)

3.1 重要参数

回归树衡量分枝质量的指标，支持的标准有三种：

1）输入 "squared_error" 使用均方误差 mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化 $L2$ 损失

2）输入 "friedman_mse" 使用费尔德曼均方误差，这种指标使用弗尔德曼针对潜在分枝中的问题改进后的均方误差

3）输入 "absolute_error" 使用绝对平均误差 $MAE$ (meanabsoluteerror)，这种指标使用叶节点的中值来最小化 $L1$ 损失

属性中最重要的依然是 feature_importances_，接口依然是apply, fit, predict, score最核心。

• 数据集介绍

PCT曲线中包含如下几列：

1. Vacuometer1(Pm(Pa))

   • 解释：金属氢化物吸附氢气的平衡压力（Pm），单位为帕斯卡（Pa）。
   • 背景：平衡压力是描述氢在金属氢化物中的吸附和解吸过程中的一个关键参数。它反映了金属氢化物与氢气之间的相互作用力。

2. Vacuometer1(Pg(Pa))

   • 解释：金属氢化物脱附氢气的平衡压力（Pg），单位同样为帕斯卡（Pa）。一般吸附氢气的压力高于脱附氢气的压力。

3. Velocity

   • 解释：这里的 Velocity 是指氢气在样品中的传输速度。
   • 背景：传输速度是评价氢在金属氢化物中扩散效率的一个指标。较高的传输速度意味着氢气能够迅速进入或离开金属氢化物，这对于快速储氢和释放氢气具有重要意义。

4. Capacity

   • 解释：表示氢气在样品中的存储容量。
   • 背景：储氢容量是衡量金属氢化物储氢能力的一个重要参数。较高的储氢容量表明金属氢化物能够在单位体积或质量下存储更多的氢气，是评价储氢材料性能的重要指标。

5. Velocity(L/s)

   • 样品中氢气流动的速度，数值与Velocity列一样，单位换算为升每秒（L/s）。

6. Capacity(Pa·L)

   • 解释：样品的氢存储容量，数值与Capacity列一样，单位换为帕斯卡·升（Pa·L）。

这些数据列分别代表了 PCT 曲线中的重要参数，它们共同描述了金属氢化物在不同压力条件下的氢吸附和解吸行为。理解这些参数对于研究和开发高效储氢材料具有重要意义。

3.1.1 读取数据

3.1.2 划分特征与标签

3.1.3 训练并绘制决策树模型

3.2 交叉验证/剪枝参数优化

通过交叉验证（cross_val_score）评估不同深度下模型的性能，并记录每次的交叉验证得分。然后，通过绘制交叉验证得分的曲线，可以直观地观察不同剪枝程度对模型性能的影响。

3.3 回归树可视化

选择数据中的前600个数据进行回归树模型训练与模型性能评估

3.3.1 最大深度为2

3.3.2 最大深度为5

3.3.3 最大深度为10

可以看到，当设置剪枝参数 max_depth=2 时，学习程度不足，而当设置剪枝参数 max_depth=10 时，模型学习到了许多噪音，出现了过拟合。而当剪枝参数 max_depth=5 时，模型学习的比较合适。

到目前为止，我们就得到了一个模型效果还行的决策树模型。

随堂作业

吸氢金属通常指的是能够在其金属结构中吸收并储存氢气的材料，这类材料在能源存储、传感器和催化剂等领域具有重要应用。请使用以下数据集 hydrogen_metal_data_300.csv，用决策树算法判断材料是否为吸氢金属：

数据集介绍

数据集中提供了四个特征，用以判断一个材料是否可作为有效的吸氢金属：

1. 吸氢容量大小：高/低（一个材料吸收氢气的能力，高吸氢容量表明材料能够储存更多的氢气）
2. 吸放氢平衡压：高/低（吸氢和放氢时所需的压力，低平衡压有利于在较低的外界压力下吸放氢）
3. 使用温度：高/低（材料正常工作的温度范围，低温度使用对设备要求较低，更易实现）
4. 循环寿命：长/短（材料能够进行吸放氢反应的次数，长寿命表示材料可重复使用多次）

特征数据介绍

为了简化问题，我们可以将吸氢容量大小、吸放氢平衡压、使用温度和循环寿命的特征分别编码为 $0$ 和 $1$，其中 $0$ 代表低/短，$1$ 代表高/长。接下来，我们会生成这样的数据集，并用决策树算法（如 $ID3$、 $C4.5$ 或 $CART$）来训练模型，最后绘制出决策树。

数据集中包含 $300$ 组数据。每一行代表一个材料，列包括了我们关心的四个特征：吸氢容量大小、吸放氢平衡压、使用温度和循环寿命，以及这些特征组合下的材料是否为吸氢金属（$1$ 表示是吸氢金属，$0$ 表示不是）。

作业要求

1. 读取数据集并预览

2. 划分数据集为测试集和训练集

   提示：获取列标签并转换为列表可使用：df.columns.tolist()

3. 使用sklearn中的决策树算法DecisionTreeClassifier对训练集构建决策树模型

4. 进行剪枝操作 (最大深度设置为 $4$ )

5. 使用训练的决策树模型对测试集数据进行模型性能评估

   可选: 准确率(accuracy_score), 精确度(precision_score), 召回率(recall_score), F1分数(f1_score), 混淆矩阵(confusion_matrix)

6. 画出特征重要性条形图