预测金属有机骨架甲烷和氢气输送能力的迁移学习建模

doi:10.7503/cjcu20220459

摘要/Abstract

摘要：

基于深度神经网络(DNN)和迁移学习(TL), 使用少量数据建立TL模型, 精准预测了金属有机骨架(MOFs)的甲烷和氢气输送性能. 首先, 使用8414个MOFs在298 K/65 bar~298 K/5.8 bar(1 bar=0.1 MPa)条件下的甲烷输送数据训练一个决定系数( $R 2$ )为0.973的DNN[源任务(ST）模型]. 随后, 将ST模型的部分参数冻结, 使用100个MOFs在233 K/65 bar~358 K/5.8 bar条件下的甲烷输送数据和100个MOFs在198 K/100 bar~298 K/5 bar条件下的氢气输送数据分别微调ST模型, 进行TL建模. 结果表明, 两个TL模型的 $R 2$ 分别为0.968和0.945, 均高于其它5个传统的ML模型. 所开发的TL模型在预测小数据集时具有高精度与高稳定性. 最后, 使用排列特征重要度方法来计算描述符重要度, 明确了模型之间的“知识”共享情况, 并在此基础上探讨了重要描述符和输送能力之间的关系.

关键词: 金属有机骨架, 甲烷与氢气, 输送能力, 深度神经网络, 迁移学习, 排列特征重要度

Abstract:

As critical energy resources， methane and hydrogen have been limited in large-scale applications due to their difficulty in storing at low pressure. Metal-organic frameworks（MOFs） are promising materials for gas delivery due to their highly tunable nanoporous structures. At present， machine learning（ML） has been used to assist in the screening of high-performing MOFs， but the traditional ML modeling needs to pay a high cost to obtain a large amount of data， when the amount of data is insufficient， the availability of ML will be greatly reduced. In this paper， based on deep neural network（DNN） and transfer learning（TL）， TL models are established using a small amount of data to accurately predict the methane and hydrogen delivery capacity of a large number of MOFs to reduce modeling costs and quickly respond to the changing delivery standards. Before TL modeling， six geometric descriptors of 12020 MOFs based on experimental synthesis are calculated， covering the largest cavity diameter， pore limiting diameter， density， accessible volumetric surface area， accessible mass surface area， void fractions， and grand canonical Monte Carlo simulation is used to calculate the delivery capacity data of methane and hydrogen by these MOFs. The first step of TL modeling is to train a DNN［Source task（ST） model］ with a coefficient of determination（ $R 2$ ） of 0.973 using methane delivery capacity data from 8414 MOFs at 298 K/65 bar—298 K/5.8 bar（1 bar=0.1 MPa）. Since then， partial parameters of the ST model are frozen， and data of 100 MOFs delivering methane at 233 K/65 bar—358 K/5.8 bar（Task 1， T1） and 100 MOFs delivering hydrogen at 198 K/100 bar—298 K/5 bar（Task 2， T2） are used， the ST model is fine-tuned twice to obtain two TL models， and the 11820 data in T1 and T2 are predicted， with R² of 0.968 and 0.945， respectively， which are higher than other five traditional ML models. In addition， TL models have high precision and high stability in predicting small data sets and do not produce bad prediction results. Finally， the permutation feature importance is used to measure the importance of descriptors. For the three models of different tasks（ST， T1， and T2）， accessible mass surface area（AMSA）， accessible volumetric surface area（AVSA）， and void fraction（VF） are the most important descriptors for these models， and there is a large amount of shared “know⁃ledge” between the models. On this basis， the relationship between important descriptors and delivery capacity is shown. It provides an efficient research method for future researches on other advanced nanoporous materials to deliver methane and hydrogen.

Key words: Metal-organic framework, Methane and hydrogen, Delivery capacity, Deep neural network, Transfer learning, Permutation feature importance

中图分类号:

O641

TrendMD:

陈少臣, 程敏, 王诗慧, 吴金奎, 罗磊, 薛小雨, 吉旭, 张长春, 周利. 预测金属有机骨架甲烷和氢气输送能力的迁移学习建模. 高等学校化学学报, 2023, 44(2): 20220459.

CHEN Shaochen, CHENG Min, WANG Shihui, WU Jinkui, LUO Lei, XUE Xiaoyu, JI Xu, ZHANG Changchun, ZHOU Li. Transfer Learning Modeling for Predicting the Methane and Hydrogen Delivery Capacity of Metal-organic Frameworks. Chem. J. Chinese Universities, 2023, 44(2): 20220459.

图/表 11

Table 1 Delivery capacity data sets of MOFs

Index	Task name	Delivery condition	Gas type	Amount
D0	Source task	298 K/65 bar—298 K/5.8 bar	Methane	12020
D1	Task T1	233 K/65 bar—358 K/5.8 bar	Methane	12020
D2	Task T2	198 K/100 bar—298 K/5 bar	Hydrogen	12020

Fig.1 Main process of transfer learning modeling

Fig.2 Density scatter plots for the GCMC value⁃predicted value of ST model in source task

Fig.3 Density scatter plots of GCMC value⁃predicted value of ST model in two tasks(A) T1; (B) T2.

Fig.4 Density scatter plots of GCMC value⁃predicted value of TL model in two tasks（A） T1；（B） T2.

Table 2 R2 of different models in two tasks

Task	ST	RF	ExF	GB	SVM	DL	TL
T1	0.557	0.844	0.874	0.854	0.859	0.926	0.968
T2	0.357	0.797	0.820	0.825	0.834	0.912	0.945

Table 3 R2 of different models in two tasks with TOP-100 MOFs

Task	ST	RF	ExF	GB	SVM	DL	TL
T1	0.595	0.820	0.859	0.879	0.873	0.962	0.984
T2	0.789	0.747	0.785	0.812	0.852	0.914	0.964

Fig.5 R2 of TL model and DL model in predicting a small amount of data in two tasks（A1）—（A3） T1；（B1）—（B3） T2.

Fig.6 R2 distribution of TL model and DL model on 1000 small data sets in two tasks（A） T1-TL；（B） T1-DL；（C） T2-TL；（D） T2-DL.

Fig.7 Distribution of descriptor importance of three tasks(A) ST; (B) T1; (C) T2.

Fig.8 Density scatter plots of important descriptors⁃delivery capacity in three tasks(A)—（C） ST；（D）—（F） T1；（G）—（I） T2.

参考文献 60

1	Chu S.， Majumdar A.， Nature， 2012， 488， 294—303
2	Kamat P. V.， J. Phys. Chem. C， 2007， 111， 2834—2860
3	Srirangan K.， Akawi L.， Moo⁃Young M.， Chou C. P.， Appl. Energ.， 2012， 100， 172—186
4	DeSantis D.， Mason J. A.， James B. D.， Houchins C.， Long J. R.， Veenstra M.， Energ. Fuel， 2017， 31， 2024—2032
5	Furukawa H.， Yaghi O. M.， J. Am. Chem. Soc.， 2009， 131， 8875—8883
6	He Y.， Chen F.， Li B.， Qian G.， Zhou W.， Chen B.， Coord. Chem. Rev.， 2018， 373， 167—198
7	Pardakhti M.， Moharreri E.， Wanik D.， Suib S. L.， Srivastava R.， ACS Comb. Sci.， 2017， 19， 640—645
8	Thornton A. W.， Simon C. M.， Kim J.， Kwon O.， Deeg K. S.， Konstas K.， Pas S. J.， Hill M. R.， Winkler D. A.， Haranczyk M.， Smit B.， Chem. Mater.， 2017， 29， 2844—2854
9	Furukawa H.， Cordova K. E.， O’Keeffe M.， Yaghi O. M.， Science， 2013， 341， 1230444
10	Daglar H.， Keskin S.， Coord. Chem. Rev.， 2020， 422， 213470
11	Wang J. C.， Tong M. M.， Shan C.， Xiao G.， Liu D. H.， Yang Q. Y.， Zhong C. L.， Chem. J. Chinese Universities， 2015， 36（2）， 316—324
	王佳晨，童敏曼，单超，肖刚，刘大欢，阳庆元，仲崇立. 高等学校化学学报， 2015， 36（2）， 316—324
12	Zhou K.， Zhang C.， Xiong Z.， Chen H.， Li T.， Ding G.， Yang B.， Liao Q.， Zhou Y.， Han S.， Adv. Funct. Mater.， 2020， 30， 2070257
13	Shi X. F.， Zhu J.， Bai T. Y.， Fu Z. X.， Zhang J. J.， Bu X. H.， Chem. J. Chinese Universities， 2022， 43（1）， 20210613
	史潇凡，朱剑，白田宇，付子萱，张冀杰，卜显和. 高等学校化学学报， 2022， 43（1）， 20210613
14	Kent C. A.， Mehl B. P.， Ma L.， Papanikolas J. M.， Meyer T. J.， Lin W.， J. Am. Chem. Soc.， 2010， 132， 12767—12769
15	Konstas K.， Osl T.， Yang Y.， Batten M.， Burke N.， Hill A. J.， Hill M. R.， J. Mater. Chem.， 2012， 22， 16698—16708
16	Suh M. P.， Park H. J.， Prasad T. K.， Lim D. W.， Chem. Rev.， 2012， 112， 782—835
17	Zhou Z. E.， Xue C. Y.， Yang Q. Y.， Zhong C. L.， Acta Chim. Sinica， 2009， 67， 477—482
	周子娥，薛春瑜，阳庆元，仲崇立. 化学学报， 2009， 67， 477—482
18	Furukawa H.， Ko N.， Go Y. B.， Aratani N.， Choi S. B.， Choi E.， Yazaydin A. Ö.， Snurr R. Q.， O’Keeffe M.， Kim J.， Yaghi O. M.， Science， 2010， 329， 424—428
19	Wilmer C. E.， Leaf M.， Lee C. Y.， Farha O. K.， Hauser B. G.， Hupp J. T.， Snurr R. Q.， Nat. Chem.， 2011， 4， 83—89
20	Düren T.， Bae Y.， Snurr R. Q.， Chem. Soc. Rev.， 2009， 38， 1237—1247
21	Colón Y. J.， Snurr R. Q.， Chem. Soc. Rev.， 2014， 43， 5735—5749
22	Simon C. M.， Kim J.， Gomez⁃Gualdron D. A.， Camp J. S.， Chung Y. G.， Martin R. L.， Mercado R.， Deem M. W.， Gunter D.， Haranczyk M.， Sholl D. S.， Snurr R. Q.， Smit B.， Energy Environ. Sci.， 2015， 8， 1190—1199
23	Colón Y. J.， Fairen⁃Jimenez D.， Wilmer C. E.， Snurr R. Q.， J. Phys. Chem. C， 2014， 118， 5383—5389
24	Bobbitt N. S.， Chen J.， Snurr R. Q.， J. Phys. Chem. C， 2016， 120， 27328—27341
25	Fernandez M.， Woo T. K.， Wilmer C. E.， Snurr R. Q.， J. Phys. Chem. C， 2013， 117， 7681—7689
26	Fanourgakis G. S.， Gkagkas K.， Tylianakis E.， Froudakis G. E.， J. Am. Chem. Soc.， 2020， 142， 3814—3822
27	Anderson G.， Schweitzer B.， Anderson R.， Gómez⁃Gualdrón D. A.， J. Phys. Chem. C， 2019， 123， 120—130
28	Bucior B. J.， Bobbitt N. S.， Islamoglu T.， Goswami S.， Gopalan A.， Yildirim T.， Farha O. K.， Bagheri N.， Snurr R. Q.， Mol. Sys. Des. Eng.， 2019， 4， 162—174
29	Chong S.， Lee S.， Kim B.， Kim J.， Coord. Chem. Rev.， 2020， 423， 213487
30	Zhuang F.， Qi Z.， Duan K.， Xi D.， Zhu Y.， Zhu H.， Xiong H.， He Q.， P. IEEE， 2020， 109， 43—76
31	Sinno J. P.， Yang Q.， IEEE T. Knowl. Data En.， 2010， 22， 1345—1359
32	DeCost B. L.， Francis T.， Holm E. A.， Acta Mater.， 2017， 133， 30—40
33	Wu S.， Kondo Y.， Kakimoto M.， Yang B.， Yamada H.， Kuwajima I.， Lambard G.， Hongo K.， Xu Y.， Shiomi J.， Schick C.， Morikawa J.， Yoshida R.， npj Comput. Mater.， 2019， 5， 66
34	Yamada H.， Liu C.， Wu S.， Koyama Y.， Ju S.， Shiomi J.， Morikawa J.， Yoshida R.， ACS Cent. Sci.， 2019， 5， 1717—1730
35	Ma R.， Colón Y. J.， Luo T.， ACS Appl. Mater. Interfaces， 2020， 12， 34041—34048
36	Wang R.， Zou Y.， Zhang C.， Wang X.， Yang M.， Xu D.， Micropor. Mesopor. Mat.， 2021， 331， 111666
37	Zhao X.， Luo T.， Jin H.， Ind. Eng. Chem. Res.， 2022， 61， 8542—8550
38	Lim Y.， Kim J.， Mol. Syst. Des. Eng.， 2022， 7， 1056—1064
39	Wang R.， Zhong Y.， Bi L.， Yang M.， Xu D.， ACS Appl. Mater. Interfaces， 2020， 12， 52797—52807
40	Tong M.， Lan Y.， Qin Z.， Zhong C.， J. Phys. Chem. C， 2018， 122， 13009—13016
41	Ahmed A.， Seth S.， Purewal J.， Wong⁃Foy A. G.， Veenstra M.， Matzger A. J.， Siegel D. J.， Nat. Commun.， 2019， 10， 1568
42	Chung Y. G.， Camp J.， Haranczyk M.， Sikora B. J.， Bury W.， Krungleviciute V.， Yildirim T.， Farha O. K.， Sholl D. S.， Snurr R. Q.， Chem. Mater.， 2014， 26， 6185—6192
43	Willems T. F.， Rycroft C. H.， Kazi M.， Meza J. C.， Haranczyk M.， Micropor. Mesopor. Mat.， 2012， 149， 134—141
44	Dubbeldam D.， Calero S.， Ellis D. E.， Snurr R. Q.， Mol. Simulat.， 2015， 42， 81—101
45	Rappe A. K.， Casewit C. J.， Colwell K. S.， Goddard W. A.， Skiff W. M.， J. Am. Chem. Soc.， 1992， 25， 10024—10035
46	Wick C. D.， Martin M. G.， Siepmann J. I.， J. Phys. Chem. B， 2000， 104， 8008—8016
47	Mason J. A.， Oktawiec J.， Taylor M. K.， Hudson M. R.， Rodriguez J.， Bachman J. E.， Gonzalez M. I.， Cervellino A.， Guagliardi A.， Brown C. M.， Llewellyn P. L.， Masciocchi N.， Long J. R.， Nature， 2015， 527， 357—361
48	Fu J.， Tian Y.， Wu J.， Adsorption， 2015， 21， 499—507
49	Kapelewski M. T.， Runcevski T.， Tarver J. D.， Jiang H. Z. H.， Hurst K. E.， Parilla P. A.， Ayala A.， Gennett T.， FitzGerald S. A.， Brown C. M.， Long J. R.， Chem. Mater.， 2018， 30， 8179—8189
50	Abien F. A.， arXiv， 2019， arXiv：1803.08375v2
51	Diederik P. K.， Jimmy B.， arXiv， 2017， arXiv：1412.6980v9
52	Yao Y.， Rosasco L.， Caponnetto A.， Constr. Approx.， 2007， 26， 289—315
53	Breiman L.， Mach. Learn.， 2001， 45， 5—32
54	Geurts P.， Ernst D.， Wehenkel L.， Mach. Learn.， 2006， 63， 3—42
55	Friedman J. H.， Ann. Stat.， 2001， 29， 1189—1232
56	Platt J.， Adv. Large Margin Classif.， 1999， 10， 61
57	Paszke A.， Gross S.， Massa F.， Lerer A.， Bradbury J.， Chanan G.， Killeen T.， Lin Z.， Gimelshein N.， Antiga L.， Desmaison A.， Adv. Neural Inf. Process Syst.， 2019， 8024—8035
58	Pedregosa F.， Varoquaux G.， Gramfort A.， Michel V.， Thirion B.， Grisel O.， Blondel M.， Prettenhofer P.， Weiss R.， Dubourg V.， Vanderplas J.， Passos A.， Cournapeau D.， Brucher M.， Perrot M.， Duchesnay E. J.， Mach. Learn. Res.， 2011， 12， 2825—2830
59	Wu X.， Xiang S.， Su J.， Cai W.， J. Phys. Chem. C， 2019， 123， 8550—8559
60	Anderson R.， Biong A.， Gomez⁃Gualdron D. A.， J. Chem. Theory Comput.， 2020， 16， 1271—1283

[1]	李玉龙, 谢发婷, 管燕, 刘嘉丽, 张贵群, 姚超, 杨通, 杨云慧, 胡蓉. 基于银离子与DNA相互作用的比率型电化学传感器用于银离子的检测[J]. 高等学校化学学报, 2022, 43(8): 20220202.
[2]	丁杨, 王万辉, 包明. 多孔骨架固定分子催化剂催化CO₂加氢制备甲酸研究进展[J]. 高等学校化学学报, 2022, 43(7): 20220309.
[3]	鲁聪, 李振华, 刘金露, 华佳, 李光华, 施展, 冯守华. 一种新的镧系金属有机骨架材料的合成、结构及荧光检测性质[J]. 高等学校化学学报, 2022, 43(6): 20220037.
[4]	邢珮琪, 陆通, 李光华, 王力彦. 两个镉(II)金属有机骨架的可控合成与结构相关性[J]. 高等学校化学学报, 2022, 43(10): 20220218.
[5]	李文, 乔珺一, 刘鑫垚, 刘云凌. 含萘基团的锆金属有机骨架材料对水中硝基芳烃爆炸物的荧光检测性能[J]. 高等学校化学学报, 2022, 43(1): 20210654.
[6]	张仁丽, 王瑶, 遇治权, 孙志超, 王安杰, 刘颖雅. 氟改性UiO-66固载钼基过氧化物催化氧化含硫化合物[J]. 高等学校化学学报, 2021, 42(6): 1914.
[7]	赵阳洋, 刘启勇, 陈泊鑫, 赵斌, 周海梅, 李昕欣, 郑丹, 冯飞. 以金属有机骨架材料ZIF-8为固定相的硅基微气相色谱柱[J]. 高等学校化学学报, 2021, 42(6): 1736.
[8]	李梅, 夏晓娟, 陈志雄, 杨梦, 李紫滢, 杨通, 孟爽, 杨云慧, 胡蓉. 基于铂纳米颗粒@金属有机骨架纳米模拟酶的无标记电化学赭曲霉毒素适体传感器的构建[J]. 高等学校化学学报, 2021, 42(12): 3615.
[9]	陈晓, 申博渊, 熊昊, 魏飞. 电子束敏感材料的原子尺度结构研究[J]. 高等学校化学学报, 2021, 42(1): 133.
[10]	姜笑天, 尹琦, 刘天赋, 曹荣. 金属有机骨架薄膜用于小分子和离子的高效分离[J]. 高等学校化学学报, 2020, 41(8): 1691.
[11]	谢兴钰, 赵雅香, 赵莉芝, 李日舜, 吴迪昊, 叶卉, 辛清萍, 李泓, 张玉忠. 基于金属卟啉2DMOFs仿酶催化的过氧化氢比色法检测[J]. 高等学校化学学报, 2020, 41(8): 1776.
[12]	高霞,潘会宾,乔成芳,陈凤英,周元,杨文华. 基于多级孔金属有机骨架构筑HRP固定化酶反应器及其染料降解应用[J]. 高等学校化学学报, 2020, 41(7): 1591.
[13]	王瑞, 黄新松, 刘天赋, 曹荣. 金属有机框架用于一氧化碳氧化[J]. 高等学校化学学报, 2020, 41(10): 2174.
[14]	侯俊英, 郝建军, 王雅雅, 刘敬春. Cu₃(BTC)₂金属有机骨架复合基质膜的制备及流体催化性能[J]. 高等学校化学学报, 2019, 40(9): 1926.
[15]	王鹏程, 单梁, 范勇, 王莉, 徐家宁, 吴淑杰. MIL-53系列金属有机骨架化合物的合成及在Strecker反应中的催化性能[J]. 高等学校化学学报, 2019, 40(8): 1655.