Transfer Learning Modeling for Predicting the Methane and Hydrogen Delivery Capacity of Metal-organic Frameworks

doi:10.7503/cjcu20220459

Abstract

Abstract:

As critical energy resources， methane and hydrogen have been limited in large-scale applications due to their difficulty in storing at low pressure. Metal-organic frameworks（MOFs） are promising materials for gas delivery due to their highly tunable nanoporous structures. At present， machine learning（ML） has been used to assist in the screening of high-performing MOFs， but the traditional ML modeling needs to pay a high cost to obtain a large amount of data， when the amount of data is insufficient， the availability of ML will be greatly reduced. In this paper， based on deep neural network（DNN） and transfer learning（TL）， TL models are established using a small amount of data to accurately predict the methane and hydrogen delivery capacity of a large number of MOFs to reduce modeling costs and quickly respond to the changing delivery standards. Before TL modeling， six geometric descriptors of 12020 MOFs based on experimental synthesis are calculated， covering the largest cavity diameter， pore limiting diameter， density， accessible volumetric surface area， accessible mass surface area， void fractions， and grand canonical Monte Carlo simulation is used to calculate the delivery capacity data of methane and hydrogen by these MOFs. The first step of TL modeling is to train a DNN［Source task（ST） model］ with a coefficient of determination（ $R 2$ ） of 0.973 using methane delivery capacity data from 8414 MOFs at 298 K/65 bar—298 K/5.8 bar（1 bar=0.1 MPa）. Since then， partial parameters of the ST model are frozen， and data of 100 MOFs delivering methane at 233 K/65 bar—358 K/5.8 bar（Task 1， T1） and 100 MOFs delivering hydrogen at 198 K/100 bar—298 K/5 bar（Task 2， T2） are used， the ST model is fine-tuned twice to obtain two TL models， and the 11820 data in T1 and T2 are predicted， with R² of 0.968 and 0.945， respectively， which are higher than other five traditional ML models. In addition， TL models have high precision and high stability in predicting small data sets and do not produce bad prediction results. Finally， the permutation feature importance is used to measure the importance of descriptors. For the three models of different tasks（ST， T1， and T2）， accessible mass surface area（AMSA）， accessible volumetric surface area（AVSA）， and void fraction（VF） are the most important descriptors for these models， and there is a large amount of shared “know⁃ledge” between the models. On this basis， the relationship between important descriptors and delivery capacity is shown. It provides an efficient research method for future researches on other advanced nanoporous materials to deliver methane and hydrogen.

Key words: Metal-organic framework, Methane and hydrogen, Delivery capacity, Deep neural network, Transfer learning, Permutation feature importance

CLC Number:

O641

TrendMD:

CHEN Shaochen, CHENG Min, WANG Shihui, WU Jinkui, LUO Lei, XUE Xiaoyu, JI Xu, ZHANG Changchun, ZHOU Li. Transfer Learning Modeling for Predicting the Methane and Hydrogen Delivery Capacity of Metal-organic Frameworks[J]. Chem. J. Chinese Universities, 2023, 44(2): 20220459.

Figures/Tables 11

References 60

1	Chu S.， Majumdar A.， Nature， 2012， 488， 294—303
2	Kamat P. V.， J. Phys. Chem. C， 2007， 111， 2834—2860
3	Srirangan K.， Akawi L.， Moo⁃Young M.， Chou C. P.， Appl. Energ.， 2012， 100， 172—186
4	DeSantis D.， Mason J. A.， James B. D.， Houchins C.， Long J. R.， Veenstra M.， Energ. Fuel， 2017， 31， 2024—2032
5	Furukawa H.， Yaghi O. M.， J. Am. Chem. Soc.， 2009， 131， 8875—8883
6	He Y.， Chen F.， Li B.， Qian G.， Zhou W.， Chen B.， Coord. Chem. Rev.， 2018， 373， 167—198
7	Pardakhti M.， Moharreri E.， Wanik D.， Suib S. L.， Srivastava R.， ACS Comb. Sci.， 2017， 19， 640—645
8	Thornton A. W.， Simon C. M.， Kim J.， Kwon O.， Deeg K. S.， Konstas K.， Pas S. J.， Hill M. R.， Winkler D. A.， Haranczyk M.， Smit B.， Chem. Mater.， 2017， 29， 2844—2854
9	Furukawa H.， Cordova K. E.， O’Keeffe M.， Yaghi O. M.， Science， 2013， 341， 1230444
10	Daglar H.， Keskin S.， Coord. Chem. Rev.， 2020， 422， 213470
11	Wang J. C.， Tong M. M.， Shan C.， Xiao G.， Liu D. H.， Yang Q. Y.， Zhong C. L.， Chem. J. Chinese Universities， 2015， 36（2）， 316—324
	王佳晨，童敏曼，单超，肖刚，刘大欢，阳庆元，仲崇立. 高等学校化学学报， 2015， 36（2）， 316—324
12	Zhou K.， Zhang C.， Xiong Z.， Chen H.， Li T.， Ding G.， Yang B.， Liao Q.， Zhou Y.， Han S.， Adv. Funct. Mater.， 2020， 30， 2070257
13	Shi X. F.， Zhu J.， Bai T. Y.， Fu Z. X.， Zhang J. J.， Bu X. H.， Chem. J. Chinese Universities， 2022， 43（1）， 20210613
	史潇凡，朱剑，白田宇，付子萱，张冀杰，卜显和. 高等学校化学学报， 2022， 43（1）， 20210613
14	Kent C. A.， Mehl B. P.， Ma L.， Papanikolas J. M.， Meyer T. J.， Lin W.， J. Am. Chem. Soc.， 2010， 132， 12767—12769
15	Konstas K.， Osl T.， Yang Y.， Batten M.， Burke N.， Hill A. J.， Hill M. R.， J. Mater. Chem.， 2012， 22， 16698—16708
16	Suh M. P.， Park H. J.， Prasad T. K.， Lim D. W.， Chem. Rev.， 2012， 112， 782—835
17	Zhou Z. E.， Xue C. Y.， Yang Q. Y.， Zhong C. L.， Acta Chim. Sinica， 2009， 67， 477—482
	周子娥，薛春瑜，阳庆元，仲崇立. 化学学报， 2009， 67， 477—482
18	Furukawa H.， Ko N.， Go Y. B.， Aratani N.， Choi S. B.， Choi E.， Yazaydin A. Ö.， Snurr R. Q.， O’Keeffe M.， Kim J.， Yaghi O. M.， Science， 2010， 329， 424—428
19	Wilmer C. E.， Leaf M.， Lee C. Y.， Farha O. K.， Hauser B. G.， Hupp J. T.， Snurr R. Q.， Nat. Chem.， 2011， 4， 83—89
20	Düren T.， Bae Y.， Snurr R. Q.， Chem. Soc. Rev.， 2009， 38， 1237—1247
21	Colón Y. J.， Snurr R. Q.， Chem. Soc. Rev.， 2014， 43， 5735—5749
22	Simon C. M.， Kim J.， Gomez⁃Gualdron D. A.， Camp J. S.， Chung Y. G.， Martin R. L.， Mercado R.， Deem M. W.， Gunter D.， Haranczyk M.， Sholl D. S.， Snurr R. Q.， Smit B.， Energy Environ. Sci.， 2015， 8， 1190—1199
23	Colón Y. J.， Fairen⁃Jimenez D.， Wilmer C. E.， Snurr R. Q.， J. Phys. Chem. C， 2014， 118， 5383—5389
24	Bobbitt N. S.， Chen J.， Snurr R. Q.， J. Phys. Chem. C， 2016， 120， 27328—27341
25	Fernandez M.， Woo T. K.， Wilmer C. E.， Snurr R. Q.， J. Phys. Chem. C， 2013， 117， 7681—7689
26	Fanourgakis G. S.， Gkagkas K.， Tylianakis E.， Froudakis G. E.， J. Am. Chem. Soc.， 2020， 142， 3814—3822
27	Anderson G.， Schweitzer B.， Anderson R.， Gómez⁃Gualdrón D. A.， J. Phys. Chem. C， 2019， 123， 120—130
28	Bucior B. J.， Bobbitt N. S.， Islamoglu T.， Goswami S.， Gopalan A.， Yildirim T.， Farha O. K.， Bagheri N.， Snurr R. Q.， Mol. Sys. Des. Eng.， 2019， 4， 162—174
29	Chong S.， Lee S.， Kim B.， Kim J.， Coord. Chem. Rev.， 2020， 423， 213487
30	Zhuang F.， Qi Z.， Duan K.， Xi D.， Zhu Y.， Zhu H.， Xiong H.， He Q.， P. IEEE， 2020， 109， 43—76
31	Sinno J. P.， Yang Q.， IEEE T. Knowl. Data En.， 2010， 22， 1345—1359
32	DeCost B. L.， Francis T.， Holm E. A.， Acta Mater.， 2017， 133， 30—40
33	Wu S.， Kondo Y.， Kakimoto M.， Yang B.， Yamada H.， Kuwajima I.， Lambard G.， Hongo K.， Xu Y.， Shiomi J.， Schick C.， Morikawa J.， Yoshida R.， npj Comput. Mater.， 2019， 5， 66
34	Yamada H.， Liu C.， Wu S.， Koyama Y.， Ju S.， Shiomi J.， Morikawa J.， Yoshida R.， ACS Cent. Sci.， 2019， 5， 1717—1730
35	Ma R.， Colón Y. J.， Luo T.， ACS Appl. Mater. Interfaces， 2020， 12， 34041—34048
36	Wang R.， Zou Y.， Zhang C.， Wang X.， Yang M.， Xu D.， Micropor. Mesopor. Mat.， 2021， 331， 111666
37	Zhao X.， Luo T.， Jin H.， Ind. Eng. Chem. Res.， 2022， 61， 8542—8550
38	Lim Y.， Kim J.， Mol. Syst. Des. Eng.， 2022， 7， 1056—1064
39	Wang R.， Zhong Y.， Bi L.， Yang M.， Xu D.， ACS Appl. Mater. Interfaces， 2020， 12， 52797—52807
40	Tong M.， Lan Y.， Qin Z.， Zhong C.， J. Phys. Chem. C， 2018， 122， 13009—13016
41	Ahmed A.， Seth S.， Purewal J.， Wong⁃Foy A. G.， Veenstra M.， Matzger A. J.， Siegel D. J.， Nat. Commun.， 2019， 10， 1568
42	Chung Y. G.， Camp J.， Haranczyk M.， Sikora B. J.， Bury W.， Krungleviciute V.， Yildirim T.， Farha O. K.， Sholl D. S.， Snurr R. Q.， Chem. Mater.， 2014， 26， 6185—6192
43	Willems T. F.， Rycroft C. H.， Kazi M.， Meza J. C.， Haranczyk M.， Micropor. Mesopor. Mat.， 2012， 149， 134—141
44	Dubbeldam D.， Calero S.， Ellis D. E.， Snurr R. Q.， Mol. Simulat.， 2015， 42， 81—101
45	Rappe A. K.， Casewit C. J.， Colwell K. S.， Goddard W. A.， Skiff W. M.， J. Am. Chem. Soc.， 1992， 25， 10024—10035
46	Wick C. D.， Martin M. G.， Siepmann J. I.， J. Phys. Chem. B， 2000， 104， 8008—8016
47	Mason J. A.， Oktawiec J.， Taylor M. K.， Hudson M. R.， Rodriguez J.， Bachman J. E.， Gonzalez M. I.， Cervellino A.， Guagliardi A.， Brown C. M.， Llewellyn P. L.， Masciocchi N.， Long J. R.， Nature， 2015， 527， 357—361
48	Fu J.， Tian Y.， Wu J.， Adsorption， 2015， 21， 499—507
49	Kapelewski M. T.， Runcevski T.， Tarver J. D.， Jiang H. Z. H.， Hurst K. E.， Parilla P. A.， Ayala A.， Gennett T.， FitzGerald S. A.， Brown C. M.， Long J. R.， Chem. Mater.， 2018， 30， 8179—8189
50	Abien F. A.， arXiv， 2019， arXiv：1803.08375v2
51	Diederik P. K.， Jimmy B.， arXiv， 2017， arXiv：1412.6980v9
52	Yao Y.， Rosasco L.， Caponnetto A.， Constr. Approx.， 2007， 26， 289—315
53	Breiman L.， Mach. Learn.， 2001， 45， 5—32
54	Geurts P.， Ernst D.， Wehenkel L.， Mach. Learn.， 2006， 63， 3—42
55	Friedman J. H.， Ann. Stat.， 2001， 29， 1189—1232
56	Platt J.， Adv. Large Margin Classif.， 1999， 10， 61
57	Paszke A.， Gross S.， Massa F.， Lerer A.， Bradbury J.， Chanan G.， Killeen T.， Lin Z.， Gimelshein N.， Antiga L.， Desmaison A.， Adv. Neural Inf. Process Syst.， 2019， 8024—8035
58	Pedregosa F.， Varoquaux G.， Gramfort A.， Michel V.， Thirion B.， Grisel O.， Blondel M.， Prettenhofer P.， Weiss R.， Dubourg V.， Vanderplas J.， Passos A.， Cournapeau D.， Brucher M.， Perrot M.， Duchesnay E. J.， Mach. Learn. Res.， 2011， 12， 2825—2830
59	Wu X.， Xiang S.， Su J.， Cai W.， J. Phys. Chem. C， 2019， 123， 8550—8559
60	Anderson R.， Biong A.， Gomez⁃Gualdron D. A.， J. Chem. Theory Comput.， 2020， 16， 1271—1283

Task	ST	RF	ExF	GB	SVM	DL	TL
T1	0.557	0.844	0.874	0.854	0.859	0.926	0.968
T2	0.357	0.797	0.820	0.825	0.834	0.912	0.945

Task	ST	RF	ExF	GB	SVM	DL	TL
T1	0.557	0.844	0.874	0.854	0.859	0.926	0.968
T2	0.357	0.797	0.820	0.825	0.834	0.912	0.945

Task	ST	RF	ExF	GB	SVM	DL	TL
T1	0.595	0.820	0.859	0.879	0.873	0.962	0.984
T2	0.789	0.747	0.785	0.812	0.852	0.914	0.964

Task	ST	RF	ExF	GB	SVM	DL	TL
T1	0.595	0.820	0.859	0.879	0.873	0.962	0.984
T2	0.789	0.747	0.785	0.812	0.852	0.914	0.964

[1]	ZOU Yingying, ZHANG Chaoqi, YUAN Ling, LIU Chao, YU Chengzhong. Recent Advances in Metal-organic Framework Derived Hollow Superstructures： Synthesis and Applications [J]. Chem. J. Chinese Universities, 2023, 44(1): 20220613.
[2]	YANG Qingfeng, LYU Liang, LAI Xiaoyong. Progress on Preparation and Electrocatalytic Application of Hollow MOFs [J]. Chem. J. Chinese Universities, 2023, 44(1): 20220666.
[3]	LU Yu, WANG Tie. Research Progress of Hollow Metal-organic Frameworks [J]. Chem. J. Chinese Universities, 2023, 44(1): 20220662.
[4]	ZHAO Yingzhe, ZHANG Jianling. Applications of Metal-organic Framework-based Material in Carbon Dioxide Photocatalytic Conversion [J]. Chem. J. Chinese Universities, 2022, 43(7): 20220223.
[5]	LU Cong, LI Zhenhua, LIU Jinlu, HUA Jia, LI Guanghua, SHI Zhan, FENG Shouhua. Synthesis， Structure and Fluorescence Detection Properties of a New Lanthanide Metal-Organic Framework Material [J]. Chem. J. Chinese Universities, 2022, 43(6): 20220037.
[6]	TIAN Xueqin, MO Zheng, DING Xin, WU Pengyan, WANG Yu, WANG Jian. A Squaramide-containing Luminescent Metal-organic Framework as a High Selective Sensor for Histidine [J]. Chem. J. Chinese Universities, 2022, 43(2): 20210589.
[7]	DONG Mingjie, WANG Xuan, DONG Haifeng, ZHANG Xueji. Applications of Metal-organic Frameworks in Cancer Theranostics [J]. Chem. J. Chinese Universities, 2022, 43(12): 20220575.
[8]	XING Peiqi, LU Tong, LI Guanghua, WANG Liyan. Controllable Syntheses of Two Cd（II） Metal-organic Frameworks Possessing Related Structures [J]. Chem. J. Chinese Universities, 2022, 43(10): 20220218.
[9]	HAN Zongsu, YU Xiaoyong, MIN Hui, SHI Wei, CHENG Peng. A Rare Earth Metal-Organic Framework with H₆TTAB Ligand [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210342.
[10]	SHI Xiaofan, ZHU Jian, BAI Tianyu, FU Zixuan, ZHANG Jijie, BU Xianhe. Research Status and Progress of MOFs with Application in Photoelectrochemical Water-splitting [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210613.
[11]	WU Ji, ZHANG Hao, LUO Yuhui, GENG Wuyue, LAN Yaqian. A Microporous Cationic Ga（III）-MOF with Fluorescence Properties for Selective sensing Fe³⁺ Ion and Nitroaromatic Compounds [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210617.
[12]	LI Wen, QIAO Junyi, LIU Xinyao, LIU Yunling. Zirconium-based Metal-Organic Framework with Naphthalene for Fluorescent Detection of Nitroaromatic Explosives in Water [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210654.
[13]	WANG Jie, HUO Haiyan, WANG Yang, ZHANG Zhong, LIU Shuxia. General Strategy for In situ Synthesis of NENU-n Series Polyoxometalate-based MOFs on Copper Foil [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210557.
[14]	LI Shurong, WANG Lin, CHEN Yuzhen, JIANG Hailong. Research Progress of Metal⁃organic Frameworks on Liquid Phase Catalytic Chemical Hydrogen Production [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210575.
[15]	ZHANG Chi, SUN Fuxing, ZHU Guangshan. Synthesis， N₂ Adsorption and Mixed-matrix Membrane Performance of Bimetal Isostructural CAU-21 [J]. Chem. J. Chinese Universities, 2022, 43(1): 20210578.