Data Management And Sharing System of China National Clinical Research Center for Neurological Diseases

机器学习基于不平衡数据预测急性新发 缺血性卒中患者院内死亡模型研究

First author:陈思玎

Corresponding author:姜勇,王拥军

缺血性卒中;院内死亡;预测模型;机器学习

essential_information

  • Person in charge:陈思玎
  • Data Sources: CSCA
  • Number of papers:CSCA20210128
  • Published time:2021-08-07

2021-08-07

Published articles

Journal:中国卒中杂志

Publication type: Article

IF(IF): 1.31

PMID: ... Link To Pubmed Full text Download

Background And Purpose

目的 探索利用机器学习基于不平衡数据预测急性新发缺血性卒中患者的院内死亡风险,并比较 机器学习模型和传统logistic模型的预测性能 卒中是全球死亡率最高的疾病之一,根 据全球疾病负担研究最新估计,2017年我国卒 中死亡率为106/10万,居我国疾病死因首位[1-2]。 利用预测模型预测卒中患者结局,对患者进行 精准风险分层与管理有利于优化医疗资源配置、 降低卒中死亡率。 在结局为二分类问题的医学数据集中,通 常会存在正样本(如患者死亡)和负样本(如 患者存活)比例不平衡的情况,即少数类样本 数量显著少于多数类样本的情况[3]。传统分类 算法会向多数类倾斜,导致少数类样本检出率 不高[4]。如果不处理不平衡数据,预测的结果 会存在偏向性问题,在应用于现实临床场景时, 无法达到准确预测正样本的目的。本研究利 用多中心登记的中国卒中联盟(China Stoke Center Alliance,CSCA)数据库,采用欠采 样技术、特征选择和平衡权重的方法,探索基 于不平衡数据预测新发缺血性卒中患者院内 死亡的模型,同时比较机器学习模型和传统 logistic模型的预测性能,以期为建立更加完善 的缺血性卒中院内死亡预测模型提供借鉴。

Method

总体方法:以中国卒中联盟多中心登记数据库中急性新发缺血性卒中患者为研究对象,分别基于机器学 习[XGBoost模型、CatBoost模型、随机森林模型、支持向量机(support vector machine,SVM)模型]和传 统logistic方法构建患者院内死亡预测模型。按照7∶3比例随机分为训练集和测试集,训练集用于构建 预测模型,测试集用于评价模型效果。采用欠采样技术和平衡权重的方法处理死亡结局的不平衡 数据。模型的评价指标包括区分度指标ROC中AUC和校准度指标Brier分数。 特征选择方法: 特征选择是在建立模型之前 减少输入预测因子数量的过程。考虑到本研究 样本量过大,会存在有统计学意义但可能没有 临床意义的指标。因此本研究通过机器学习的 特征选择预先挑选出一个最相关的特征子集, 这些特征(即预测因子)则是为后续建模做出 最大贡献的预测因子集合。此外,简化输入预 测因子的数量可以提高计算效率,提高模型的 可解释性。特征选择过程包括两个步骤:特征 重要性排序和子集特征选择。 XGBoost是集成学习boosting方法的一 种,兼具线性规模求解器和树学习算法,可以 在建造树的同时自动选择特征,是一种正则化模型。为了更合理地识别输入特征的相对重 要性,以及防止过拟合并提高模型的泛化能 力,本研究利用train_test_split函数以7:3比 例的留出法进行5次随机分组。利用XGBoost 模型和SelectFromModel分类器,再对5次随 机分组样本分别进行特征筛选,对 feature _ importances_函数特征以重要性排序输出的 前20位预测因子求并集。然后对并集中的所有 特征以AUC为标准进行内部循环,设置步长为 1,最后筛选出最优特征子集作为后续建模的 预测因子。SelectFromModel是一个通用转换 器,如果相应的coef或feature_importances值 低于提供的阈值参数,则认为这些特性不重要 并将其删除。

Conclusion

平衡数据处理后,机器学习模型和传统logistic模型预测急性新发缺血性卒中患者院内死亡风 险表现均良好且稳定,其中,随机森林模型的预测性能最佳,SVM模型的校准度最佳。

Main results

共纳入601 466例急性新发缺血性卒中的患者,女性231 235例(38.45%),院内死亡2206 例(0.37%)。logistic模型、XGBoost模型、CatBoost模型、随机森林模型、SVM模型预测患者院内死亡的 AUC分别是0.913±0.000、0.921±0.000、0.919±0.001、0.925±0.000和0.900±0.001,其中XGBoost模 型(P=0.0002)、CatBoost模型(P=0.0094)和随机森林模型(P<0.0001)的预测性能优于logistic模型, logistic模型表现优于SVM模型(P=0.0029)。logistic模型、XGBoost模型、CatBoost模型、随机森林模型、 SVM模型的Brier分数分别为0.115±0.001、0.096±0.001、0.093±0.001、0.084±0.000和0.045±0.001, 机器学习模型的校准度均优于logistic模型,差异有统计学意义。