我是一名医生,试图根据大约1500名患者的数据库建立预测模型,每个患者有60多个参数。

我正在处理一个分类问题(1、3、6和12个月的死亡率),并进行了分层分割(70次训练/30次测试),并在训练每个时间点的随机森林、GLM和极限梯度增强模型之前使用Boruta算法进行了特征选择。

所有模型的AUC约为0.80(RF模型稍好),RF的Brier评分在0.09-0.17之间,其他两个的Brier得分在0.13-0.23之间。

因此,根据Brier评分,RF模型似乎稍有优势,但我想知道:

-我应该做更多的绩效评估吗?哪些以及为什么?

-如何解释我的结果?我的理解是,由于GLM模型表现良好,预测因子之间存在线性关联,但RF在性能上仍略有优势,但其缺点是更“复杂的模型”。

我计划使用不同的数据集进行外部验证,但到目前为止,我很想了解其他测量是否可以揭示不同模型的优势,而且我确信我缺少了一些东西,因为我是这个领域的新手,很想听到任何建议/意见。

如何在结果相似的不同模型之间进行选择?RF、GLM和XGBoost的更多相关文章

  1. 我如何在数千种变体中为我的ML模型选择最佳设置?

    我使用MLRandomForest模型,我希望尽可能地设置它的所有重要参数。因此,为此,我在多个循环中尝试所有可能的变量并保存它们的结果。当我完成时,我只是查看结果,哪种设置是最好的。因此,我向您提出了两个问题:做我正在做的事情是好的吗?我的意思是通过所有变体来找到最佳设置由于我的内存限制,可以在某个网站上完成吗?在线免费编译器,我可以在其上加载数据文件,并要求他们为我计算变量。

  2. 预测此数据集未来值的方法

    我将x作为日期,将y作为从0-400随机生成的值。我使用随机森林回归器进行性能调整,得到6500毫秒。它不是历史数据,而是随机生成的。我还想在数据集中包含季节性。如何解决这个问题。

  3. 如何在结果相似的不同模型之间进行选择?RF、GLM和XGBoost

    我是一名医生,试图根据大约1500名患者的数据库建立预测模型,每个患者有60多个参数。我正在处理一个分类问题,并进行了分层分割,并在训练每个时间点的随机森林、GLM和极限梯度增强模型之前使用Boruta算法进行了特征选择。所有模型的AUC约为0.80,RF的Brier评分在0.09-0.17之间,其他两个的Brier得分在0.13-0.23之间。-如何解释我的结果?我的理解是,由于GLM模型表现良好,预测因子之间存在线性关联,但RF在性能上仍略有优势,但其缺点是更“复杂的模型”。

  4. LibLinear使用总结L1,L2正则

    首先,liblinear和libsvm都是国立台湾大学林智仁老师团队开发的,libsvm早在2000年就已经发布,liblinear则在2007年才发布首个版本。关于实际时间对比,liblinear作者官方给出了以下数据:对于LIBSVM数据集中某实例"20242个样本/47236个特征",在保持交叉验证的精度接近的情况下,liblinear仅耗时约3秒,远远小于libsvm的346秒。线性svm还是logisticregression/L1正则化项还是L2正则化项liblinear支持多种solver模

  5. 在Ubuntu下安装xgboost

    操作系统为ubuntu-16.04.2-desktop-amd64。

  6. centos 6.7安装xgboost

    如果最新版不能安装,就试试老版本。

  7. 如何在Windows上的python中安装XGBoost包

    我试图在python中安装XGBoost包.我使用的是Windows操作系统,64位.我经历了以下事情.包目录指出xgboost对Windows不稳定并被禁用:Windows上的pip安装目前已被禁用以进行进一步的调查,请从github安装.https://pypi.python.org/pypi/xgboost/我不熟悉VisualStudio,面临构建XGBoost的问题.我错过了在数据科学中

  8. c# – ReadOnlyCollection如何隐藏添加和删除方法

    ReadOnlyCollection实现ICollection具有添加和删除等方法的界面.我知道如何使用属性从Intellisense隐藏方法,但是如果我尝试使用这些方法,怎么可能导致实际的编译错误?

随机推荐

  1. 如何扩展ATmega324PB微控制器的以下宏寄存器?

    我目前正在学习嵌入式,我有以下练习:展开以下宏寄存器:如果有人解决了这个问题,我将不胜感激,以便将来参考

  2. Python将ONNX运行时设置为返回张量而不是numpy数组

    在python中,我正在加载预定义的模型:然后我加载一些数据并运行它:到目前为止,它仍在正常工作,但我希望它默认返回Tensor列表,而不是numpy数组。我对ONNX和PyTorch都是新手,我觉得这是我在这里缺少的基本内容。这将使转换中的一些开销相同。

  3. 在macOS上的终端中使用Shell查找文件中的单词

    我有一个文本文件,其中有一行:我需要找到ID并将其提取到变量中。我想出了一个RexEx模式:但它似乎对我尝试过的任何东西都不起作用:grep、sed——不管怎样。我的一个尝试是:我为这样一个看似愚蠢的问题感到抱歉,但我在互联网上找不到任何东西:我在SO和SE上读了几十个类似的问题,并在谷歌上搜索了几个教程,但仍然无法找到答案。欢迎提供任何指导!

  4. react-chartjs-2甜甜圈图中只有标题未更新

    我正在使用react-chartjs-2在我的网站中实现甜甜圈图。下面是我用来呈现图表的代码。我将甜甜圈图的详细信息从父组件传递到子组件,所有道具都正确传递。当我在beforeDraw函数外部记录props.title时,它会记录正确的值,但当我在beforeDraw函数内部记录props.title时,它将记录标题的前一个值,从而呈现标题的前值。我在这里做错了什么?

  5. 如何在tkinter中使用Python生成器函数?

    生成器函数承诺使某些代码更易于编写。但我并不总是知道如何使用它们。假设我有一个斐波那契生成器函数fib(),我想要一个显示第一个结果的tkinter应用程序。当我点击“下一步”按钮时,它会显示第二个数字,依此类推。我如何构建应用程序来实现这一点?我可能需要在线程中运行生成器。但如何将其连接回GUI?

  6. 如何为每次提交将存储库历史记录拆分为一行?

    我正在尝试获取存储库的历史记录,但结果仅以单行文本的形式返回给我。

  7. 尝试在颤振项目上初始化Firebase时出错

    当尝试在我的颤振项目上初始化firebase时,我收到了这个错误有人知道我能做什么吗?应用程序分级Gradle插件Gradle项目颤振相关性我已经将firebase设置为Google文档已经在另一个模拟器上尝试过,已经尝试过创建一个全新的模拟器,已经在不同的设备上尝试过了,已经尝试了特定版本的firebase,已经尝试添加但没有任何效果,已经在youtube上看到了关于它的每一个视频,该应用程序在android和iOS两个平台上都抛出了这个错误

  8. 在unix中基于当前日期添加新列

    我试图在unix中基于时间戳列在最后一个单元格中添加一个状态列。我不确定如何继续。

  9. 麦克斯·蒙特利。我一直得到UncaughtReferenceError:当我在终端中写入node-v时,节点未定义

    如果这是您应该知道的,请确认:我已将所有shell更改为默认为zsh。当我在终端中写入node-v时,我一直收到“UncaughtReferenceError:nodeisnotdefined”。但它显示节点已安装。我是个新手,在这方面经验不足。

  10. 如何在前端单击按钮时调用后端中的函数?

    那么如何在后端添加一个新的端点,点击按钮调用这个函数。

返回
顶部