用NVIDIA cuML加速堆叠泛化与超参数优化，15分钟内提升预测精度1.44%

堆叠泛化（stacking generalization）与超参数优化（hyperparameter optimization，简称HPO）是机器学习工程师广泛使用的两种技术。前者通过组合多个模型来提高整体预测性能，后者则通过系统地寻找最佳超参数配置来最大化单个模型的表现。然而，这两种方法结合使用时面临的主要挑战在于巨大的计算资源需求和时间成本。对此，NVIDIA 的 cuML 库提供了一种解决方案，该库能够显著加速基于 GPU 的模型训练过程，从而在短短 15 分钟内完成堆叠泛化与 HPO 结合的工作流程，且无需对现有代码进行任何修改。 在实验中，研究团队使用了一个包含 1 百万个样本和 9 个特征的分类数据集。他们选择了三种不同的基础模型：随机森林（Random Forest）、K 最近邻（K-Nearest Neighbors，简称KNN）和逻辑回归（Logistic Regression）。这些基础模型的预测结果被传递给一个 KNN 元模型，元模型基于这些综合结果进行了最终分类。 通过实施五折分层交叉验证（stratified cross-validation），堆叠泛化使得预测准确率提高了 0.28%。接下来，为了进一步提升性能，团队对每个基础模型及元模型应用了 HPO。Optuna 库被选为 HPO 工具，整个过程同样得到了 cuML 库的 GPU 加速支持。结果表明，使用 HPO 后，模型的预测准确率比未优化前提高了 1.44%。 cuML 的主要优势在于其零代码更改集成能力，这意味着开发者可以在不修改现有 scikit-learn 算法代码的情况下，实现 GPU 加速。这一特性的实际效果非常显著。在没有 GPU 加速的情况下，每个 HPO 迭代平均需要 5 分钟；而使用 cuML 后，迭代时间缩短至 5 秒左右。实验中，团队在 15 分钟内完成了约 40 次迭代，相比之下，CPU 计算仅能完成一次类似的迭代流程。 总体而言，结合使用堆叠泛化与 HPO 技术，并借助 NVIDIA cuML 的 GPU 加速功能，能够在较短的时间内大幅提升模型的预测准度。这不仅增强了模型的整体表现，还加快了开发周期，使数据科学家能够在实际应用中更高效地迭代和优化模型。 业内专家表示，这种方法为数据科学领域带来了革命性的改变，尤其是在处理大规模数据集时。传统的 CPU 计算方式往往受限于时间和计算资源，而 cuML 的出现极大地解决了这一问题。NVIDIA 是全球领先的图形处理器制造商，长期以来在加速计算领域有着深厚的研发积累和技术优势。此次发布的 cuML 库，正是 NVIDIA 在推动机器学习和数据科学发展方面的一大举措。 感兴趣的数据科学家和开发者可以下载最新版本的 NVIDIA cuML，以体验这一新技术。用户可以在 Slack 的 #RAPIDS-GoAi 频道分享反馈和经验。此外，NVIDIA 官方提供了详细的教程和实例，包括 Google Colab 笔记本，帮助用户更好地了解 cuML 的零代码更改加速功能。NVIDIA 还开设了数据科学学习路径课程，供初学者和专业人士深入探索相关技术。