机器学习基础原理————数据预处理原理及代码
数据和特征决定机器学习上限，特征选择与数据降维是降低数据维度的核心技术。特征选择旨在构建简单可理解模型、提升数据挖掘性能及准备干净数据，常用算法包括依赖学习算法预测性能的Wrapper方法（如SFS、SBS序列选择算法，易面临NP-hard问题）、基于变量排序的Filter...
数据和特征决定机器学习上限，特征选择与数据降维是降低数据维度的核心技术。特征选择旨在构建简单可理解模型、提升数据挖掘性能及准备干净数据，常用算法包括依赖学习算法预测性能的Wrapper方法（如SFS、SBS序列选择算法，易面临NP-hard问题）、基于变量排序的Filter...
集成学习通过组合多个弱学习机（如决策树、人工神经网络等）提升预测效果，在统计、计算及表示上较单一弱学习机有显著改善。Bagging和Boosting是两种主要集成方法。Bagging中，Random Forest以决策树为弱学习机，常用ID3（基于香农熵分裂）、C4.5（基...
机器学习模型仅靠预测结果和单一指标（如分类准确性）无法满足实际需求，尤其在高风险场景中，需权衡预测性能与决策解释的必要性。机器学习可解释性通过构建解释器解决黑盒模型决策逻辑问题，其核心特征包括：可解释性（需搭配可解释模型如决策树、线性模型及可解释特征，确保非专业人士理解）、...
机器学习模型在实际应用中，仅依赖预测准确性不足，尤其在高风险场景需解释决策依据，即可解释性。可解释模型需满足可解释性（模型与特征易理解，如决策树、线性模型搭配可解释特征）、局部保真度（在关注样本局部近似复杂模型效果）、与模型无关（适用于SVM、神经网络等各类黑盒模型），常用...
贝叶斯优化是一种通过有限步骤实现全局优化的方法，适用于解决机器学习超参数优化等黑盒优化问题。其核心框架包括代理模型和采集函数两大组件：代理模型（如高斯过程GP、TPE）通过概率模型替代原始评估代价高昂的复杂目标函数，其中高斯过程通过核函数定义随机变量的联合分布，能有效捕捉函...