机器学习与泛化：监督学习使用带有目标标签的样本训练

数据泄漏会使评估结果高于真实应用水平。特征是模型用于表达输入的重要属性。特征缩放会影响部分算法的优化过程。缺失值处理需要考虑缺失产生的机制。过拟合表示模型学习了不易泛化的细节。欠拟合表示模型未充分表达数据规律。正则化通过约束或惩罚降低过拟合倾向。交叉验证利用多个划分估计模型表现。

时间序列验证应避免未来信息进入训练。损失函数量化预测与目标之间的差异。梯度下降沿损失减小的方向更新参数。学习率控制每次更新的步长大小。学习率过大可能导致训练振荡或发散。批大小影响梯度噪声和资源使用方式。超参数由训练过程外部设定或搜索。参数量多不保证模型在目标任务上更好。

分类模型把输入映射到离散类别。回归模型预测连续数值或相关分布。聚类根据相似关系把样本组织成组。降维把高维数据转换为较低维表示。主成分分析寻找方差较大的线性方向。决策树通过条件分支划分特征空间。随机森林组合多棵树以改善泛化稳定性。梯度提升逐步叠加模型修正已有误差。