机器学习与泛化：正则化通过约束或惩罚降低过拟合倾向

分类模型把输入映射到离散类别。回归模型预测连续数值或相关分布。聚类根据相似关系把样本组织成组。降维把高维数据转换为较低维表示。主成分分析寻找方差较大的线性方向。决策树通过条件分支划分特征空间。随机森林组合多棵树以改善泛化稳定性。梯度提升逐步叠加模型修正已有误差。

神经网络通过多层可学习变换构建表示。激活函数为网络引入非线性表达能力。反向传播高效计算参数对应的损失梯度。卷积结构利用局部连接和参数共享。注意力机制根据相关程度组合输入信息。迁移学习复用已有模型在其他任务的知识。微调调整预训练模型以适应特定数据。类别不平衡可能使总体准确率产生误导。

精确率关注预测为正的样本是否真正为正。召回率关注实际正样本被发现的比例。阈值改变会影响精确率和召回率之间权衡。概率校准检查预测概率与实际频率的对应。分布漂移使上线数据偏离训练时的条件。模型监控需要同时关注性能和数据质量。可解释方法帮助理解部分模型决策依据。模型应用应根据具体任务验证实际收益。