第三章 线性模型（linear model）
公式暂略，做一下概念性笔记
3.1 基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数。w可以表示各个属性的权重，因此线性模型有很好的可解释性（comprehensibility）
f（x）=w1x1+w2x2+w3x3+...+wdxd+b
3.2 线性回归（linear regression）
如何确定w，b？
常用的性能度量：均方误差（mean-square error, MSE），又称平方损失（square loss），可以使均方误差最小化
均方误差几何意义对应了“欧氏距离”（Euclidean distance）
“最小二乘法”（least square method）：基于均方误差最小化来进行模型求解，在线性回归中，最小二乘法使所有样本到直线上的欧氏距离之和最小
“多元线性回归“（multivariate linear regression）
3.3 对数几率回归
若是分类任务？
找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来
二分类任务，将实值z转换为0/1值，使用”单位阶跃函数“（unit-step function）
但是单位阶跃函数不连续，故可用对数几率函数(logistic function)，是一种"Sigmoid"函数
3.4 线性判别分析（linear discriminant analysis，LDA）
思想：给定训练样例集，将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离
同类接近：可以让投影点的协方差尽可能小
异类远离：可以让类中心之间的距离尽可能大
若同时考虑二者，则可得到最大化目标”类内散度矩阵“（within-class scatter matrix）以及”类间散度矩阵“（between-class scatter matrix）
”广义瑞利商“（generalized Rayleigh quotient）
3.5 多分类学习
基本思路：拆解法，将多分类任务拆为若干个二分类任务求解
暂略
3.6 类别不平衡问题
指分类任务中不同类别的训练样例数目差别很大
基本策略：”再缩放“（rescaling）
第一类：直接对训练集里的反类样例进行”欠采样“（undersampling）
去除一些反例，使得正、反例数目接近，再进行学习
第二类：对训练集里的正类样例进行”过采样“（oversampling）
增加正例使得正、反例数目接近，再进行学习
第三类：直接基于原始的训练集进行学习，在使用训练好的分类器进行预测时，将”再缩放“嵌入决策过程中，称为”阈值移动“（threshold-moving）