广义加性模型

传统线性模型所面临的问题：

在现实生活中，变量的作用通常不是线性的。

广义加性模型是一种自由灵活的统计模型，它可以用来探测到非线性回归的影响。模型如下：

E(Y|X1,...,Xp)=α+f1(X1)+f2(X2)+...+fp(Xp)

X1,...,Xp 是预测器(predictor)，其实就是自变量；

Y是输出；

fj是非参数函数；

α和fj()是要估计的；

直观的理解就是，模型放松了对X是线性的要求，可以对每个自变量进行非线性的变换。

树模型

感觉ESL里的树模型和决策树的思想类似。

二者都是根据自变量X来对原始输入空间进行划分。然后使用相应的函数来检测划分子集的纯度怎么样，一次来判断划分的好坏。

《统计学习方法》里说可以将决策树看作是 if−then 规则，每条路径构建一条判别规则。任意一个实例都被且仅被一条路径覆盖。

ESL中损失函数定义为：

Cα(T)=∑m=1|T|NmQm(T)+α|T|

T 代表树模型，|T|代表叶子的个数；

Nm 代表第m个叶子中的实例个数；

c^m=1Nm∑xi∈Rmyi；

Qm(T)=1Nm∑x∈Rm(yi−c^m)2 ；

α|T| 是用来做剪枝，控制复杂度用的；

小插曲：

前面的文章曾经介绍过分段多项式：

我感觉这个图可以看成是只有一个连续属性的决策树，即X∈R。这里对划分结点的选择是一个值得探讨的问题。这个问题在 knots选择里应该有涉及。

决策树又可分为回归和分类两类，区别在于选取划分点和划分自变量上。对于回归可以使用：

minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]

j 是划分变量；

s是划分点；

分类问题可以使用信息增益，基尼指数，增益率等等来做。

参考文章: ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十二）

如果觉得《广义加性模型和树模型》对你有帮助，请点赞、收藏，并留下你的观点哦！