提升树模型采用加法模型（基函数的线性组合）与前向分步算法，同时基函数采用决策树算法（对待分类问题采用二叉分类树，对于回归问题采用二叉回归树）。

提升树模型可以看作是决策树的加法模型：

tree.png

其中T()表示决策树，M为树的个数， Θ表示决策树的参数。

提升树算法采用前向分部算法，首先确定f0(x) = 0，第m步的模型是：

f(x).png

对决策树的参数Θ的确定采用经验风险最小化来确定：

min.png

对于不同的问题采用的损失函数不同，对于回归问题来说，一般采用平方误差函数。