python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > python决策树与随机森林概率论

python机器学习基础决策树与随机森林概率论

作者:Swayzzu

这篇文章主要为大家介绍了python机器学习基础决策树与随机森林概率论详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步

一、决策树原理概述

1.决策树原理

决策树的分类原理,相当于程序中的if-then结构,通过条件判断,来决定结果。

2.信息论

①信息熵

假设有32支球队,在不知道任何信息的情况下,以二分法去猜冠军,最多猜log(2)32 = 5次。此时:每个球队的夺冠概率为1/32,那么:

5 = -(1/32log1/32 + 1/32log1/32 + ......)共32项相加。

若事先可以得知一点点信息,则使用二分法猜冠军的时候,次数一定比5次小,那么它的准确信息量应该是:

H = -(p1logp1 + p2logp2 + ... + p32logp32)

则H称为信息熵,单位为比特bit。

根据以上内容,可知,信息是和消除不确定性相联系的。当毫无信息的时候,信息熵最大,只要有了一定的信息,那么信息熵就会减小,不确定性也会减小。

②决策树的分类依据

信息增益:当得知一个特征条件之后,减少的信息熵的大小。计算公式如下:

每一个特征所对应的信息增益都可以通过上式计算出来,通过比较,信息增益最大的作为首要的分类标准。也就是说,每一个特征都可能对减小信息熵有作用,并且作用大小不一样。作用越大,减少的信息熵越大,则该特征越重要,便可首先拿这个最重要的作为分类标准。

③其他决策树使用的算法

其中,基尼系数对样本的划分更加仔细,甚至能对训练集分类达到100%,但通常这种情况下,会导致模型在测试集中的表现不好,因为它为了达到更高的拟合度,会过于针对训练集样本,由此降低了普遍性。

④决策树API

二、决策树算法案例

1.案例概述

本案例中,使用泰坦尼克号上的乘客数据作为样本,是否存活作为目标值。样本特征包含年龄、性别、目的地、船舱类型等等。我们在模型训练中,只使用了船舱类型(Pclass),性别(Sex),年龄(Age)这三个作为训练集样本特征。

2.数据处理

假设已经获取到了数据集,并赋值给titan

找出特征值和目标值:x = titan[['Pclass', 'Age', 'Sex']] y = titan['Survived']

缺失值处理:x['Age'].fillna(x['Age'].mean(), inplace=True)

分割数据集:x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

3.特征工程

由于船舱类型和性别的数据都不是数字,因此需要用one-hot编码来代替特征数据。通过字典数据处理,即可生成。因此,需要将训练集转换为字典,通过DictVectorizer转换即可。(注意:转换的是整个训练集,而不是单独转换某几列)

实例化转换器:dict = DictVectorizer(sparse = False)

对训练集转换:x_train = dict.fit_transform(x_train.to_dict,(orient='records'))

对测试集转换:x_test = dict.transform(x_test.to_dict(orient='records'))

4.使用决策树进行预测

预测后可以使用graphviz查看图像化的决策树。需要先安装,将导出的dot文件直接放在graphviz目录下,在命令行,通过 dot -Tpng tree.dot -o tree.png命令即可导出png图像。

dec = DecisionTreeClassifier()

训练算法:dec.fit(x_train,y_train)

打印准确率:print(dec.score(x_test, y_test))

导出树的结构:tree.export_graphviz(dec, out_file='D:/Graphviz/tree.dot', feature_names= [","])

注意,最后一个feature_names,直接在特征工程中,调用dict.get_feature_names,即可输出所需内容。

5.决策树优缺点及改进

优点:

原理及解释较为简单,并且可以将树木可视化

需要很少的数据准备,其他技术通常需要数据归一化

缺点:

决策树学习者可以创建不能很好地推广数据的过于复杂的树,这被称为过拟合。

决策树可能不稳定,因为数据的小变化可能会导致完全不同的树被生成

改进:

减枝cart算法、随机森林

三、随机森林

1.集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。

随机森林就是一种继承学习方法,定义:在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。

2.单个树建立过程

①随机在N个样本中,有放回地选择一个样本,重复N次,样本可能重复

②随机在M个特征中选出m个特征,m取值小于总特征M

假如建立了10棵决策树,他们的样本以及特征大多都是不一样的。使用随机有返回的抽样(bootstrap抽样)。

3.随机森林API

随机森林超参数:

n_estimator:决策树数量

max_depth:每棵树深度限制

4.随机森林使用案例

还是用上面决策树的案例,假设已经准备好了训练集x_train, y_train,测试集x_test, y_test

rf = RandomForestClassifier()

由于随机森林有超参数n_estimator,max_depth,因此可以使用网格搜索交叉验证,对不同的参数组合进行一一验证,寻找最好的参数组合模型。

设置超参数取值:param = {'n_estimator':[100,200,300,400,500], 'max_depth':[5,10,15,20]}

实例化算法:gc = GridSearchCV(rf, param_grid=param, cv=2) (假设使用二折验证)

训练算法:gc.fit(x_train, y_train)

输出准确率:gc.score(x_test, y_test)

查看所选择的参数模型:gc.best_params_

5.随机森林的优点

①在当前所有算法中,具有极好的准确率

②能够有效地运行在大数据集上(样本数、特征数)

③能够处理具有高维特征的输入样本,而且不需要降维

④能够评估各个特征在分类问题上的重要性

以上就是python机器学习基础决策树与随机森林概率论的详细内容,更多关于python决策树与随机森林概率论的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
阅读全文