ID3 决策树

西瓜数据集D如下:

编号	色泽	根蒂	敲声	纹理	脐部	触感	好瓜
1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	是
2	乌黑	蜷缩	沉闷	清晰	凹陷	硬滑	是
3	乌黑	蜷缩	浊响	清晰	凹陷	硬滑	是
4	青绿	蜷缩	沉闷	清晰	凹陷	硬滑	是
5	浅白	蜷缩	浊响	清晰	凹陷	硬滑	是
6	青绿	稍蜷	浊响	清晰	稍凹	软粘	是
7	乌黑	稍蜷	浊响	稍糊	稍凹	软粘	是
8	乌黑	稍蜷	浊响	清晰	稍凹	硬滑	是
9	乌黑	稍蜷	沉闷	稍糊	稍凹	硬滑	否
10	青绿	硬挺	清脆	清晰	平坦	软粘	否
11	浅白	硬挺	清脆	模糊	平坦	硬滑	否
12	浅白	蜷缩	浊响	模糊	平坦	软粘	否
13	青绿	稍蜷	浊响	稍糊	凹陷	硬滑	否
14	浅白	稍蜷	沉闷	稍糊	凹陷	硬滑	否
15	乌黑	稍蜷	浊响	清晰	稍凹	软粘	否
16	浅白	蜷缩	浊响	模糊	平坦	硬滑	否
17	青绿	蜷缩	沉闷	稍糊	稍凹	硬滑	否

即集合D为分类问题,分类瓜的好坏是一个二分类问题,故|y| =2 ,故只存在p1,p2

信息熵为衡量信息混乱程度的量
记好瓜比例为p1,坏瓜比例为p2

$$\begin{gathered} 1.若全是好瓜,则p_1=1,p_2=0 \\ Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k \\ =-(p_{1}lo{g}_2{p}_1+p_{2}lo{g}_2{p}_2) \\ =1\cdot lo{g}_2\cdot 1+0\cdot lo{g}_2\cdot 0 \\ =0 \\ 2.若全是好瓜,则p_1=0,p_2=1 \\ Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k \\ =-(p_{1}lo{g}_2{p}_1+p_{2}lo{g}_2{p}_2) \\ =0\cdot lo{g}_2\cdot 0+1\cdot lo{g}_2\cdot 1 \\ =0 \\ 则完全不混乱为全是好瓜或全是坏瓜,Ent(D)=0 \\ 2.若全是好坏瓜个一半,则p_1=\frac{1}{2},p_2=\frac{1}{2} \\ Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k \\ =-(p_{1}lo{g}_2{p}_1+p_{2}lo{g}_2{p}_2) \\ =-(\frac{1}{2}\cdot lo{g}_2\cdot \frac{1}{2}+\frac{1}{2}\cdot lo{g}_2\cdot \frac{1}{2}) \\ =1 \\ 则最混乱为Ent(D)=1 \end{gathered}$$

当前样本集合D中第k类样本所占比例为pk(k=1,2,3,…,|y|),则D的信息熵为:

$$Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k$$

信息增益为:

$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|Dv|}{|D|}Ent(D^v)$$

import math
D = [
['青绿','蜷缩','浊响','清晰','凹陷','硬滑','是'],
['乌黑','蜷缩','沉闷','清晰','凹陷','硬滑','是'],
['乌黑','蜷缩','浊响','清晰','凹陷','硬滑','是'],
['青绿','蜷缩','沉闷','清晰','凹陷','硬滑','是'],
['浅白','蜷缩','浊响','清晰','凹陷','硬滑','是'],
['青绿','稍蜷','浊响','清晰','稍凹','软粘','是'],
['乌黑','稍蜷','浊响','稍糊','稍凹','软粘','是'],
['乌黑','稍蜷','浊响','清晰','稍凹','硬滑','是'],
['乌黑','稍蜷','沉闷','稍糊','稍凹','硬滑','否'],
['青绿','硬挺','清脆','清晰','平坦','软粘','否'],
['浅白','硬挺','清脆','模糊','平坦','硬滑','否'],
['浅白','蜷缩','浊响','模糊','平坦','软粘','否'],
['青绿','稍蜷','浊响','稍糊','凹陷','硬滑','否'],
['浅白','稍蜷','沉闷','稍糊','凹陷','硬滑','否'],
['乌黑','稍蜷','浊响','清晰','稍凹','软粘','否'],
['浅白','蜷缩','浊响','模糊','平坦','硬滑','否'],
['青绿','蜷缩','沉闷','稍糊','稍凹','硬滑','否']
]
A = ['色泽','根蒂','敲声','纹理','脐部','触感','好瓜']# 当前样本集合D中第k类样本所占比例为pk(k=1,2,3,…,|y|)
# 计算A的信息熵,以数据最后一列为分类
def getEnt(D):# 获取一个类型k->出现次数的mapkMap = dict()for dLine in D:# 获取分类值kk = dLine[len(dLine) - 1]# 获取当前k出现的次数kNum = kMap.get(k)if  kNum is None:kMap[k] = 1else:kMap[k] = kNum + 1# 遍历mapdLen = len(D)rs = 0for kk in kMap:pk = kMap[kk]/dLenrs = rs + pk * math.log2(pk)return -rs# 求信息增益,aIndex为属性列号
def getGain(D,aIndex):dMap = dict()for dLine in D:# 获取属性k = dLine[aIndex]# 属性所属的数组dChildren = dMap.get(k)if  dChildren is None:dChildren = []dMap[k] = dChildrendChildren.append(dLine)rs = 0    for key in dMap:dChildren = dMap[key]entx = getEnt(dChildren)print(entx)r = len(dChildren)/len(D) * entxrs = rs + rreturn getEnt(D) - rs