1 定义数据集导入函数
import numpy as np """ 函数说明：打开并解析文件，对数据进行分类：1 代表不喜欢，2 代表魅力一般，3 代表极具魅力Parameters:filename - 文件名 Returns:returnMat - 特征矩阵classLabelVector - 分类Label向量 """ def file2matrix(filename):# 打开文件fr = open(filename)# 读取文件所有内容array0Lines = fr.readlines()# 得到文件行数number0fLines = len(array0Lines)# 返回一个NumPy矩阵，解析完成的数据：number0fLines行，3列returnMat = np.zeros((number0fLines, 3))# 返回的分类标签向量classLabelVector = []# 行的索引值index = 0for line in array0Lines:# s.strip(rm), 当rm空时，默认删除空白符（包括'\n', '\r', '\t', ' '），去除的首部和尾部的空白符line = line.strip()# 使用s.strip(str = "", num = string, cout(str))将字符串根据 '\t' 分隔符进行切片listFromLine = line.split('\t')# 将数据前三列提取出来，存放到returnMat的NumPy矩阵中，也就是特征矩阵returnMat[index, :] = listFromLine[0:3]# 根据文本中标记的喜欢的程度进行分类，1 代表不喜欢，2 代表魅力一般，3 代表极具魅力if listFromLine[-1] == "1":classLabelVector.append(1)elif listFromLine[-1] == "2":classLabelVector.append(2)elif listFromLine[-1] == "3":classLabelVector.append(3)index += 1# 返回特征矩阵和标签向量return returnMat, classLabelVector""" 函数说明:main函数Parameters:无 Returns:无 """ if __name__ == '__main__':# 打开的文件名filename = 'datingTestSet2.txt'# 打开并处理数据datingDataMat, datingLabels = file2matrix(filename)# 打印print(datingDataMat)print(datingLabels)
2 分析数据：数据可视化
import matplotlib import matplotlib.pyplot as plt fig = plt.figure() ax = fig.add_subplot(111) ax.scatter(datingDataMat[:, 0], datingDataMat[:, 1], 15.0*np.array(datingLabels), 15.0*np.array(datingLabels)) plt.show()
3 数据归一化
import numpy as np """ 函数说明:对数据进行归一化Parameters:dataSet - 特征矩阵 Returns:normDataSet - 归一化后的特征矩阵ranges - 数据范围minVals - 数据最小值 """ def autoNorm(dataSet):# 获得数据的最小值minVals = dataSet.min(0)maxVals = dataSet.max(0)# 最大值和最小值的范围ranges = maxVals - minVals# shape(dataSet)返回dataSet的矩阵行列数normDataSet = np.zeros(np.shape(dataSet))# 返回dataSet的行数m = dataSet.shape[0]# 原始值减最小值normDataSet = dataSet - np.tile(minVals, (m, 1))# 除以最大和最小值的差，得到归一化数据normDataSet = normDataSet / np.tile(ranges, (m, 1))# 返回归一化数据结果，数据范围，最小值return normDataSet, ranges, minVals
if __name__ == '__main__':normDataSet, ranges, minVals = autoNorm(datingDataMat)print(normDataSet)print(ranges)print(minVals)
4 定义K近邻算法
import numpy as np import operator""" 函数说明:kNN算法,分类器Parameters:inX - 用于分类的数据(测试集)dataSet - 用于训练的数据(训练集)labes - 分类标签k - kNN算法参数,选择距离最小的k个点 Returns:sortedClassCount[0][0] - 分类结果 """ def classify0(inX, dataSet, labels, k):# 获取dataSet(训练集)的行数，即有多少个样本dataSetSize = dataSet.shape[0]# 将inX纵向重复dataSetSize次，横向重复1次，得到的diffMat矩阵规格与dataSet一致diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet# 二维特征相减之后求平方。（注：参考求两点间的距离公式）sqDiffMat = diffMat ** 2# 接下俩进行求和，将sqDiffMat[0] + sqDiffMat[1]，可以使用sum(axis = 1)来完成sqDistance = sqDiffMat.sum(axis = 1)# 开方，计算出距离distances = sqDistance ** 0.5# 返回distance中元素从小到大排序后的索引值sortedDistIndices = distances.argsort()# 定义一个记录类别次数的字典classCount = {}for i in range(k):# 首先取出前k个元素的类别voteIlabel = labels[sortedDistIndices[i]]# dict.get(key, default = None), 字典的get()方法，返回指定键的值，如果值不在字典中，返回默认值# 计算类别次数classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1# Python 字典 items() 方法以列表返回可遍历的(键, 值) 元组数组# key = operator.itemgetter(1)根据字典的值进行排序# key = operator.itemgetter(0) 根据字典的键进行排序# reverse降序排序字典sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse=True)# 返回次数最多的类别，即所要分类的类别return sortedClassCount[0][0]
5 测试分类器
""" 函数说明:分类器测试函数Parameters:无 Returns:normDataSet - 归一化后的特征矩阵ranges - 数据范围minVals - 数据最小值 """ def datingClassTest():# 打开的文件名filename = 'datingTestSet2.txt'# 将返回的特征矩阵和分类向量分别存储到datingDataMat和datingLabels中datingDataMat, datingLabels = file2matrix(filename)# 取所有数据的百分之十做为测试集hoRatio = 0.10# 数据归一化，返回归一化后的矩阵，数据范围，数据最小值normMat, ranges, minVals = autoNorm(datingDataMat)# 获得normMat的行数m = normMat.shape[0]# 百分之十的测试数据的个数numTestVecs = int(m * hoRatio)# 分类错误计数errorCount = 0.0for i in range(numTestVecs):# 前numTestVecs个数作为测试集，后m - numTestVecs个数作为训练集classifierResult = classify0(normMat[i, :], normMat[numTestVecs : m, :], datingLabels[numTestVecs : m], 4)print("分类结果：%d\t真实类别:%d" %(classifierResult, datingLabels[i]))if classifierResult != datingLabels[i]:errorCount += 1.0print("错误率：%f%%" %(errorCount / float(numTestVecs) * 100))if __name__ == '__main__':datingClassTest()
6 使用算法构建完整可用系统
""" 函数说明:通过输入一个人的三维特征,进行分类输出Parameters:无 Returns:无 """ def classifyPerson():# 输出结果resultList = ['讨厌', '有些喜欢', '非常喜欢']# 三维特征用户输入precentTats = float(input("玩视频游戏所耗时间百分比："))ffMiles = float(input("每年获得的飞行常客里程数："))iceCream = float(input("每周消费的冰淇淋公升数："))# 打开的文件名filename = 'datingTestSet2.txt'# 打开并处理数据datingDataMat, datingLabels = file2matrix(filename)# 训练集归一化normMat, ranges, minVals = autoNorm(datingDataMat)# 生成Numpy数组，测试集inArr = np.array([ffMiles, precentTats, iceCream])# 测试集归一化norminArr = (inArr - minVals) / ranges# 返回分类结果classifierResult = classify0(norminArr, normMat, datingLabels, 3)# 打印结果print("你可能%s这个人" % (resultList[classifierResult - 1]))if __name__ == "__main__":classifyPerson()
数据集链接：
链接：https://pan.baidu.com/s/189T9K4lrNM3vGjPQoP-txQ （需要复制粘贴，直接点击打不开，不知道为什么）
提取码：mnr4
参考：
1、《机器学习实战》书籍
2、https://cuijiahua.com/blog/2017/11/ml_1_knn.html
3、深度之眼机器学习实战训练营课后作业（http://www.deepshare.net/）