代码来源：

该代码来自：《机器学习实战》第二章K-近邻算法P31页

digits 文件下数据格式分析：

训练数据的手写体数字个数为 1934
测试的手写体数字个数为 946
该目录下的文件按照规则命名，如文件9_45.txt的分类是9，它是数字9的第45个实例。

代码分析：

该算法的执行效率不高，因为该算法需要为每个测试向量做2000次距离计算，每个距离计算包括1024个维度浮点运算，总共要做900次。
K-近邻算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数 据。K-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外, 由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。 K-近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息，因此我们也无法知晓平均 实例样本和典型实例样本具有什么特征.

进行优化的方法：

K决策树就是KNN算法的优化版，可以节省大量计算开销

KNN的手写体数字识别代码如下：

'''
kNN: k Nearest Neighbors

Input:      inX: vector to compare to existing dataset (1xN)
            dataSet: size m data set of known vectors (NxM)
            labels: data set labels (1xM vector)
            k: number of neighbors to use for comparison (should be an odd number)

Output:     the  digit label

'''


from numpy import *
import operator
from os import listdir

# KNN分类方法
def classify0(inX, dataSet, labels, k):
    # 距离计算——使用欧氏距离，计算两个向量点的距离
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    # 把距离从小到大排序
    sortedDistIndicies = distances.argsort()
    classCount={}
    for i in range(k):
        # 统计距离最 近的 k 个 数据的 标签分类出现次数
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    # 对 标签分类出现次数 进行  从大到小 排序
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]


# 这里把 32 * 32 的 二进制图像矩阵 转换为  1 * 1024 的向量
def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect


def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('digits/trainingDigits')           #load the training set
    m = len(trainingFileList)

    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        # 获取文件名
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        # 获取标签数值
        classNumStr = int(fileStr.split('_')[0])
        # 待识别图片数字的 标签数值 保存在  hwLabels 中
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)
    testFileList = listdir('digits/testDigits')        #iterate through the test set
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        # 调用KNN分类方法
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if(classifierResult != classNumStr):
            errorCount += 1.0
    print("\n the total number of errors is: %d" % errorCount)
    print("\n the total error rate is: %f" % (errorCount/float(mTest)))
    print("测试的手写体数字个数为 %d " % mTest)

# 调用方法
handwritingClassTest()

更多精彩内容