提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

此时实验利用KNN算法实现手写数字识别，为了简单起见只能识别数字0到9需要识别的数字已经使用图形处理软件处理成相同的色彩和大小：宽高32像素x32像素的黑白图像，并将图像转换为文本格式。

提示：以下是本篇文章正文内容，下面案例可供参考

        （1）收集数据：提供文本文件；

        （2）准备数据：编写函数classify0(),将图像格式转换为分类器使用的List格式；

        （3）测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区 

                 别在于测试样本是已经完成分类的数据，如果预测分类和实际类别不同，则标记为一个

                 错误。

数据集包括两部分，一部分是训练数据集，共有1934个数据；另一部分是测试数据集，共有946个数据。两个数据集中所有命名格式是统一的，例如“3_12.txt”,表示数字5 的第12个样本，这样是为了方便提取出样本的真实标签。

  将图像格式化处理为一个向量，把每一个32x32的二进制图像矩阵转换为1x1024的向量。编写函数img2vector,将图像转换为向量：该函数创建1X1024的Numpy数组，然后打开给定的文件，循环读出文件的前32 行，并将每行的头32个字符值存储在Numpy数组中，最后返回数据。

代码如下：

代码如下：

将trainingDigits目录中的文件内容存储在列表中，然后可以得到目录中有多少文件，并将其存储在变量m中。接着创建一个m行1024列的训练矩阵，该矩阵的每行数据存储一个图像。我们可以从文件名中解析出分类数字。如9_45.txt的分类是9，它是数字9 的第45个实例。然后我们可以将类代码存储在hwLabels向量中，使用img2vector函数载入图像。接着对testDigits目录中的文件执行相似的操作，不同之处是我们并不将这个目录下的文件载入矩阵中，而是使用classify0()函数测试该目录下的每个文件。

当K=3时，测试946个数字准确率达到98.94%，只有10个数字预测错误，准确率很高，但是运行效率比较低，达到24秒。因为每个测试数据都要与1934个训练数据进行距离计算，而每次计算又包含1024个维度浮点运算，高次数多维度的计算是导致该实验运行效率低的主要原因。

K变成5之后错误率升高到1.8%，所以相对K=3是比较合适的。

选择较小的K值，就相当于用较小的领域中的训练实例进行预测，近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，K值的减小就意味着整体模型变得复杂，容易发生过拟合；选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学习的估计误差，但缺点是学习的近似误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单，容易欠拟合。

在实际应用中，K值一般取一个比较小的数值，例如采用交叉验证法（简单来说，就是把训练数据在分成两组:训练集和验证集）来选择最优的K值。 

10个测试结果错误两个，观察预测错误的文本文件如下：

5_1.txt预测为3，实际结果为5.

 由此可以认为准备数据十分重要，同样将图像数据转换为文本数据的函数实现准确率对用K近邻算法实现手写数字识别也是必不可少的。

该处使用的url网络请求的数据。

K-近邻算法：

优点：1.简单有效的分类算法，一种lazy-learningsuanfa;

           2.不需要训练，训练时间复杂度为0；

           3.对异常值不敏感（个别噪音数据对结果的影响不是很大）。

缺点：1.计算复杂度高，空间复杂度高，KNN算法的计算复杂度和训练集中的文档数目成正比，若

            总数为N，则分类时间复杂度为O(N)。

           2.耗内存：必须保存全部的数据集；

           3.耗时间，运行效率比较低；

           4.无法给出任何数据的内在含义。