决策边界的重要性/意义         在使用数据集训练机器学习模型之后，我们通常需要可视化特征空间中数据点的类。散点图上的决策边界就是出于这个目的。而散点图更是包含着属于不同类别的数据点（用颜色或形状表示），决策边界可以通过多种不同的策略绘制：

        单线决策边界：在散点图上绘制决策边界的基本策略是找到一条将数据点分隔成不同类区域的单线。现在，利用训练过的模型找到与机器学习算法相关的参数，进而找到这条直线。然后利用得到的参数和机器学习算法找到直线坐标。如果你不知道ML算法的工作原理，那么你将无法继续进行下去。

        基于轮廓的决策边界：另一种策略是绘制轮廓，这些轮廓是用匹配或紧密匹配的颜色包围数据点的区域——描绘数据点所属的类，以及描绘预测类的轮廓。这是最常用的策略，因为它不使用模型训练后得到的机器学习算法的参数和相关计算。但另一方面，我们并不能很好地用一条直线来分离数据点，也就是说这条直线只能通过训练后得到的参数及其坐标计算得到。

        在二分类问题中，我们只需要一个线性判别函数 𝑓 ( 𝒙 ; 𝒘 ) = 𝒘 T 𝒙 + 𝑏 𝑓(𝒙; 𝒘) = 𝒘^T𝒙 + 𝑏 f(x;w)=wTx+b。特征空间 R 𝐷 \mathbb{R}^𝐷 RD 中所有满足 𝑓 ( 𝒙 ; 𝒘 ) = 0 𝑓(𝒙; 𝒘) = 0 f(x;w)=0 的点组成一个分割超平面（Hyperplane），称为决策边界（Decision Boundary）或决策平面（Decision Surface）。决策边界将特征空间一分为二，划分成两个区域，每个区域对应一个类别。

        超平面是纯粹的数学概念，不是物理概念，它是平面中的直线、空间中的平面的推广，只有当维度大于3，才称为“超”平面。通常，在1维空间里超平面为数轴上的一个点，在2维空间中的超平面是一条线，在3维空间中的超平面是一个平面。一个超平面可以将它所在的空间分为两半, 它的法向量指向的那一半对应的一面是它的正面, 另一面则是它的反面。

        决策边界主要分为线性决策边界（linear decision boundaries）和非线性决策边界（non-linear decision boundaries）。注意：决策边界是假设函数的属性，由参数决定，而不是由数据集的特征决定。下面主要举一些例子，形象化的来说明线性决策边界和非线性决策边界。

        对于下面的数据分布，图中这条直线可以比较完美地将数据分成两类。如下：

        如果我们遇到下图的情况，我们就不能用一个直线将其进行分类了，而是可以用一个圆将数据进行分类。下面来看一下非线性的决策边界的例子：

        对于逻辑回归原理的详细介绍，可以阅读：线性分类（三）-- 逻辑回归 LR

        回顾逻辑回归分类的原理：通过训练的方式求出一个 n + 1 n+1 n+1 维权值向量 w \pmb{w} www，每当新来一个样本 x i \pmb{x}_i xxxi​ 时，与参数 w \pmb{w} www 进行点乘，结果带入sigmoid函数，得到的值为该样本发生（即 y ^ = 1 \hat y =1 y^​=1 事件发生）的概率值。如果概率大于0.5，分类为1；否则分类为0。         对于下面的公式： p ^ = σ ( z ) = 1 1 + e ( − z ) z = w T ⋅ x i (1) \hat p = \sigma(z) = \frac {1} {1 + e^{(-z)}} \qquad z = \pmb{w}^T \centerdot \pmb{x}_i \tag{1} p^​=σ(z)=1+e(−z)1​z=wwwT⋅xxxi​(1)         当 z > 0 z > 0 z>0 时， 1 < 1 + e ( − z ) < 2 1 < 1 + e^{(-z)} < 2 1 0.5 p^​>0.5; 当 z < 0 z < 0 z{y}_{i}}\log \left( {{h}_{\theta }}\left( {{x}_{i}} \right) \right)-\left( 1-{{y}_{i}} \right)\log \left( 1-{{h}_{\theta }}\left( {{x}_{i}} \right) \right)]}+\frac{\lambda }{2m}\sum\limits_{j=1}^{n}{\theta _{j}^{2}}\tag{3} {\theta }_{j}}}=\left( \frac{1}{m}\sum\limits_{i=1}^{m}{\left( {{h}_{\theta }}\left( {{x}_{i}} \right)-{{y}_{i}} \right)} \right)+\frac{\lambda }{m}{{\theta }_{j}}\text{ }\text{for j}\ge \text{1} \tag{4}