向量就是给定一个点A，连接原点到点A，并具有由O到A方向的连线，表示为 O A ⃗ \vec{OA} OA . 书本的定义：向量就是具有大小和方向东西。

向量的大小(magnitude)写作 ∥ x ∥ \Vert x \Vert ∥x∥,称为模(norm). 通过（Pythagoras’ theorem）毕达哥拉斯定理求模如下图， O A 2 = O B 2 + A B 2 {OA}^2 = {OB}^2 + {AB}^2 OA2=OB2+AB2 O A 2 = 3 2 + 4 2 {OA}^2 = {3}^2 + {4}^2 OA2=32+42 ∥ x ∥ = 5 \Vert x \Vert = 5 ∥x∥=5

定义向量 u ( u 1 , u 2 ) \mathbf{u} (u_1,u_2) u(u1​,u2​)的方向为向量 w ( u 1 ∥ u ∥ , u 2 ∥ u ∥ ) \mathbf{w}(\frac{u_1}{\|u\|}, \frac{u_2}{\|u\|}) w(∥u∥u1​​,∥u∥u2​​)。如下图：

可以看到： c o s ( θ ) = u 1 ∥ u ∥ cos(\theta)=\frac{u_1}{\|u\|} cos(θ)=∥u∥u1​​ c o s ( α ) = u 2 ∥ u ∥ cos(\alpha)=\frac{u_2}{\|u\|} cos(α)=∥u∥u2​​ 所以向量 u ( 3 , 4 ) \mathbf{u}(3,4) u(3,4)方向向量是 w ( 0.6 , 0.8 ) \mathbf{w}(0.6,0.8) w(0.6,0.8)。方向向量的模为1.如下图

任意给给两个向量 u ( u 1 , u 2 ) \mathbf{u} (u_1, u_2) u(u1​,u2​) ， v ( v 1 , v 2 ) \mathbf{v} (v_1, v_2) v(v1​,v2​)两个向量相加： u + v = ( u 1 + v 1 , u 2 + v 2 ) \mathbf{u}+\mathbf{v}= (u_1+v_1, u_2+v_2) u+v=(u1​+v1​,u2​+v2​)

任意给给两个向量 u ( u 1 , u 2 ) \mathbf{u} (u_1, u_2) u(u1​,u2​) ， v ( v 1 , v 2 ) \mathbf{v} (v_1, v_2) v(v1​,v2​)两个向量相减： u − v = ( u 1 − v 1 , u 2 − v 2 ) \mathbf{u}-\mathbf{v}= (u_1-v_1, u_2-v_2) u−v=(u1​−v1​,u2​−v2​)。 方向指向被减数的方向。

x ⋅ y = ∥ x ∥ ∥ y ∥ c o s ( θ ) \mathbf{x} \cdot \mathbf{y} = \|x\| \|y\|cos(\theta) x⋅y=∥x∥∥y∥cos(θ), θ \theta θ 为两个向量的夹角。 推导过程如下：

根据前面的分析我们知道， c o s ( β ) = a d j a c e n t h y p o t e n u s e = x 1 ∥ x ∥ cos(\beta) =\frac{adjacent}{hypotenuse} =\frac{x_1}{\|x\|} cos(β)=hypotenuseadjacent​=∥x∥x1​​ s i n ( β ) = o p p o s i t e h y p o t e n u s e = x 2 ∥ x ∥ sin(\beta) =\frac{opposite}{hypotenuse} =\frac{x_2}{\|x\|} sin(β)=hypotenuseopposite​=∥x∥x2​​ c o s ( α ) = a d j a c e n t h y p o t e n u s e = y 1 ∥ y ∥ cos(\alpha) =\frac{adjacent}{hypotenuse} =\frac{y_1}{\|y\|} cos(α)=hypotenuseadjacent​=∥y∥y1​​ s i n ( α ) = o p p o s i t e h y p o t e n u s e = y 2 ∥ y ∥ sin(\alpha) =\frac{opposite}{hypotenuse} = \frac{y_2}{\|y\|} sin(α)=hypotenuseopposite​=∥y∥y2​​ 从图片中得到 θ = β − α \theta = \beta - \alpha θ=β−α, 那么 c o s ( θ ) = c o s ( β − α ) cos(\theta) = cos(\beta - \alpha) cos(θ)=cos(β−α) c o s ( β − α ) = c o s ( β ) c o s ( α ) + s i n ( β ) s i n ( α ) cos(\beta - \alpha) = cos(\beta)cos(\alpha) + sin(\beta)sin(\alpha) cos(β−α)=cos(β)cos(α)+sin(β)sin(α) 于是， c o s ( θ ) = c o s ( β − α ) = c o s ( β ) c o s ( α ) + s i n ( β ) s i n ( α ) cos(\theta) = cos(\beta - \alpha) = cos(\beta)cos(\alpha) + sin(\beta)sin(\alpha) cos(θ)=cos(β−α)=cos(β)cos(α)+sin(β)sin(α) c o s ( θ ) = x 1 ∥ x ∥ y 1 ∥ y ∥ + x 2 ∥ x ∥ y 2 ∥ y ∥ cos(\theta) = \frac{x_1}{\|x\|}\frac{y_1}{\|y\|}+ \frac{x_2}{\|x\|}\frac{y_2}{\|y\|} cos(θ)=∥x∥x1​​∥y∥y1​​+∥x∥x2​​∥y∥y2​​ c o s ( θ ) = x 1 y 1 + x 2 y 2 ∥ x ∥ ∥ y ∥ cos(\theta) = \frac{x_1y_1 + x_2y_2}{\|x\|\|y\|} cos(θ)=∥x∥∥y∥x1​y1​+x2​y2​​ ∥ x ∥ ∥ y ∥ c o s ( θ ) = x 1 y 1 + x 2 y 2 \|x\|\|y\|cos(\theta) = x_1y_1 + x_2y_2 ∥x∥∥y∥cos(θ)=x1​y1​+x2​y2​

点积的算术定义就出来， x ⋅ y = x 1 y 1 + x 2 y 2 = ∑ i = 1 2 ( x i y i ) \mathbf{x} \cdot \mathbf{y} =x_1y_1 + x_2y_2 = \sum_{i=1}^{2}(x_iy_i) x⋅y=x1​y1​+x2​y2​=i=1∑2​(xi​yi​) 从上面的集合定义也能知道，两个向量的点积是一个数。

如图给定两个向量x，y，那么向量x在y上的投影为z。 通过上面的学习我们知道， c o s ( θ ) = ∥ z ∥ ∥ x ∥ cos(\theta)= \frac{\|z\|}{\|x\|} cos(θ)=∥x∥∥z∥​ ∥ z ∥ = ∥ x ∥ c o s ( θ ) \|z\|=\|x\|cos(\theta) ∥z∥=∥x∥cos(θ) 点积 c o s ( θ ) = x ⋅ y ∥ x ∥ ∥ y ∥ cos(\theta) = \frac{\mathbf{x} \cdot \mathbf{y}}{\|x\|\|y\|} cos(θ)=∥x∥∥y∥x⋅y​ 于是可以推导得 ∥ z ∥ = x ⋅ y ∥ y ∥ \|z\|=\frac{\mathbf{x} \cdot \mathbf{y}}{\|y\|} ∥z∥=∥y∥x⋅y​ 另外我们知道方向向量的，如果u表示向量y的方向向量， u = y ∥ y ∥ \mathbf{u}=\frac{\mathbf{y}}{\|y\|} u=∥y∥y​, 那么向量x在向量y上面的投影可以由下式计算： ∥ z ∥ = u ⋅ x \|z\|=\mathbf{u} \cdot \mathbf{x} ∥z∥=u⋅x

我们还注意到，向量x在向量y上的投影得到的向量z，它的方向向量和向量y的方向向量是一致的，所以向量z可表示为 z = ∥ z ∥ u \mathbf{z}=\|z\|\mathbf{u} z=∥z∥u。

知道了向量x在向量y上面的投影z后，我们就能够计算向量x-z的距离: ∥ x − z ∥ = ( 3 − 4 ) 2 + ( 5 − 1 ) 2 = 17 \|x-z\| = \sqrt{(3-4)^2 + (5-1)^2}=\sqrt{17} ∥x−z∥=(3−4)2+(5−1)2 ​=17 ​

详见原文地址：https://www.svm-tutorial.com/2014/11/svm-understanding-math-part-2/