范数

将任意向量x的$l_p-范数$定义为$||x||_p=^p\sqrt{\sum|x_i|^p}$

$p=0,||x||_0=^0\sqrt{x_i^0}$，表示x中非0元素的个数，在压缩感知中，我们希望最小化向量的$l_0-范数$，但这个优化模型在数学认为是一个NP-hard问题，直接求解很复杂也不可能找到解，因此，压缩感知模型是将$l_0-范数$最小化问题转换为$l_1-范数$最小化问题

$p=1,||x||_1=\sum|x_i|$，等于向量中所有元素绝对值之和。借助现有凸优化算法（线性规划或是非线性规划），就能够找到我们想要的可行解。鉴于此，依赖于$l_1-范数$优化问题的机器学习模型如压缩感知就能够进行求解了。

为了避免过拟合问题，一种解决方法是在 (机器学习模型的) 损失函数中加入正则项，比如用 $l_1 -范数$表示的正则项，只要使得 $l_1-范数$的数值尽可能变小，就能够让我们期望的解变成一个稀疏解 其中，“稀疏”一词可以理解为$x$中的大多数元素都是0，只有少量的元素是非0的。

过拟合的核心问题是计算机记住了过多的特征，稀疏的目的是使$x$中每个特征都是有用的，相当于一个优胜劣汰的过程