每天五分钟机器学习：凸函数

一、凸函数的定义：何为“凸”？

在数学上，凸函数的概念源于几何直观——想象一个平面上的曲线，如果在这条曲线上的任意两点之间连线段总是位于曲线的下方（或恰好与曲线重合），则这条曲线所对应的函数即为凸函数。更正式地，对于定义在实数集（或某个子集）上的函数f(x)，如果对于所有x₁, x₂∈定义域，且λ∈[0,1]，都有：

f(λx₁ + (1-λ)x₂) ≤ λf(x₁) + (1-λ)f(x₂)

则称f(x)为凸函数。这里，λ是一个介于0和1之间的实数，它代表了x₁和x₂之间的一个加权平均值。上述不等式表明，函数值在两点间的任何差值都不会超过这两点函数值的加权平均值，这正是凸函数的核心特征。

值得注意的是，如果上述不等式中的“≤”改为“<”，则称为严格凸函数，意味着在两点间的插值严格小于这两点函数值的加权平均值，除非x₁=x₂。

二、凸函数的几何直观与图像特征

几何直观：从几何角度来看，凸函数的图像（在二维平面上）表现为一个“向上隆起”的形状，没有“凹陷”的部分。这意味着，如果你沿着函数图像画一条直线，连接图像上的任意两点，这条直线要么完全位于图像上方，要么与图像相切于某一点。