企业官网建设流程全解析

别只背公式了！用Python和NumPy亲手验证Jensen不等式，理解凸函数的本质

数学公式如果只停留在纸面推导，往往难以形成深刻理解。今天我们就用Python和NumPy，通过代码实验和可视化，让Jensen不等式这个概率论与优化理论中的重要工具变得直观可见。

1. 实验准备：理解核心概念

Jensen不等式的核心在于比较"函数的期望"与"期望的函数"之间的关系。对于凸函数φ，它告诉我们：

E[φ(X)] ≥ φ(E[X])

这个抽象的不等式可以通过具体案例变得鲜活。我们先准备实验环境：

import numpy as np import matplotlib.pyplot as plt plt.style.use('seaborn') # 设置随机种子保证结果可复现 np.random.seed(42)

关键工具选择：

• NumPy：高效处理数组运算和随机数生成
• Matplotlib：实现数据可视化
• Seaborn：提升图表美观度

2. 凸函数验证：以二次函数为例

让我们从最简单的二次函数f(x)=x²开始，这是典型的凸函数案例。

2.1 生成随机数据

# 生成1000个0到10之间的随机数 X = np.random.uniform(0, 10, 1000) # 计算函数值 f_X = X ** 2 # 计算期望 E_X = np.mean(X) E_fX = np.mean(f_X)

2.2 可视化对比

x_plot = np.linspace(0, 10, 500) f_plot = x_plot ** 2 plt.figure(figsize=(10,6)) plt.plot(x_plot, f_plot, label='f(x)=x²') plt.scatter(E_X, f(E_X), color='red', s=100, label='φ(E[X])') plt.scatter(E_X, E_fX, color='green', s=100, label='E[φ(X)]') plt.legend() plt.title("Jensen不等式验证（凸函数案例）") plt.show()

典型输出结果：

• φ(E[X]) ≈ 25.0
• E[φ(X)] ≈ 33.5

这直观展示了E[φ(X)] ≥ φ(E[X])的不等式关系。

3. 凹函数案例：自然对数函数

为了全面理解，我们再验证凹函数的情况。以f(x)=ln(x)为例：

# 生成1到100的随机数 X_log = np.random.uniform(1, 100, 1000) # 计算对数函数值 f_X_log = np.log(X_log) # 计算期望 E_X_log = np.mean(X_log) E_fX_log = np.mean(f_X_log) # 可视化 x_plot_log = np.linspace(1, 100, 500) f_plot_log = np.log(x_plot_log) plt.figure(figsize=(10,6)) plt.plot(x_plot_log, f_plot_log, label='f(x)=ln(x)') plt.scatter(E_X_log, np.log(E_X_log), color='red', s=100, label='φ(E[X])') plt.scatter(E_X_log, E_fX_log, color='green', s=100, label='E[φ(X)]') plt.legend() plt.title("Jensen不等式验证（凹函数案例）") plt.show()

典型输出结果：

• φ(E[X]) ≈ 3.9
• E[φ(X)] ≈ 3.2

这验证了凹函数情况下的反向不等式：E[φ(X)] ≤ φ(E[X])。

4. 概率分布的影响实验

Jensen不等式的表现会受到随机变量分布特性的影响。我们通过不同分布来观察这种变化。

4.1 正态分布案例

# 生成正态分布数据 X_normal = np.random.normal(loc=5, scale=1, size=1000) # 计算指数函数值 f_X_normal = np.exp(X_normal) # 计算期望 E_X_normal = np.mean(X_normal) E_fX_normal = np.mean(f_X_normal) print(f"正态分布结果：φ(E[X])={np.exp(E_X_normal):.2f}, E[φ(X)]={E_fX_normal:.2f}")

4.2 均匀分布案例

# 生成均匀分布数据 X_uniform = np.random.uniform(2, 8, 1000) # 计算指数函数值 f_X_uniform = np.exp(X_uniform) # 计算期望 E_X_uniform = np.mean(X_uniform) E_fX_uniform = np.mean(f_X_uniform) print(f"均匀分布结果：φ(E[X])={np.exp(E_X_uniform):.2f}, E[φ(X)]={E_fX_uniform:.2f}")

输出对比：

这个实验展示了不同分布下Jensen不等式的表现一致性。

5. 机器学习中的应用实例

Jensen不等式在机器学习中有着广泛应用，特别是在EM算法和变分推断中。我们来看一个简单的对数似然函数的例子。

# 模拟观测数据 observations = np.random.normal(loc=3, scale=2, size=500) # 定义对数似然函数 def log_likelihood(theta, x): return -0.5 * np.log(2*np.pi) - np.log(theta[1]) - (x-theta[0])**2/(2*theta[1]**2) # 计算不同参数下的对数似然 theta_true = [3, 2] theta_other = [4, 3] ll_true = np.mean([log_likelihood(theta_true, x) for x in observations]) ll_other = np.mean([log_likelihood(theta_other, x) for x in observations]) print(f"真实参数对数似然：{ll_true:.4f}") print(f"其他参数对数似然：{ll_other:.4f}")

这个实验验证了在最大似然估计中，真实参数能使对数似然函数达到最大值，这与Jensen不等式密切相关。

6. 高级实验：自定义凸函数验证

为了更深入理解，我们可以设计自定义凸函数进行验证：

# 定义自定义凸函数 def custom_convex(x): return x**3 + 2*x**2 + 3 # 生成随机数据 X_custom = np.random.uniform(-2, 2, 1000) # 计算函数值 f_X_custom = custom_convex(X_custom) # 计算期望 E_X_custom = np.mean(X_custom) E_fX_custom = np.mean(f_X_custom) # 验证二阶导数 x_test = np.linspace(-2, 2, 100) second_derivative = 6*x_test + 4 is_convex = np.all(second_derivative >= 0) print(f"函数在区间内是否为凸函数：{is_convex}") print(f"验证结果：φ(E[X])={custom_convex(E_X_custom):.2f}, E[φ(X)]={E_fX_custom:.2f}")

这个实验不仅验证了Jensen不等式，还展示了如何判断一个函数是否为凸函数。

通过以上系列实验，我们可以清晰地看到Jensen不等式如何在各种情况下成立，以及凸性如何影响函数期望与期望函数之间的关系。这种动手实践的方式，远比单纯记忆公式更能建立深刻理解。