数学建模

Shadow price

平均非扩张一定是非扩张

不动点理论（梯度下降法）：

Convex function（可导情况）

Definition

一阶等价条件：

左边是函数曲线上任意值y，右边是看成切线过点（x,f(x)）也是任意x。

证明过程：

已知f是凸函数反证回去：
理解为在x点沿着y-x的方向就是x+t(y-x)：

应用：

Convex function（不可导情况）

次微分

注意：次微分是一个集合
公式理解：左边是图像，右边是切线，y就是斜率

梯度是次微分唯一元素（可导）

证明核心：梯度一定在次微分集合里面，要证明次微分集合只有唯一元素。
假设存在p属于次微分，让p等于梯度。
对应任意把 换成 ，就有：

应用：

由于属于最小值：

而次梯度定义是：

proximity算子

subdifferential of L1-norm

proximity operator of L1-norm

subdifferential of L2-norm

proximity operator of L2-norm

证明：

Let. Then is firmly nonexpansive.

应用：

函数f连续可导

存在不可导函数：

注意：当算子是 平均非扩张 且满足 Lipschitz条件 或其他适当的约束时，通常能得到固定点的收敛。

算子之间等价互推

矩阵求导：

Linear Regression Model

存在最小值：

对β求导求解最小值

性质：

低维度：

Generalized Inverse

Definition

Definition：Let A ∈ . If for any p ∈ range(A), the solution of Ax = p can be given by , then we say that** ** is a g-inverse of A.

意思就是：对于任意的 p 属于 range（A），都有x=Qp或者AQp=p

Theorem:

用于计算g-inverse：

其中 R,Y,Z 是任意给定维度的矩阵（注意不是固定值，只限制了维度）

例题：求A的g-inverse

1. 进行row operation(左乘P矩阵)
   要变成:要求是A的第一行-第二行;
   第二行不用改变，只改变第一行，所以P也只有第一行变动。
   
   分析一下：P矩阵怎么看（横着看）对应对A的每一行的操作。

2. 进行 column operation(右乘Q矩阵)
   最终要变成

要求是的第一列+第二行+第三列;
第一列，第二列不用改变，只改变第三列，所以Q也只有第三列变动。

多重共线性性质

岭回归：