矩阵

矩阵的乘积

矩阵相乘的理解

矩阵是线性空间中的线性变换的一个描述。在一个线性空间中，只要我们选定一组基，那么对于任何一个线性变换，都能够用一个确定的矩阵来加以描述

左乘矩阵是进行行操作，右乘矩阵是进行列操作。

$\mathbf{C}=\mathbf{A}\times \mathbf{B}$中的$\mathbf{B}$的列向量可以看作是以$\mathbf{A}$的列向量为基的子空间坐标。

Hadamard哈达玛积(矩阵点乘)(Hadamard Product)

哈达玛积就是两个矩阵对应位置的元素相乘，布局不变。俗称矩阵点乘，符号是空心圆 ∘，两个矩阵的形状必须一样。

矩阵内积 (Iner Product of Matrices)

符号：⟨ . , . ⟩ 目的：度量长度。 定义：列向量$\mathbf{a}$与列向量$\mathbf{b}$的内积:

$$<\mathbf{a}，\mathbf{b}>={\mathbf{b}}^H\mathbf{a}$$

克罗内克积（Kronecker Product ）

符号：$\otimes$ 定义：克罗内克积是两个任意大小的矩阵间的运算，它是张量积的特殊形式。给定$\mathbf{A}$和$\mathbf{B}$，则$\mathbf{A}$和$\mathbf{B}$的克罗内克积是一个在空间${\mathbb{R}}^{\mathrm{mp}\times \mathrm{nq}}$的分块矩阵：

$$A\otimes B=[\begin{array}{ccc}{\mathrm{a}}_{11}B& \cdots & {\mathrm{a}}_{1\mathrm{n}}B\\ ⋮& \ddots & ⋮\\ {\mathrm{a}}_{\mathrm{m}1}B& \cdots & {\mathrm{a}}_{\mathrm{mn}}B\end{array}]$$

矩阵求导

实值函数相对于实向量的梯度

相对于$n\times 1$向量$x$的梯度算子记作$\nabla x$,定义为：

$${\nabla }_{\mathbf{x}}={\left[\frac{\partial }{\partial x_1},\frac{\partial }{\partial x_2},\cdots ,\frac{\partial }{\partial x_n}\right]}^T=\frac{\partial }{\partial \mathbf{x}}$$

因此,$n\times 1$实向量$x$为变元的实标量函数$f(\mathbf{x})$相对于x的梯度为$n\times 1$的列向量，定义为：

$${\nabla }_{\mathbf{x}}f(\mathbf{x})={\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\cdots ,\frac{\partial f(\mathbf{x})}{\partial x_n}\right]}^T=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}$$

梯度方向的负方向成为变元$\mathbf{x}$的梯度流(gradient flow)，记为：

$$\dot{\mathbf{x}}=-{\nabla }_{\mathbf{x}}f(\mathbf{x})$$

从梯度的定义式可以看出：

1. 一个以向量为变元的变量函数的梯度为一向量。
2. 梯度的每个分量给出了变量函数在该分量方向上的变化率

梯度向量最重要的性质之一是，它指出了当变元增大时函数ff的最大增大率。相反，梯度的负值（负梯度）指出了当变元增大时函数ff的最大减小率。根据这样一种性质，即可设计出求函数极小值的迭代算法。

类似地，实值函数$f(\mathbf{x})$相对于$1\times n$行向量$x^T$的梯度为$1\times n$行向量，定义为：

$${\nabla }_{{\mathbf{x}}^T}f(\mathbf{x})=\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_n}\right]=\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^T}$$

$m$维行向量函数$\mathbf{f}(\mathbf{x})=[f_1(\mathbf{x}),\dots ,f_m(\mathbf{x})]$，相对于$n$维实向量$\mathbf{x}$的梯度为$n\times m$矩阵定义为：

$$\begin{array}{rl}\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}& =\left[\begin{array}{cccc}\frac{\partial f_1(\mathbf{x})}{\partial x_1}& \frac{\partial f_2(\mathbf{x})}{\partial x_1}& \dots & \frac{\partial f_m(\mathbf{x})}{\partial x_1}\\ \frac{\partial f_1(\mathbf{x})}{\partial x_2}& \frac{\partial f_2(\mathbf{x})}{\partial x_2}& \dots & \frac{\partial f_m(\mathbf{x})}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_1(\mathbf{x})}{\partial x_n}& \frac{\partial f_2(\mathbf{x})}{\partial x_n}& \dots & \frac{\partial f_m(\mathbf{x})}{\partial x_n}\end{array}\right]={\nabla }_{\mathbf{x}}\mathbf{f}(\mathbf{x})\end{array}$$

若$m\times 1$向量函数$\mathbf{f}(\mathbf{x})=\mathbf{y}=[y_1,\dots ,y_m{]}^T$，其中$y_1,y_2,\dots ,y_m$是向量的标量函数，一阶梯度：

$$\frac{\partial \mathbf{y}}{\partial {\mathbf{x}}^T}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$

$\frac{\partial \mathbf{y}}{\partial {\mathbf{x}}^T}$是一个$m\times n$的矩阵，称为向量函数$\mathbf{y}=[y_1,y_2,\dots ,y_m{]}^T$的 Jacobi 矩阵。

若$\mathbf{f}(\mathbf{x})=[x_1,x_2,\dots ,x_n]$，则:

$$\frac{\partial {\mathbf{x}}^T}{\partial \mathbf{x}}=\mathbf{I}$$

这个结论非常重要，将帮助我们导出更多有用的结论。

若$\mathbf{A}$与$\mathbf{y}$均和$\mathbf{x}$无关，则：

$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{y}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^T}{\partial \mathbf{x}}\mathbf{A}\mathbf{y}=\mathbf{A}\mathbf{y}$$

因为${\mathbf{y}}^T\mathbf{A}\mathbf{x}=⟨{\mathbf{A}}^T\mathbf{y},\mathbf{x}⟩=⟨\mathbf{x},{\mathbf{A}}^T\mathbf{y}⟩={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{y}$，则：

$$\frac{\partial {\mathbf{y}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}={\mathbf{A}}^T\mathbf{y}$$

由于：

$$x^T\mathbf{A}\mathbf{x}=\sum _{i=1}^n\sum _{j=1}^n{A}_{ij}{x}_i{x}_j$$

所以梯度$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}$的第k个分量为：

$$[\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}{]}_k=\frac{\partial }{\partial x_k}\sum _{i=1}^n\sum _{j=1}^n{A}_{ij}{x}_i{x}_j=\sum _{i=1}^n{A}_{ik}{x}_i+\sum _{j=1}^n{A}_{kj}{x}_j$$

即有：

$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{A}\mathbf{x}+{\mathbf{A}}^T\mathbf{x}$$

特别的如果$\mathbf{A}$为对称矩阵则有：

$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{A}\mathbf{x}$$

归纳以上三个例子的结果以及其他结果，便得到实值函数$f(\mathbf{x})$相对于列向量$\mathbf{x}$的一下几个常用的梯度公式。

若$f(\mathbf{x})=c$为常数，则梯度$\frac{\partial c}{\partial \mathbf{x}}=0$

线性法则：若$f(\mathbf{x})$和$g(\mathbf{x})$分别是向量$\mathbf{x}$的实值函数，$c_1$和$c_2$为实常数，则：

$$\frac{\partial [c_{1}f(\mathbf{x})+c_{2}g(\mathbf{x})]}{\partial \mathbf{x}}=c_1\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}+c_2\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}$$

乘法法则：若$f(\mathbf{x})$和$g(\mathbf{x})$都是向量$\mathbf{x}$的实值函数，则：

$$\frac{f(\mathbf{x})g(\mathbf{x})}{\partial \mathbf{x}}=g(\mathbf{x})\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}+f(\mathbf{x})\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}$$

商法则：若$g(\mathbf{x})\ne 0$，则：

$$\frac{\partial f(\mathbf{x})/g(\mathbf{x})}{\partial \mathbf{x}}=\frac{1}{g^2(\mathbf{x})}[g(\mathbf{x})\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}-f(\mathbf{x})\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}]$$

链式法则：若$\mathbf{y}(\mathbf{x})$是$\mathbf{x}$的向量值函数，则：

$$\frac{\partial f(\mathbf{y}(\mathbf{x}))}{\partial \mathbf{x}}=\frac{\partial {\mathbf{y}}^T(\mathbf{x})}{\partial \mathbf{x}}\frac{\partial f(\mathbf{y})}{\partial \mathbf{y}}$$

式中$\frac{\partial {\mathbf{y}}^T(\mathbf{x})}{\partial \mathbf{x}}$为$n\times n$矩阵。

例子

若$n\times 1$向量$\mathbf{a}$与$\mathbf{x}$是无关的常数向量，则：

$$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a}$$

若$n\times 1$向量$\mathbf{a}$与$\mathbf{x}$是无关的常数向量，则：

$$\frac{\partial {\mathbf{a}}^T\mathbf{y}(\mathbf{x})}{\partial \mathbf{x}}=\frac{\partial {\mathbf{y}}^T(\mathbf{x})}{\partial \mathbf{x}}\mathbf{a}\frac{\partial {\mathbf{y}}^T(\mathbf{x})\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{y}}^T(\mathbf{x})}{\partial \mathbf{x}}\mathbf{a}$$

若$\mathbf{A}$和$\mathbf{y}$均与$\mathbf{x}$无关，则：

$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{y}}{\partial \mathbf{x}}=\mathbf{A}\mathbf{y}\frac{\partial {\mathbf{y}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}={\mathbf{A}}^T\mathbf{y}$$

若$\mathbf{A}$是与$\mathbf{x}$无关，而$\mathbf{y}(\mathbf{x})$与向量$\mathbf{x}$的元素有关，则：

$$\frac{\partial [\mathbf{y}(\mathbf{x}){]}^T\mathbf{A}\mathbf{y}(\mathbf{x})}{\partial \mathbf{x}}=\frac{\partial [\mathbf{y}(\mathbf{x}){]}^T}{\partial \mathbf{x}}(\mathbf{A}+{\mathbf{A}}^T)\mathbf{y}(\mathbf{x})$$

若$\mathbf{A}$是一个与向量$\mathbf{x}$无关的矩阵，而$\mathbf{y}(\mathbf{x})$和$\mathbf{z}(\mathbf{x})$是与向量$\mathbf{x}$的元素有关的列向量，则：

$$\frac{[\mathbf{y}(\mathbf{x}){]}^T\mathbf{A}\mathbf{z}(\mathbf{x})}{\partial \mathbf{x}}=\frac{[\mathbf{y}(\mathbf{x}){]}^T}{\partial \mathbf{x}}\mathbf{A}\mathbf{z}(\mathbf{x})+\frac{[\mathbf{z}(\mathbf{x}){]}^T}{\partial \mathbf{x}}{\mathbf{A}}^T\mathbf{y}(\mathbf{x})$$

令$\mathbf{x}$为$n\times 1$向量，$\mathbf{a}$为$m\times 1$常数向量，$\mathbf{A}$和$\mathbf{B}$分别为$m\times n$和$m\times m$常数矩阵，且$\mathbf{B}$为对称矩阵，则：

$$\frac{\partial (\mathbf{a}-\mathbf{A}\mathbf{x}{)}^T\mathbf{B}(\mathbf{a}-\mathbf{A}\mathbf{x})}{\partial \mathbf{x}}=-2{\mathbf{A}}^T\mathbf{B}(\mathbf{a}-\mathbf{A}\mathbf{x})$$

实值函数的梯度矩阵

在最优化问题中，需要最优化的对象可能是某个加权矩阵。因此，有必要分析实值函数相对于矩阵变元的梯度。

实值函数$f(\mathbf{A})$相对于$m\times n$是矩阵$\mathbf{A}$的梯度为$m\times n$矩阵，简称梯度矩阵，定义为：

$$\frac{\partial f(\mathbf{A})}{\partial \mathbf{A}}=\left[\begin{array}{cccc}\frac{\partial f(\mathbf{A})}{\partial A_{11}}& \frac{\partial f(\mathbf{A})}{\partial A_{12}}& \dots & \frac{\partial f(\mathbf{A})}{\partial A_{1n}}\\ \frac{\partial f(\mathbf{A})}{\partial A_{21}}& \frac{\partial f(\mathbf{A})}{\partial A_{22}}& \dots & \frac{\partial f(\mathbf{A})}{\partial A_{2n}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f(\mathbf{A})}{\partial A_{m1}}& \frac{\partial f(\mathbf{A})}{\partial A_{m2}}& \dots & \frac{\partial f(\mathbf{A})}{\partial A_{mn}}\end{array}\right]$$

式中$A_{ij}$是$\mathbf{A}$的元素。

实值函数相对于矩阵变元的梯度具有以下性质：

若$f(\mathbf{A})=c$是常数，其中$\mathbf{A}$为$m\times n$矩阵，则梯度$\frac{\partial c}{\partial \mathbf{A}}={\mathbf{O}}_{m\times n}$

线性法则：若$f(\mathbf{A})$和$g(\mathbf{A})$分别是矩阵$\mathbf{A}$的实值函数,$c_1$,$c_2$均为实常数，则：

$$\frac{\partial [c_{1}f(\mathbf{A})+c_{2}g(\mathbf{A})]}{\partial \mathbf{A}}=c_1\frac{\partial f(\mathbf{A})}{\partial \mathbf{A}}+c_2\frac{\partial g(\mathbf{A})}{\partial \mathbf{A}}$$

乘积法则：若$f(\mathbf{A})$，$g(\mathbf{A})$都是矩阵$\mathbf{A}$的实值函数，则：

$$\frac{\partial f(\mathbf{A})g(\mathbf{A})}{\partial \mathbf{A}}=f(\mathbf{A})\frac{\partial g(\mathbf{A})}{\partial \mathbf{A}}+g(\mathbf{A})\frac{\partial f(\mathbf{A})}{\partial \mathbf{A}}$$

商法则：若$g(\mathbf{A})\ne 0$，则：

$$\frac{\partial f(\mathbf{A})/g(\mathbf{A})}{\partial \mathbf{A}}=\frac{1}{[g(\mathbf{A}){]}^2}[g(\mathbf{A})\frac{\partial f(\mathbf{A})}{\partial \mathbf{A}}-f(\mathbf{A})\frac{\partial g(\mathbf{A})}{\partial \mathbf{A}}]$$

链式法则：令$\mathbf{A}$为$m\times n$的矩阵，且$y=f(\mathbf{A})$和$g(y)$分别是以矩阵$\mathbf{A}$和标量$y$为变元的实值函数，则：

$$\frac{\partial g(f(\mathbf{A}))}{\partial \mathbf{A}}=\frac{\mathrm{d}g(y)}{\mathrm{d}y}\frac{\partial f(\mathbf{A})}{\partial \mathbf{A}}$$

例子

若$\mathbf{A}\in R^{m\times n}$,$\mathbf{x}\in R^{m\times 1}$,$\mathbf{y}\in R^{n\times 1}$，则：

$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{y}}{\partial \mathbf{A}}=\mathbf{x}{\mathbf{y}}^T$$

若$\mathbf{A}\in R^{n\times n}$非奇异，$\mathbf{x}\in R^{n\times 1}$,$\mathbf{y}\in R^{n\times 1}$,则：

$$\frac{\partial {\mathbf{x}}^T{\mathbf{A}}^{-1}\mathbf{y}}{\partial \mathbf{A}}=-{\mathbf{A}}^{-T}\mathbf{x}{\mathbf{y}}^T{\mathbf{A}}^{-T}$$

若$\mathbf{A}\in R^{m\times n}$,$\mathbf{x}\in R^{n\times 1}$,$\mathbf{y}\in R^{n\times 1}$，则：

$$\frac{\partial {\mathbf{x}}^T{\mathbf{A}}^T\mathbf{A}\mathbf{y}}{\partial \mathbf{A}}=\mathbf{A}(\mathbf{x}{\mathbf{y}}^T+\mathbf{y}{\mathbf{x}}^T)$$

若$\mathbf{A}\in R^{m\times n}$,$\mathbf{x}$,$\mathbf{y}\in R^{m\times 1}$，则：

$$\frac{\partial {\mathbf{x}}^T\mathbf{A}{\mathbf{A}}^T\mathbf{y}}{\partial \mathbf{A}}=(\mathbf{x}{\mathbf{y}}^T+\mathbf{y}{\mathbf{x}}^T)\mathbf{A}$$

指数函数的梯度：

$$\frac{\partial \exp ({\mathbf{x}}^T\mathbf{A}\mathbf{y})}{\partial \mathbf{A}}=\mathbf{x}{\mathbf{y}}^T\exp ({\mathbf{x}}^T\mathbf{A}\mathbf{y})$$

迹函数的梯度矩阵

有时候，二次型目标函数可以利用矩阵的迹加以重写。因为一标量可以视为$1\times 1$的矩阵，所以二次型目标函数的迹直接等同于函数本身，即$f(\mathbf{x})={\mathbf{x}}^T\mathbf{A}\mathbf{x}=\mathrm{tr}({\mathbf{x}}^T\mathbf{A}\mathbf{x})$ 利用迹的性质，又可以将目标函数进一步表示为：

$$f(\mathbf{x})={\mathbf{x}}^T\mathbf{A}\mathbf{x}=\mathrm{tr}({\mathbf{x}}^T\mathbf{A}\mathbf{x})=\mathrm{tr}(\mathbf{A}\mathbf{x}{\mathbf{x}}^T)$$

因此，二次型目标函数 ${\mathbf{x}}^T\mathbf{A}\mathbf{x}$ 等于核矩阵$\mathbf{A}$和向量外积$\mathbf{x}{\mathbf{x}}^T$ 的乘积的迹

$$\mathrm{tr}(\mathbf{A}\mathbf{x}{\mathbf{x}}^T)$$

对于$n\times n$矩阵$\mathbf{A}$,由于$\mathrm{tr}(\mathbf{A})={\sum }_{i=1}^n{A}_{ii}$，故梯度$\frac{\partial \mathrm{tr}(\mathbf{A})}{\partial \mathbf{A}}$的$(i,j)$元素为：

$$[\frac{\partial \mathrm{tr}(\mathbf{A})}{\partial \mathbf{A}}{]}_{ij}=\frac{\partial }{\partial A_{ij}}\sum _{k=1}^n{A}_{kk}=\{\begin{array}{ll}1& j=i\\ 0& j\ne i\end{array}$$

所以有$\frac{\partial \mathrm{tr}(\mathbf{A})}{\partial \mathbf{A}}=\mathbf{I}$

考察目标函数$f(\mathbf{A})=\mathrm{tr}(\mathbf{A}\mathbf{B})$，其中$\mathbf{A}$和$\mathbf{B}$分别为$m\times n$和$mn\times m$实矩阵。首先，矩阵乘积的元素为$[\mathbf{A}\mathbf{B}{]}_{ij}={\sum }_{l=1}^n{A}_{il}{B}_{lj}$，故矩阵乘积的迹$\mathrm{tr}(\mathbf{A}\mathbf{B})={\sum }_{p=1}^m{\sum }_{l=1}^n{A}_{pl}{B}_{lp}$，于是，梯度$\frac{\partial \mathrm{tr}(\mathbf{A}\mathbf{B})}{\partial \mathbf{A}}$是一个$m\times n$矩阵，其元素为：

$$[\frac{\partial \mathrm{tr}(\mathbf{A}\mathbf{B})}{\partial \mathbf{A}}{]}_{ij}=\frac{\partial }{\partial A_{ij}}(\sum _{p=1}^m\sum _{l=1}^n{A}_{pl}{B}_{lp})=B_{ji}$$

所以有:

$$\frac{\partial \mathrm{tr}(\mathbf{A}\mathrm{B})}{\partial \mathbf{A}}={\nabla }_{\mathbf{A}}\mathrm{tr}(\mathbf{A}\mathrm{B})={\mathbf{B}}^T$$

由于$\mathrm{tr}(\mathbf{B}\mathbf{A})=\mathrm{tr}(\mathbf{A}\mathbf{B})$所以：

$$\frac{\partial \mathrm{tr}(\mathbf{A}\mathrm{B})}{\partial \mathbf{A}}=\frac{\partial \mathrm{tr}(\mathbf{B}\mathbf{A})}{\partial \mathbf{A}}={\mathbf{B}}^T$$

同理，由于$\mathrm{tr}(\mathbf{x}{\mathbf{y}}^T)=\mathrm{tr}(\mathbf{y}{\mathbf{x}}^T)={\mathbf{x}}^T\mathbf{y}$，所以有：

$$\frac{\partial \mathrm{tr}(\mathbf{x}{\mathbf{y}}^T)}{\partial \mathbf{x}}=\frac{\partial \mathrm{tr}(\mathbf{y}{\mathbf{x}}^T)}{\partial \mathbf{x}}=\mathbf{y}$$

Hessian 矩阵

实值函数$f(\mathbf{x})$相对于$m\times 1$实向量$\mathbf{x}$的二阶偏导是一个由$m^2$个二阶偏导组成的矩阵，称为 Hessian 矩阵，定义为：

$$\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=\frac{\partial }{\partial {\mathbf{x}}^T}\left[\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\right]$$

或者简写为梯度的梯度：

$${\nabla }_{\mathbf{x}}^{2}f(\mathbf{x})={\nabla }_{\mathbf{x}}({\nabla }_{\mathbf{x}}f(\mathbf{x}))$$

根据定义,Hessian 矩阵的第j列是梯度$\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}={\nabla }_{\mathbf{x}}f(\mathbf{x})$第$j$个分量的梯度，即：

$$[\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^T}{]}_{i,j}=\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}$$

或者可以写作：

$$\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1\partial x_1}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_n\partial x_n}\end{array}\right]$$

因此，Hessian 矩阵可以通过两个步骤计算得出：

1. 求实值函数$f(\mathbf{x})$关于向量变元$\mathbf{x}$的偏导数，得到实值函数的梯度$\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}$
2. 再求梯度$\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}$相对于$1\times n$行向量${\mathbf{x}}^T$的偏导数，得到梯度的梯度即 Hessian 矩阵

根据以上步骤，得到 Hessian 矩阵的下列公式。

对于$n\times 1$的常数向量${\mathbf{a}}^T$，有：

$$\frac{{\partial }^2{\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}\partial {\mathbf{x}}^T}={\mathbf{O}}_{n\times n}$$

若$\mathbf{A}$是$n\times n$矩阵，则：

$$\frac{{\partial }^2{\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=\mathbf{A}+{\mathbf{A}}^T$$

令$\mathbf{x}$为$n\times 1$向量，$\mathbf{a}$为$m\times 1$常数向量，$\mathbf{A}$和$\mathbf{B}$分别为$m\times n$和$m\times m$常数矩阵，且$\mathbf{B}$为对称矩阵，则：

$$\frac{{\partial }^2(\mathbf{a}-\mathbf{A}\mathbf{x}{)}^T\mathbf{B}(\mathbf{a}-\mathbf{A}\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=2{\mathbf{A}}^T\mathbf{B}\mathbf{A}$$

利用全微分求导

矩阵的迹 tr(A)与一阶实矩阵微分dX

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$$

矩阵的迹：$tr(A)=a_{11}+a_{22}+\cdot \cdot \cdot +a_n=\sum _{i=1}^n{a}_{ii}$

只有方阵才有迹

交换律：$tr(AB)=tr(BA),A_{m\times n},B_{n\times m}$

矩阵变元的实值标量函数的全微分：$df(X)=tr(\frac{\partial f(X)}{\partial X^T}dX)$

矩阵变元或向量变元的实值标量函数的矩阵求导的结果，都可以通过上式求解

使用矩阵微分求导：

对于实值标量函数$f(X),tr(f(X))=f(X),df(X)=tr(df(X))$,所以有$df(X)=tr(df(X))=d(trf(X))$

如果实值标量函数本身就是某个矩阵函数$F_{p\times p}(X)$的迹，如$reF(X)$，则由全微分的线性法则得：

$$d(tr{F}_{p\times p}(X))=d(\sum _{i=1}^p{f}_{ii}(X))=\sum _{i=1}^{p}d(f_{ii}(X))=tr(d{F}_{p\times p}(X))$$

常见的求导

• $\frac{\partial (x^{T}a)}{\partial x}=\frac{\partial (a^{T}x)}{\partial x}=a$
• $\frac{\partial (x^{T}x)}{\partial x}=2x$
• $\frac{\partial (x^{T}Ax)}{\partial x}=Ax+A^{T}x,A_{n\times n}=(a_{ij}{)}_{i=1,j=1}^{n,n}$
• $\frac{\partial (a^{T}x{x}^{T}b)}{\partial x}=a{b}^{T}x+b{a}^{T}x,a=(a_1,a_2,...,a_n{)}^T,b=(b_1,b_2,...,b_n{)}^T$
• $\frac{\partial (a^{T}xb)}{\partial x}=a{b}^T,a_{m\times 1},b_{n\times 1},x_{m\times n}$
• $\frac{\partial (a^T{x}^{T}b)}{\partial x}=b{a}^T,a_{m\times 1},b_{n\times 1},x_{m\times n}$
• $\frac{\partial (a^{T}x{x}^{T}b)}{\partial x}=a{b}^{T}x+b{a}^{T}x,a_{m\times 1},b_{m\times 1},x_{m\times m}$
• $\frac{\partial (a^T{x}^{T}xb)}{\partial x}=xa{b}^T+xb{a}^T,a_{m\times 1},b_{m\times 1},x_{m\times m}$

常用的结论：

证明：$d\left|X\right|=\left|X\right|tr(X^{-1}dX)$

$$\left|X\right|=x_{i1}{A}_{i1}+x_{i2}{A}_{i2}+...+x_{in}{A}_{in}$$ $$\frac{\partial \left|X\right|}{\partial x_{ij}}=A_{ij}$$ $$\frac{\partial \left|X\right|}{\partial X^T}=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]=X^{\ast }=\left|X\right|X^{-1}$$ $$d\left|X\right|=tr(\frac{\partial \left|X\right|}{\partial X^T}dX)=tr(\left|X\right|X^{-1}dX)$$

$d(X^{-1})=-X^{-1}dX(X^{-1})$

令A为在不考虑矩阵变元X是对称矩阵的前提下，得到的 Jacobian 矩阵

$$A={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{21}}& ...& \frac{\partial f}{\partial x_{n1}}\\ \frac{\partial f}{\partial x_{12}}& \frac{\partial f}{\partial x_{22}}& ...& \frac{\partial f}{\partial x_{n2}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial x_{1n}}& \frac{\partial f}{\partial x_{2n}}& ...& \frac{\partial f}{\partial x_n}\end{array}\right]}_{n\times n}$$

对称矩阵变元的实值标量函数的求导公式

$$\frac{\partial f(X)}{\partial X_{n\times n}}=\frac{\partial f(X)}{\partial X_{n\times n}^T}=A^T+A-(A\circ E)$$

设$x\sim N_p(\mu ,\sum ),\sum >0$，$\sum$为正定的协方差矩阵，则$x$的概率密度函数为

$$f(\mathbf{x})=\frac{1}{{(2\pi )}^{\frac{p}{2}}{\left|\sum \right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(\mathbf{x}-\mu )}^T{\sum }^{-1}(\mathbf{x}-\mu )}$$

对数似然函数：

$$\ln L(\mu ,\sum )=\ln (\prod _{i=1}^{n}f(x_i))=-\frac{p}{2}n\ln (2\pi )-\frac{1}{2}n\ln \left|\sum \right|-\frac{1}{2}\sum _{i=1}^n[{(x_i-\mu )}^T\sum ^{-1}(x_i-\mu )]$$

求导：$\frac{\partial (\ln L(\mu ,\sum ))}{\partial \mu }={\sum }^{-1}\sum _{i=1}^n(x_i-\mu )$

$$\begin{gathered} \frac{\partial (\ln L(\mu ,\sum ))}{\partial \sum }=\sum ^{-1}(\sum _{i=1}^n[(x_i-\mu ){(x_i-\mu )}^T])\sum ^{-1}-n\sum ^{-1} \\ -\{[\frac{1}{2}(\sum ^{-1}(\sum _{i=1}^n[(x_i-\mu ){(x_i-\mu )}^T])\sum ^{-1}-n\sum ^{-1}]\circ E\} \end{gathered}$$

令导数为零，得：

$$\begin{array}{c}\mu =\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i\\ \sum =\frac{1}{n}\sum _{i=1}^n[(x_i-\overline{x})(x_i-\overline{x}{)}^T]\end{array}$$

Hermitian 矩阵的特征值和特征向量

在信号处理领域，经常碰到对称矩阵。复对称矩阵又称为Hermitian矩阵。比如对于实观测数据$x(t)$，其自相关矩阵$R=E[x(t)x^T(t)]$是实对称矩阵，而复观测信号的自相关矩阵是Hermitian矩阵。Hermitian在计算过程中有一系列重要特性，可以大大简化计算过程。本文总结Hermitian矩阵特征值和特征向量的一些性质。

重要性质

1. 特征值的实数性 Hermitian 矩阵$A$的特征值一定是实的。

   证明：令λ和$\mathbf{u}$分别是Hermitian矩阵A的特征值和与之对应的特征向量，即$A\mathbf{u}=\lambda \mathbf{u}$。两边同时左乘特征向量的共轭转置，得二次型标量值函数${\mathbf{u}}^{T}A\mathbf{u}=\lambda {\mathbf{u}}^T\mathbf{u}$，对其两边取共轭转置，得到${\mathbf{u}}^{T}A\mathbf{u}={\lambda }^T{\mathbf{u}}^{T}u$。注意内积${\mathbf{u}}^T\mathbf{u}$总是实数，则有$\lambda$也一定是实数。

2. 可逆矩阵的特征对关系 令$\lambda ,\mathbf{u}$是Hermitian矩阵$A$的特征对。若$A$可逆，则$1/\lambda ,\mathbf{u}$是逆矩阵$A^{-1}$的特征对。 证明：因为$A\mathbf{u}=\lambda \mathbf{u}$，则对两边左乘$A^{-1}$，则有$\mathbf{u}=\lambda A^{-1}\mathbf{u}$，所以有${\lambda }^{-1}\mathbf{u}=A^{-1}\mathbf{u}$

特征向量求解步骤

对于$n\times n$的Hermitian矩阵$A$，若它所有不同的特征值${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$都通过求解特征方程获得。那么求解其特征向量可以通过以下两个步骤完成：

1. 利用高斯消元法求解方程：

   $$(A-\lambda I)x=0$$

   得到与每个已知λ对应的非零解$x$

2. 利用Gram-Schmidt正交化方法将$x$正交化，得到相互正交，并且具有单位范数的特征向量。

若${\lambda }_k$是Hermitian矩阵$A$的多重特征值，并且其多重度为 $m_k$，那么 $\mathbf{rank}(A-{\lambda }_{k}I)=n-m_k$，因此任何一个Hermitian矩阵都满足可对角化定理的充要条件。因此，有$U^{-1}AU=\Sigma$。

重要定理

Hermitian矩阵的所有特征向量线性无关，并且相互正交。特征矩阵$\mathbf{U}=[{\mathbf{u}}_1,\dots ,{\mathbf{u}}_n]$是酉矩阵，满足${\mathbf{U}}^{-1}=U^T$

证明过程：

1. 首先证明不同特征值对应的特征向量是相互正交的 令${\lambda }_1\ne {\lambda }_2$是Hermitian矩阵A对应的特征值，且其对应的特征向量分别是${\mathbf{u}}_1,{\mathbf{u}}_2$，则有：

   $${\mathbf{u}}_2^T\mathbf{A}{\mathbf{u}}_1={\lambda }_1{\mathbf{u}}_2^T{\mathbf{u}}_1$$ $${\mathbf{u}}_1^T\mathbf{A}{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_1^T{\mathbf{u}}_2$$

2. 对前一个式子取共轭，则有：

   $${\mathbf{u}}_1^T\mathbf{A}{\mathbf{u}}_2={\lambda }_1{\mathbf{u}}_1^T{\mathbf{u}}_2$$

   因此有：${\lambda }_1{\mathbf{u}}_1^T{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_1^T{\mathbf{u}}_2$，由于${\lambda }_1\ne {\lambda }_2$，所以 ${\mathbf{u}}_1$和 ${\mathbf{u}}_2$ 正交。

更进一步

对于若$n\times n$矩阵A，若${\lambda }_k$是Hermitian矩阵$A$的多重特征值，并且其多重度为 $m_k$，那么 $\mathbf{rank}(A-{\lambda }_{k}I)=n-m_k$，并 且$A-{\lambda }_{k}I$是可逆的。于是，方程$(A-{\lambda }_{k}I)u=0$的线性无关解。这些线性无关解是正交的。由于特征矩阵U的所有特征向量即线性无关，又相互正交，故U为酉矩阵，满足$U{U}^T=I$，即$U^T=U^{-1}$

矩阵表示形式

对于Hermitian矩阵有：

1. 正交相似形式：

   $${\mathbf{U}}^T\mathbf{A}\mathbf{U}=\mathbf{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$$

2. 矩阵分解形式（正交相似下的范式）：

   $$\mathbf{A}=\mathbf{U}\Sigma {\mathbf{U}}^T$$

3. 求和形式：

   $$\mathbf{A}=\sum _{i=1}^n{\mathbf{\lambda }}_i{\mathbf{u}}_i{\mathbf{u}}_i^T$$

二次型表示

在最优化理论和信号处理中，二次型函数可表示为：

$${\mathbf{X}}^T\mathbf{A}\mathbf{x}=\sum _{i=1}^n{\lambda }_i{\left|{\mathbf{x}}^T{\mathbf{u}}_i\right|}^2$$

逆矩阵表示

${\mathbf{A}}^{-1}$的级数展开形式：

$${\mathbf{A}}^{-1}=\sum _{i=1}^n{\mathbf{\lambda }}_i^{-1}{\mathbf{u}}_i{\mathbf{u}}_i^T$$

因此若已知$\mathbf{A}$的特征值分解，可以很容易求出${\mathbf{A}}^{-1}$

定矩阵

给定一个Hermitian矩阵（即等于其共轭转置的复矩阵） $\mathbf{M}$ ，对于任意非零复列向量 $z$，都有$z^H\mathbf{M}z$都为正，则 $\mathbf{M}$ 是正定的。负定矩阵和负半定矩阵的定义类似，非正半定且非负半定的矩阵有时称为不定矩阵。

定义

对于对称实矩阵M：

$$M\text{ positive-definite }⟺{\mathbf{x}}^{\top }M\mathbf{x}>0\text{ for all }\mathbf{x}\in {\mathbb{R}}^n\setminus \{0\}$$ $$M\text{ positive semi-definite}⟺{\mathbf{x}}^{\top }M\mathbf{x}\ge 0\text{ for all }\mathbf{x}\in {\mathbb{R}}^n$$ $$M\text{ negative-definite }⟺{\mathbf{x}}^{\top }M\mathbf{x}<0\text{ for all }\mathbf{x}\in {\mathbb{R}}^n\setminus \{0\}$$ $$M\text{ negative semi-definite }⟺{\mathbf{x}}^{\top }M\mathbf{x}\le 0\text{ for all }\mathbf{x}\in {\mathbb{R}}^n$$

同理对Hermitian矩阵M：

$$M\text{ positive-definite}⟺{\mathbf{z}}^{\ast }M\text{ z}>0\text{ for all }\mathbf{z}\in {\mathbb{C}}^n\setminus \{0\}$$

等等...

性质

矩阵M是正定的当且仅当它满足以下任一等效条件。

• M 与具有正实数项的对角矩阵一致。
• M 是对称的或 Hermitian 的，并且它的所有特征值都是实数且正的。
• M 是对称的或 Hermitian 的，并且它的所有先导主次要函数都是正的。
• 存在可逆矩阵 B $M=B^{H}B$

如果矩阵满足类似的等效条件，其中“正”被“非负”替换，“可逆矩阵”被“矩阵”替换，并且单词“前导”被删除，则该矩阵是半正定矩阵。

正定和正半定实数矩阵是凸优化的基础，因为，给定一个二次可微的多个实数变量的函数，那么如果其Hessian 矩阵（其二阶偏导数矩阵）在点p 处是正定的 , 那么函数在p附近是凸函数，反之，如果函数在 p 附近是凸函数 p , 那么 Hessian 矩阵在点p处是正半定的.