网站链接: element-ui dtcms
当前位置: 首页 > 技术博文  > 技术博文

矩阵论笔记:最小二乘法及矩阵求导!

2021/6/25 1:24:34 人评论

最小二乘法及矩阵求导! 文章目录一. 矩阵的迹一. 矩阵的迹 一个 nnn\times nnn 的矩阵 A\mathbf AA 的迹就是该矩阵主对角线上各元素的总和,记作 tr⁡(A)\operatorname{tr}(\mathbf A)tr(A),如下:tr⁡(A)∑i1naii(1)\operatornam…

最小二乘法及矩阵求导!

文章目录

  • 一. 矩阵的迹

一. 矩阵的迹

  • 一个 n × n n\times n n×n 的矩阵 A \mathbf A A 的迹就是该矩阵主对角线上各元素的总和,记作 tr ⁡ ( A ) \operatorname{tr}(\mathbf A) tr(A),如下: tr ⁡ ( A ) = ∑ i = 1 n a i i (1) \operatorname{tr}(\mathbf A)=\sum_{i=1}^{n} a_{i i} \tag{1} tr(A)=i=1naii(1)
  • 定理1: tr ⁡ ( A B ) = tr ⁡ ( B A ) (2) \operatorname{tr}(\mathbf {AB})=\operatorname{tr}(\mathbf {BA})\tag{2} tr(AB)=tr(BA)(2)
  • 证明如下:
  • 定理2:
    tr ⁡ ( A B C ) = tr ⁡ ( C A B ) = tr ⁡ ( B C A ) (3) \operatorname{tr}(\mathbf {ABC})=\operatorname{tr}(\mathbf {CAB})=\operatorname{tr}(\mathbf {BCA})\tag{3} tr(ABC)=tr(CAB)=tr(BCA)(3)
  • 证明: 可以将 A B \mathbf {AB} AB 或者 B C \mathbf {BC} BC 当成一个整体,这样由 定 理 1 定理1 1 可以知道成立。
  • 定理3: ∂ tr ⁡ ( A B ) ∂ A = ∂ tr ⁡ ( B A ) ∂ A = B ⊤ (4) \frac{\partial \operatorname{tr}\mathbf{(AB)}}{\partial \mathbf A}=\frac{\partial \operatorname{tr}\mathbf{(BA)}}{\partial \mathbf A}=\mathbf B^{\top}\tag{4} Atr(AB)=Atr(BA)=B(4)
  • 其中 A \mathbf A A m × n m\times n m×n 的矩阵, B \mathbf B B n × m n\times m n×m 的矩阵。
  • 证明:
    tr ⁡ ( A B ) = tr ⁡ ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) ( b 11 b 12 ⋯ b 1 m b 21 b 22 ⋯ b 2 m ⋮ ⋮ ⋱ ⋮ b n 1 b n 2 ⋯ b n m ) (5) \operatorname{tr}\mathbf{(AB)}=\operatorname{tr}\left(\begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22} & \cdots & a_{2 n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m 1} & a_{m 2} & \cdots & a_{m n} \end{array}\right)\left(\begin{array}{cccc} b_{11} & b_{12} & \cdots & b_{1 m} \\ b_{21} & b_{22} & \cdots & b_{2 m} \\ \vdots & \vdots & \ddots & \vdots \\ b_{n 1} & b_{n 2} & \cdots & b_{n m}\tag{5} \end{array}\right) tr(AB)=tra11a21am1a12a22am2a1na2namnb11b21bn1b12b22bn2b1mb2mbnm(5)
  • 只考虑主对角上的元素,那么有:
    tr ⁡ ( A B ) = ∑ i = 1 n a 1 i b i 1 + ∑ i = 1 n a 2 i b i 2 + … + ∑ i = 1 n a m i b i m = ∑ i = 1 m ∑ j = 1 n a i j b j i (6) \begin{aligned} &\operatorname{tr}\mathbf{(AB)}=\sum_{i=1}^{n} a_{1 i} b_{i 1}+\sum_{i=1}^{n} a_{2 i} b_{i 2}+\ldots+\sum_{i=1}^{n} a_{m i} b_{i m}=\sum_{i=1}^{m} \sum_{j=1}^{n} a_{i j} b_{j i} \tag{6} \end{aligned} tr(AB)=i=1na1ibi1+i=1na2ibi2++i=1namibim=i=1mj=1naijbji(6) ∂ tr ⁡ ( A B ) ∂ a i j = b j i ⇒ ∂ tr ⁡ ( A B ) ∂ A = B ⊤ (7) \begin{aligned} &\frac{\partial \operatorname{tr}\mathbf{(AB)}}{\partial a_{i j}}=b_{j i} \Rightarrow \frac{\partial \operatorname{tr}\mathbf{(AB)}}{\partial \mathbf A}=\mathbf{B}^{\top}\tag{7} \end{aligned} aijtr(AB)=bjiAtr(AB)=B(7)

相关资讯

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?