协方差、样本协方差和样本协方差矩阵

wufaxian

请看下图。假设向量是p维，一共有N个样本向量。求这N个样本的协方差。但是下图红线部分显然是将协方差矩阵化了(化成了N个秩一矩阵累加的形式)。请问这是如何转换成矩阵累加形式的？




常见的协方差不应该是下图这样的公式么？(二维向量)



白板推导系列P23

luyuanhong

wufaxian

luyuanhong 发表于 2022-1-22 03:39

谢谢lu老师的详细回复。看到下图部分产生四个疑问。还请lu老师指教。
1，红框中是n吧？

2，篮框部分我不确定我理解的对不对。x\(_{i }\)是第i次观察数据组成的列向量。假设他是第i个同学各科成绩(一共有p科)，那么所求的\(\overline{x_{1}}\)实际上是n个同学第1科成绩的平均分，对吧？而最终求得的


实际上是n个同学各科(一共p科)成绩的平均值。向量的每个元素就是某一科成绩全班的平均值。

3，如果蓝框部分我理解的正确。那么绿框部分为什么突然加了转置？这看起来似乎是在求协方差。但是为什么突然加了转置。这是个关键问题。你开头讲样本协方差并没有这个转置。这个地方为什么突然就加了转置符号呢？

4，关于样本和随机向量三个指标(均值，方差，协方差)的差别我是第一次看到。看后我还是没有理解其差别的本质。比如均值和期望有什么本质区别？。除此以外剩下的差别看起来就是大小写的差别了。

luyuanhong

第 2 楼帖子中，我不小心将两处“n”写成了“m”，现已更正。

斜体字 xij 是第 j 组数据、第 i 次观测的数据，也就是第 j 门学科、第 i 个同学的成绩。

黑体字 xi 是将第 i 次观测数据排成的列向量，也就是将第 i 个同学各科成绩排成的列向量。

斜体字 xj（上加一横）是第 j 组数据的样本均值，也就是第 j 门学科所有 n 个同学成绩的平均值。

黑体字 x（上加一横）是将 p 组数据的样本均值排成的列向量，也就是将 p 门学科平均成绩排成的列向量。

注意：凡是我用黑体字写出的 x，xi ，都是列向量，不是单独的一个数，所以黑体字 x（上加一横）并不是

“n 个同学各科（一共 p 科）成绩的总平均值”，而是将 p 科成绩的平均值排列起来写成的一个列向量。

由此可见，黑体字 xi-x（上加一横）也是一个列向量，两个不带转置的列向量不能相乘，只有一个不带转置的列向量

黑体 xi-x（上加一横），乘以一个带转置的列向量黑体 xi-x（上加一横），才能得到一个方阵，即样本协方差矩阵 S 。

这与单独计算一个样本协方差 sxy（只是一个数字）是不同的，这就是为什么计算矩阵 S 的公式中要转置的道理。

样本均值、样本方差、样本协方差，都是样本统计量，是从样本数据算出来的。而均值（数学期望）、方差、协方差

是随机变量的数字特征，与样本数据无关，并不是从样本数据算出来的，而是从随机变量的分布算出来的。

你可能没有还系统地学习过概率论和数理统计，所以不太明白这两类概念之间的区别，等你学习过以后就明白了。

wufaxian

luyuanhong 发表于 2022-1-24 10:34
第 2 楼帖子中，我不小心将两处“n”写成了“m”，现已更正。

斜体字 xij 是第 j 组数据、第 i 次观测的 ...

“ 由此可见，黑体字 xi-x（上加一横）也是一个列向量，两个不带转置的列向量不能相乘，只有一个不带转置的列向量”

我认同这句话的道理道理。但是想不明白的是：让两个列向量相乘如果是目的的话，那么\(a^{T }\)a也可以啊。为什么要\(aa^{T}\)呢？前者也满足列向量相乘的目的，得到一个数字，后者却冒出一个矩阵。因此我猜测加转置符号并不简单是为了列向量相乘这个单一的目的吧。

“ 这与单独计算一个样本协方差 sxy（只是一个数字）是不同的，这就是为什么计算矩阵 S 的公式中要转置的道理。”
这个就惨不透了。是什么造成了这种不同？


以上两点疑问是否都属于概率论与数理统计的内容么？如果是，老师有什么好的入门书籍推荐么？