定义给定带有有限距的随机变量的列向量$X = (x_1, …, x_n)^T$和$Y = (y_1, …, y_m)^T$，我们可以定义互协方差矩阵$\Sigma_{XY} = cov(X, Y)$，为$n\times m$的矩阵，其中$(i, j)$是协方差矩阵$co ...

EM算法之前在看概率图模型的时候，写过关于EM算法的内容，不过已经忘记差不多了，最近在看[1]中的材料，感觉有了新的理解，特将这些内容整理成这篇博客。EM算法适用于存在隐变量的情况，或者说是假设存在因变量对系统进行推导。\begin{equation}\begin{split} log\ p(X\m ...

VGGNet模型结构VGGNet是牛津大学视觉组(Visual Geometry Group)和Google DeepMind公司研究员共同研究出的深度卷积神经网络。VGGNet使用的比较小的卷积核(3x3)以及2x2的最大池化层，通过增加层数增强非线性性能，同时相较于7x7的卷积核而言，减少了参数 ...

Point estimator当我们已经获得模型时，我们希望能够估计出模型的参数，这是可以使用点估计的方法。共轭先验：在给定似然函数的情况下，先验分布与后验分布时同种分布。 MC方法为了进行估计复杂后验分布，通过采样的方法对后验概率进行估计。

filteringForming a new image whose pixel values are transformed from original pixel values.

执行sudo apt-get update 出错出现错误如下：E: Some index files failed to download, they have been ignored, or old ones used instead' 出现无法更新的情况，可以在/etc&#x ...

简介不同于最大似然估计对于贝叶斯网的估计，有向图中，网络结构通常是已知的，我们需要做的是将参数学习出来或者是对于变量进行推断。无向图中则并不是这样，无向图中，很多模型的结构并不是完全清楚的，需要我们队模型结构进行推断。 高斯图模型高斯图模型是马尔科夫随机场的成对形式，同样也是满足高斯正态分布：$$ ...

隐马尔可夫模型隐马尔可夫模型如下图所示： 公式表达对于隐马尔可夫模型，通常有三组参数：$$ trasition\ probability\ matrix\ A: p(y_t^j = 1\mid y_{t-1}^i=1)=a_{i,j} $$ $$ initial\ ...

混合高斯模型$$ p(x_n\mid , \Sigma) = \Sigma_k \pi_k N(x\mid \mu, \Sigma_k) $$其中$\pi_k$是混合参数，$N(x\mid \mu_k, \Sigma_k)$是其对应的高斯分布。对于完全可观的独立同分布，对数似然可以分解为和 ...