本文共 1604 字，大约阅读时间需要 5 分钟。
线性判别分析LDA: 将带标签的高维样本投影到更低维度的空间中，使投影后的点按类别区分，相同类别的点将会在投影后的空间中更接近 ,类别之间 类间离散度越大越好。
http://blog.codinglabs.org/articles/pca-tutorial.html (清楚的原理解释)
作用：广泛应用于降维（尽量减少信息损失），形成 k 维是相互独立的正交特征(即主成分, 去除有相关性的数据)
数据从原来的坐标系投影到新的坐标系，并且希望投影后的特征分布间隔越大越好，即方差越大越好
第一个新坐标轴选择的原始数据中方差最大的方向，第二个新坐标轴选择与第一个新坐标轴正交且方差次大的方向。重复该过程，重复次数为原始数据的特征维数。
具体步骤:
1） 设有m条n维数据,将原始数据按列组成n行m列矩阵X2）先对矩阵 X 做归一化，计算它的协方差矩阵C=1/mXXT3）计算协方差矩阵的特征值和特征向量4）将将特征值排序，保留前 k 个最大的特征值对应的特征向量，取前k行组成矩阵P,即为降维到k维后的数据
相似 : LDA和PCA均是线性降维技术，通用的LDA方法与PCA比较相似
区别： PCA属于“无监督”算法，它在降维时不关注数据的分组（类）关系，目标是找到代表数据集最大化方差方向的一系列正交的主成分（特征向量）；LDA则是“监督”算法，考虑已知的类别关系，通过线性判别式定义一系列表示最大化类别之间距离的正交轴。
①数据在低维下更容易处理、更容易使用；
②相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示； ③去除数据噪声 ④降低算法开销实例代码： http://blog.csdn.net/yeyang911/article/details/48733963
博客1 http://blog.csdn.net/cai2016/article/details/52983473 （容易理解–做ppt）理解
http://blog.csdn.net/neal1991/article/details/45128193
代码：http://blog.csdn.net/SMUEvian/article/details/70244493?locationNum=8&fps=1
述流程图中，由独立源线性组合成的观测信号X，只需要对S进行求解即可。S=B*X，其中B为A的逆，通过迭代对A进行逼近，当达到设置的精度时即可分离出混合矩阵的近似。盲源分离的目的是求得源信号的最佳估计。
那么ICA在本质上是不可能实现的。假定S经过混合矩阵A后，他们的联合概率密度仍然不变化，因此我们没有办法在混合中的得到混合矩阵的信息。
高斯分布：正态分布
(即对条件假设的描述：目标函数，依据它进行无监督学习)
1）非高斯最大化（负熵、高阶累积量–常用四阶累积量）； 2）互信息最小化； 3）最大似然估计； 4）KL散度； 确定目标函数之后，采用一定的算法（各种自适应优化算法）寻优处理。在闹磁图（MEG）中分离非自然信号、在金融数据中找到隐藏的因素、自然图像中减少噪声、人脸识别、图像分离、语音信号处理、远程通信等
1）零均值：中心化：也就是求x均值，然后让所有x减去均值，这一步与PCA一致。
2）白化：通过线性变换把随机变量转换成相互无关的变量 3）ICA:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JPLokuwW-1586326813295)(file:///C:\Users\sereny\AppData\Local\Temp\ksohtml9124\wps6.jpg)]