思考猫的博客
概率分布中的距离度量 概率分布中的距离度量
在$k$近邻章节中，我总结了在样本空间中常用的两种距离度量:$L_p$距离以及马氏距离。但在一些机器学习任务中，我们期望能够得到一个分布与目标分布尽可能接近，这也就引出了一个新的问题: 如何度量两个概率分布之间的距离(差异程度)？ 本文
2020-08-26 统计学习
KL散度，JS散度，推土机距离
近邻法 近邻法
这一部分介绍一下$k$近邻算法，该算法于1968年由Cover和Hart提出，$k$近邻法是一种基本分类与回归方法，本文结构如下: $k$近邻算法 压缩近邻法 $k$近邻实现：$kd$树
2020-08-25 统计学习
分类，k近邻
再谈极大似然估计求解 再谈极大似然估计求解
首先我们思考这样一个问题： 当我们用最大似然估计进行概率模型参数估计时，为什么基本都是直接求导，一阶导数等于0的点就是我们待求的最优估计? 问到这个地方的时候，可能有一部分人就不知该如何回答了，因为一阶导数为0显然不是函数最大
2020-08-24 统计学习
统计学习，凸优化
logistic回归与最大熵模型 logistic回归与最大熵模型
在学习李航老师《统计学习》条件随机场章节时，对于学习算法感到有些陌生，后来发现在书中第六章“logistic回归与最大熵模型”有过一些介绍，因此本章节便总结一下相关知识，其中logistic回归模型做简要介绍，重点放在最大熵模型的学习算法上
2020-08-23 统计学习
logistic回归, 最大熵模型, 优化学习
条件随机场 条件随机场
另一种常用模型为条件随机场(CRF)模型,条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。本章节按照以下几部分组织： 概率无向图模型 条件随机场定义与形式 条件随机场
2020-08-21 统计学习
概率图，条件随机场
隐马尔可夫模型 隐马尔可夫模型
在这一部分，我将对隐马尔可夫模型(HMM)做简要介绍,该章节分为以下几个部分进行组织: 基本概念 概率计算算法 学习算法 预测算法
2020-08-17 统计学习
概率模型，HMM
SVM SVM
这部分将介绍支持向量机(SVM)算法，该部分将按照以下几部分进行组织： 算法历史 线性可分支持向量机与硬间隔最大化 线性支持向量机与软间隔最大化 非线性支持向量机与核函数 SVDD
2020-08-12 统计学习
支持向量机
线性判别函数 线性判别函数
在这一部分将总结一下关于感知机的一些相关知识点，不过首先我想要介绍下统计学习相关算法的一种分类标准。该部分内容将按照以下几部分进行组织： 模型分类-生成式模型与判别式模型 线性判别-感知机
2020-08-11 统计学习
线性判别,感知机
EM EM
在前面概率密度函数估计中，若概率模型的变量都是可观测变量，那么给定数据，便可以直接用极大似然估计法或者贝叶斯估计法来直接估计模型参数。但是当模型中含有隐变量时，便不能直接使用这些估计方法，EM算法就是含有隐变量的概率模型参数的极大似然
2020-07-30 统计学习
EM算法,隐变量,高斯混合模型
概率密度函数估计 概率密度函数估计
在使用贝叶斯理论进行决策时，我们需要知道先验概率$P(\omega)$,类条件概率密度函数$p(x|\omega)$,而在这一部分，我们便讨论下如何从样本集中将这些所需的概率密度函数估计出来
2020-07-27 统计学习
无监督学习
马尔可夫网络 马尔可夫网络
在这一部分我将介绍另一种常见的概率图模型:马尔可夫网络，或称马尔可夫随机场。接下来分为以下几部分进行组织
2020-07-25 统计学习
无向图
贝叶斯网络 贝叶斯网络
在该部分对贝叶斯网络进行介绍，按照递进关系总结以下知识点：
2020-07-24 统计学习
概率图模型，有向图
5 / 6