思考猫的博客
  文章分类
统计学习 30 论文阅读 1 闲谈 6 环境配置 1 python学习 1 读后感 1 灵魂雕琢 7 电影观后感 1 点滴生活 5 开发知识 1 技术学习 2 linux 1 游戏 2 算法岗八股文 2 读书笔记 2
提升算法总结 提升算法总结
对于一个特定机器学习问题，我们可能会建立很多模型，这些单个模型可能表现都不是非常好，由此便会引出一个问题: 问题1: 能否通过一个算法将这些模型组合起来(Ensemble)，产生一个效果更好的组合模型？ 这个问题的答案是肯定的，历史上，
2020-09-01 统计学习
Bagging, AdaBoost, 提升树模型
线性判别分析 线性判别分析
线性判别分析(LDA)是一种经典的线性学习方法，在二分类问题上最早由fisher提出，因此线性判别分析又称Fisher线性判别，该部分按照以下结构组织: LDA算法思想 LDA算法推导 多分类任务 算法思想LDA的思想非常朴素：给定
2020-09-01 统计学习
线性判别分析
决策树模型 决策树模型
这一部分介绍下决策树算法，决策树是一种基本的分类与回归表示方法，决策树模型呈树形结构，在分类问题中，可以表示为基于特征对实例进行分类的过程。决策树可以认为是”if-then”规则的集合，也可以认为是定义在特征空间与类空间上的概率分分布。本文
2020-08-30 统计学习
树模型,categorical变量
规则学习 规则学习
首先讲一个有意思的现象，早期的主流人工智能专注于以逻辑为基础来进行形式化和推理，但这样很难定量地对不确定事件进行表达和处理，后来随着机器学习算法的井喷，大家都更加关注于对定量的数据进行处理。但现在，很多人发现在解决某些任务的时候，加入一些行
2020-08-27 统计学习
规则学习，定性关联
概率分布中的距离度量 概率分布中的距离度量
在$k$近邻章节中，我总结了在样本空间中常用的两种距离度量:$L_p$距离以及马氏距离。但在一些机器学习任务中，我们期望能够得到一个分布与目标分布尽可能接近，这也就引出了一个新的问题: 如何度量两个概率分布之间的距离(差异程度)？ 本文
2020-08-26 统计学习
KL散度，JS散度，推土机距离
近邻法 近邻法
这一部分介绍一下$k$近邻算法，该算法于1968年由Cover和Hart提出，$k$近邻法是一种基本分类与回归方法，本文结构如下: $k$近邻算法 压缩近邻法 $k$近邻实现：$kd$树 $k$近邻算法 算法流程$k$近邻的算法非常简单
2020-08-25 统计学习
分类，k近邻
再谈极大似然估计求解 再谈极大似然估计求解
首先我们思考这样一个问题： 当我们用最大似然估计进行概率模型参数估计时，为什么基本都是直接求导，一阶导数等于0的点就是我们待求的最优估计? 问到这个地方的时候，可能有一部分人就不知该如何回答了，因为一阶导数为0显然不是函数最大
2020-08-24 统计学习
统计学习，凸优化
logistic回归与最大熵模型 logistic回归与最大熵模型
在学习李航老师《统计学习》条件随机场章节时，对于学习算法感到有些陌生，后来发现在书中第六章“logistic回归与最大熵模型”有过一些介绍，因此本章节便总结一下相关知识，其中logistic回归模型做简要介绍，重点放在最大熵模型的学习算法上
2020-08-23 统计学习
logistic回归, 最大熵模型, 优化学习
条件随机场 条件随机场
另一种常用模型为条件随机场(CRF)模型,条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。本章节按照以下几部分组织： 概率无向图模型 条件随机场定义与形式 条件随机场
2020-08-21 统计学习
概率图，条件随机场
隐马尔可夫模型 隐马尔可夫模型
在这一部分，我将对隐马尔可夫模型(HMM)做简要介绍,该章节分为以下几个部分进行组织: 基本概念 概率计算算法 学习算法 预测算法 基本概念首先给出隐马尔可夫模型的定义： 隐马尔可夫模型:隐马尔可夫模型是关于时序的概率模型，描述由一
2020-08-17 统计学习
概率模型，HMM
SVM SVM
这部分将介绍支持向量机(SVM)算法，该部分将按照以下几部分进行组织： 算法历史 线性可分支持向量机与硬间隔最大化 线性支持向量机与软间隔最大化 非线性支持向量机与核函数 SVDD 算法历史支持向量机算法是在机器学习领域非常著名的算法
2020-08-12 统计学习
支持向量机
线性判别函数 线性判别函数
在这一部分将总结一下关于感知机的一些相关知识点，不过首先我想要介绍下统计学习相关算法的一种分类标准。该部分内容将按照以下几部分进行组织： 模型分类-生成式模型与判别式模型 线性判别-感知机 模型分类-生成式模型与判别模型监督学习的
2020-08-11 统计学习
线性判别,感知机
2 / 3