思考猫的博客
  文章分类
统计学习 30 论文阅读 1 闲谈 6 环境配置 1 python学习 1 读后感 1 灵魂雕琢 7 电影观后感 1 点滴生活 5 开发知识 1 技术学习 2 linux 1 游戏 2 算法岗八股文 2 读书笔记 2
transformer_self-attention机制学习 transformer_self-attention机制学习
基于RNN的网络结构(LSTM,gru等)在nlp领域有着广泛应用，但RNN这样的网络结构使其固有长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化为定长的向量(embedding)而保存所有有效的信息。 为了解决这一由长
2020-11-13 统计学习
transformer, self-attention机制
自编码器AE 自编码器AE
在进行数据降维和数据降噪时常用的深度学习方法是自编码器AutoEncoder类算法，其具有以下特点: 自编码器类算法属于无监督学习范畴 从结构上来看自编码器类算法包含编码器和解码器两部分 自编码器算法常用做特征提取 本文按照以下结构
2020-10-10 统计学习
自编码，变分自编码，降噪自编码
指数族分布与广义线性模型 指数族分布与广义线性模型
在再谈极大似然估计中已经讨论过指数分布族的概念，并且推导出了若概率分布是指数分布族分布，则最终的对数似然函数一定是一个凹函数，直接求偏导等于0便可得到参数估计。 在听了朱军老师的关于指数分布族函数的讲解之后，发现可以从一个更加general
2020-10-07 统计学习
指数分布族， 广义线性模型
强化学习 强化学习
这部分将根据周志华老师的西瓜书对强化学习部分做一个简单介绍，该部分按照以下章节进行组织: 思想介绍——任务与奖赏 K-摇臂赌博机 有模型学习 免模型学习 值函数近似 模仿学习 思想介绍-任务与奖赏考虑这样病人看病的场景，假
2020-10-06 统计学习
强化学习
贝叶斯分类补充 贝叶斯分类补充
在前面我已经介绍过有关贝叶斯决策的相关知识，在进行实际应用时如果假设在给定类别情况下，各特征是彼此独立的: Ind(x_1,x_2, \dots, x_d |y)则这样导出的分类器称为朴素贝叶斯分类器，这部分我主要总结一些贝叶斯分
2020-10-05 统计学习
贝叶斯分类，逻辑回归
SVM补充 SVM补充
之前章节关于支持向量机的介绍已经比较详细了，最近发现有一些部分细节理解差一些意思，同时少了一部分内容，今天就在这里补充下，该部分章节按照以下结构组织: 优化问题等价 从硬间隔svm到软间隔svm svm应用于多分类问题 支持向量回归
2020-10-05 统计学习
SVM,补充
聚类算法 聚类算法
聚类是将样本集合中相似的样本(实例)分配到相同的类，不相似的样本分配到不同的类。聚类时，样本通常是欧式空间中的向量，类别不是事先给定，而是从数据中自动发现，但类别的个数通常要预先给定。样本之间的相似度或距离由度量决定。如果一个样本只能属于一
2020-09-21 统计学习
kmeans，层次聚类，谱聚类
降维算法 降维算法
降维是将训练数据中的样本(实例)从高维空间转换到低维空间。假设样本原本存在于低维空间，或者近似地存在于低维空间，通过降维则可以更好地表示样本数据的结构，即更好地表示样本之间的关系。高维空间通常是高维的欧式空间，而低维空间则是低维的欧式空间或
2020-09-21 统计学习
PCA, ISOMAP, MDS, LLE
非监督学习 非监督学习
这部分总结下传统统计学习的最后一部分内容——非监督学习，非监督学习又称无监督学习，我们前面讲的大部分算法都是需要样本的标签的，通过标签来构造损失函数，进而进行模型学习，但在有的情况下我们并没有数据的标签，这种情况下我们就什么都不能做了么？当
2020-09-11 统计学习
降维，聚类，概率密度估计
生成对抗网络GAN 生成对抗网络GAN
这一部分介绍一种特殊的神经网路模型——生成对抗网络(GAN)，生成对抗网络由Lan Goodfellow于2014年提出，该算法在形式上表现为两个神经网络的彼此对抗，对于生成对抗网络，我们可以从以下几个角度来对其进行限定： 本质： 学习训
2020-09-09 统计学习
GAN
pytorch学习 pytorch学习
在前面介绍深度学习的理论知识时，相信大家可以感受到，神经网络的实现主要有以下两个难题： 当网络结构复杂起来时，手写一个神经网络是非常困难(尤其是进行反向误差传播时)，也是十分费时的。 一个神经网络有着大量的参数，对计算机的计算能力要求非常
2020-09-06 统计学习
pytorch，深度学习框架
深度学习基础 深度学习基础
近些年来，神经网络算法家族蓬勃发展，本部分主要介绍一下这些算法的一些通用原理基础，该部分按照以下结构组织: 神经元模型 多层神经网络 反向传播算法(BP) 网络训练中常见问题 常见网络模型介绍 神经元模型时至今日，神经网络已经是一个
2020-09-02 统计学习
BP算法， 深度学习， CNN
1 / 3