习题1.1 统计学习方法的三要素为：模型、策略、算法。 模型即需要用函数 \(Y=f_\theta(X)\) 或者条件概率分布 \(P_\theta(Y|X)\) 表示。 策略即寻找合适的损失函数，表示预测值与真实值之间的误差，进而构建风险函数。风险函数就是最优化的目标函数。 算法即学习模型时需要选 ...
分类：
其他好文 时间：
2021-06-21 20:51:54
阅读次数：
0
本文是数理统计的绪论内容，主要介绍了总体、样本和统计量的相关概念和性质。 ...
分类：
其他好文 时间：
2021-03-08 14:04:09
阅读次数：
0
本文主要是对信息熵、信息增益、信息增益比和 Gini 指数的定义进行汇总，使之更加明确记忆。 信息熵和条件熵 信息熵 熵（entropy）是表示随机变量不确定的度量。设 \(X\) 是一个取有限个值的离散随机变量，其概率分布为 \(P(X=x_i) = p_i, \quad i=1, 2, ..., ...
分类：
其他好文 时间：
2021-02-19 13:40:50
阅读次数：
0
LDA是什么 隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA)，是由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出的一种主题模型，是一种无监督机器学习技术，它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分 ...
分类：
其他好文 时间：
2021-02-10 13:21:54
阅读次数：
0
Intro 交叉熵，用来衡量两个随机变量之间的相似度。 KL散度（相对熵），量化两种概率分布P和Q之间差异。 计算公式 交叉熵 \(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\) KL散度 \(D_{ ...
分类：
其他好文 时间：
2020-12-10 10:51:19
阅读次数：
3
GAN的数学推导前面我们讲了一下GAN的基本思想，最近看了一下GAN的论文，又恰好看到了李宏毅老师的课程，感觉里面的数学推导很有意思，所以准备写下来以备之后查阅。首先需要一点预备知识，KLdivergence，这是统计中的一个概念，是衡量两种概率分布的相似程度，其越小，表示两种概率分布越接近。对于离散的概率分布，定义如下对于连续的概率分布，定义如下根据我们之前讲的内容，我们要做的事情就如下图所示我
分类：
其他好文 时间：
2020-11-27 11:27:18
阅读次数：
8
马尔可夫链蒙特卡罗法 蒙特卡罗法 思想：假设概率分布的定义已知，然后通过随机抽样获得概率分布的随机样本，通过得到的随机样本对概率分布的特征进行分析。 for example：从随机抽出的样本中计算出样本均值，从而得到总体的期望。 蒙特卡罗方法的核心：随机抽样 主要有直接抽样，接受-拒绝抽样，重要性抽 ...
分类：
其他好文 时间：
2020-11-16 13:40:23
阅读次数：
7
本文主要研究了分布式强化学习，利用价值分布(value distribution)的思想，求出回报$Z$的概率分布，从而取代期望值(即$Q$值)。 Q-Learning Q-Learning的目标是近似Q函数，即在策略$\pi$下回报$Z_t$的期望值： \(Q^{\pi}(s,a)=\mathbb ...
分类：
其他好文 时间：
2020-11-06 01:12:19
阅读次数：
18
python金融风控评分卡模型和数据分析微专业课：http://dwz.date/b9vv 今天主要给大家讲讲卡方分箱算法ChiMerge。先给大家介绍一下经常被提到的卡方分布和卡方检验是什么。 一、卡方分布 卡方分布(chi-square distribution, χ2-distribution ...
分类：
编程语言 时间：
2020-09-17 15:55:08
阅读次数：
23
概率分布 假设每一个随机变量都符合高斯分布，那么根据已有的数据，就可以得到$\mu$ 和$\sigma$ 的估计值，从而得到其分布函数，然后就可以针对预测数据进行预测，针对多维数据，采用高维高斯分布，每一维度都是独立的，并且都符合高斯分布，计算出每一维度的高斯分布函数，可以得到多维高斯分布函数，然后 ...
分类：
其他好文 时间：
2020-09-12 21:12:57
阅读次数：
40
