@[toc] 1.GradientBoostingClassifier loss :给定损失函数，可选对数似然函数deviance和指数损失函数exponential；默认为deviance；不建议修改。 n_estimators ：最大迭代次数，值过小可能会导致欠拟合，值过大可能会导致过拟合，一般 ...
分类：
其他好文 时间：
2020-02-08 23:17:16
阅读次数：
133
概率分布（一) 参数分布 取这个名字是因为少量的参数可以控制整个概率分布。如高斯分布，我们只需要控制其期望和方差就可以得到一个特定的概率分布。 频率学家的观点：通过最优化某些准则（如似然函数）来确定参数的具体值。 贝叶斯观点：给定观察数据，先引入参数的先验分布，然后用贝叶斯定理计算对应的后验概率分布 ...
分类：
其他好文 时间：
2020-01-17 23:33:26
阅读次数：
406
根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 yi^=wxi+b。 损失函数：loss=Σ(yi-yi^)2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(yi-yi^)2 ...
分类：
其他好文 时间：
2020-01-11 14:57:31
阅读次数：
154
机器学习基础 [toc] 1. 概率和统计 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 顾名思义： 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 统计研究的问题则相反。统计是，有一 ...
分类：
其他好文 时间：
2020-01-09 00:55:49
阅读次数：
134
[TOC] "Neal R. M. , MCMC Using Hamiltonian Dynamics[J]. arXiv: Computation, 2011: 139 188." @article{neal2011mcmc, title={MCMC Using Hamiltonian Dynam ...
分类：
其他好文 时间：
2020-01-05 15:40:49
阅读次数：
95
用极大似然来求解参数, 求导很有技巧,之前跟之前LDA相似, 还得用拉格朗日乘子求条件极值 ...
分类：
其他好文 时间：
2019-12-21 09:20:17
阅读次数：
144
What 现有多个变量X1, X2, X3, ....会对结果数据Y产生影响，现在要求出这些变量Xn对于最终结果的影响权重。找到一个线(两个变量)，面(三个变量)来拟合这些权重的数值。通过训练数据得到这些参数，然后使用这些参数(模型)对新数据进行预测 例如，拟合一个平面： 其中 θ0表示预置的权重参 ...
分类：
其他好文 时间：
2019-12-03 23:17:29
阅读次数：
92
What 经典的二分类算法，也可以解决多分类问题 Sigmoid函数 Sigmoid函数 公式： 自变量取值为任意实数，值域[0, 1] 结果整合： 由输入值到概率的转化，可以用于完成分类任务 似然函数： 对数似然： Why 结构简单。先用逻辑回归测试，如果不能解决在考虑其他算法 How ...
分类：
其他好文 时间：
2019-12-03 23:02:05
阅读次数：
117
一般地，用$Y$表示观测随机变量的数据，$Z$表示隐随机变量的数据，$Y$和$Z$连在一起称为完全数据，观测数据$Y$又称为不完全数据。假设给定观测数据$Y$，其概率分布是$P(Y|\theta)$，其中$\theta$是需要估计的模型参数。那么不完全数据$Y$的似然函数是$P(Y|\theta)$ ...
分类：
编程语言 时间：
2019-11-24 15:39:44
阅读次数：
82
第二章 置信区间估计 估计量和估计值的写法？ 估计值希腊字母上边有一个hat 点估计中矩估计的原理？ 用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计法称为矩估计法。Eg：如果一阶矩则样本均值估计总体均值 公式化之后的表达： 其中的μ1的表达式： 矩估计和最大似然估计最终估计 ...
分类：
其他好文 时间：
2019-11-18 20:19:28
阅读次数：
164
