Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
目前已有很多方法和技术用于构造分类模型，如决策树、神经网络、贝叶斯方法、Fisher线性分析(Fld)以及支持向量机(Support Vector
Machine, SVM)。基于超完备字典的信号稀疏分解是一种新的信号表示理论，其采用超完备的冗余函数系统代替传统的正交基函数，为信号自适应的稀疏扩展提...
分类：
其他好文 时间：
2014-06-08 21:02:36
阅读次数：
22018
之前写过一篇距离与相似性度量的blog，这里添加两个少见的相似性度量方法，并且再扩展一些东西。
Tanimoto系数由Jaccard系数扩展而来。用来计算稀疏非二值不平衡向量的相似性，类似cosine距离
Bregman距离是一个数学通式，许多的距离，如欧式距离，KL距离等等都可以有Bregman公式推导而来。...
分类：
其他好文 时间：
2014-06-08 15:34:45
阅读次数：
457
稀疏矩阵(Sparse
Matrix)：对于稀疏矩阵，目前还没有一个确切的定义。设矩阵A是一个n*m的矩阵中有s个非零元素，设
δ=s/(n*m)，称δ为稀疏因子，如果某一矩阵的稀疏因子δ满足δ≦0.05时称为稀疏矩阵，稀疏矩阵的压缩存储对于稀疏矩阵，采用压缩存储方法时，只存储非0元素。必须存储非0...
分类：
编程语言 时间：
2014-06-06 16:28:48
阅读次数：
393
当矩阵的非零个数和位置在操作过程中变化大时，就不宜采用顺序存储结构来表示三元组的线性表。例如，在作“将矩阵B加到矩阵A上”的操作时，由于非零元的插入或删除将会引起A.data中元素的移动。为此，对这种类型的矩阵，采用链式存储结构表示三元组的线性表更为恰当。在链表中，每个非陵园可用一个含5个域的结点表...
分类：
编程语言 时间：
2014-06-06 15:38:15
阅读次数：
389
三元组表的C++语言描述基本运算的算法——建立稀疏矩阵的三元组表的算法、按矩阵的列序转置算法、按矩阵的行序转置算法#includeusing namespace
std;template class sanyuanzu{ private: struct Node {...
分类：
其他好文 时间：
2014-06-05 18:29:41
阅读次数：
318
十字链表的语言描述基本运算的算法——建立稀疏矩阵的十字链表的算法、输出稀疏矩阵十字链表的算法#includeusing namespace
std;template class shizi{private: struct Node { int i; int j...
分类：
其他好文 时间：
2014-06-05 18:25:08
阅读次数：
272
#include #include #include typedef int DataType;//
稀疏矩阵的十字链表存储表示typedef struct LNode{ int i,j; // 该非零元的行和列下标 DataType e; // 非零元素值
struc...
分类：
其他好文 时间：
2014-05-25 23:13:33
阅读次数：
295
图中的顶点数决定了邻接矩阵的阶数和邻接表中的单链表数目。无论是对有向图还是无向图，图中边数的多少决定了单链表中的结点数，而不影响邻接矩阵的规模。因此完全图(每一对不同顶点恰有一条边相连)适合采用邻接矩阵存储,而稀疏图不适合采用邻接矩阵进行存储，因为那样会浪费很多存储空间。
分类：
其他好文 时间：
2014-05-22 00:40:29
阅读次数：
272
除了邻接矩阵外储存图的另一种方法，适用于稀疏图。用一个有n结点，p条边的有向图，用a[i]，b[i]，l[i]分别表示第i条边的起点，终点，权值。first[x]表示x号结点连出的第一条边，next[i]表示与第i条边是同一个结点连出的下一条边，如果为0则表示已经没有下一条了。初始化：用last[x...
分类：
其他好文 时间：
2014-05-17 22:29:48
阅读次数：
468
