在这次项目开发实践中,我又一次尝试用Python脚本生成C#代码,其效果让我很满意 -- 提高了代码质量,可维护性和工作效率;同时降低了出错率。看来事情在向好的方面发展。那么促成的因素是什么?我思考了一下,可能有以下2点:在用脚本生成代码方面积累的实践技术经验在运用第1点时,让我感受到了“数据建模”...
分类:
其他好文 时间:
2015-12-07 08:44:29
阅读次数:
145
所谓水无定势,兵无常法。不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据仓库平台之外,也有各自的针对某个行业的数据模型。 例如,在银行业,IBM 有自己的 BDWM(B....
分类:
其他好文 时间:
2015-11-23 18:49:45
阅读次数:
236
尽管有些内容还是不懂,先截取的摘录。1.变量选择问题:从普通线性回归到lasso 使用最小二乘法拟合的普通线性回归是数据建模的基本方法。其建模要点在于误差项一般要求独立同分布(常假定为正态)零均值。t检验用来检验拟合的模型系数的显著性,F检验用来检验模型的显著性(方差分析)。如果正态性不成立,...
分类:
其他好文 时间:
2015-11-08 19:25:44
阅读次数:
1650
分类:数据仓库与数据挖掘Technorati 标签:数据仓库,模型设计数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段:1,概念模型对业务的范围和使用,从高度上进行抽象概括,也就是划分主题域。一般划分为8个主题域:客户、服务、服务使用、...
分类:
其他好文 时间:
2015-10-26 13:27:41
阅读次数:
233
一个数据架构师做什么?只是设计表?那是我能第一时间想的。但事实证明,这并不是。数据架构师的主要职责是: 数据建模与分析(45%) 数据加载和交付(25%) 数据可用性,性能,安全性保证(15%) 数据质量与治理(10%) 其他(5%) 1. 数据建模与分析 了解数据(Understand the d...
分类:
其他好文 时间:
2015-10-09 09:18:29
阅读次数:
179
点击标题下「大数据文摘」可快捷关注作者:百分点技术总监郭志金摘自:百分点(ID: baifendian_com)从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年...
分类:
其他好文 时间:
2015-10-09 09:15:07
阅读次数:
175
业务需求->业务对象模型(对象关系)->数据建模->类的设计->概要编码->详细功能设计基本规则:1)首先呢,俄罗斯方块都是由一个个小格子构成的,我们叫它Cell: 行宽:10,列高:20,以每个小正方形为单位2)其次,所有的俄罗斯方块都是一组由4个小型正方形组成的规则图形,我们叫它Tetromi....
分类:
编程语言 时间:
2015-09-17 23:24:27
阅读次数:
573
为什么统计学家、机器学习专家解决同一问题的方法差别那么大?作者:Nir Kaldero乍一看,机器学习和统计似乎是非常相似的,大家几乎不强调这两个学科之间的差异。机器学习和统计有着相同的目标 ——它们都关注数据建模,但他们的使用方法却因为它们文化的差异而截然不同。为了能够更好的协作和知识创新,了解这...
分类:
其他好文 时间:
2015-09-07 19:23:04
阅读次数:
171
1-6 数据压缩技术是如何分类的? 答:一般分为可逆压缩和不可逆压缩:建模表达式->二次量化->熵编码(1) 建立一个数学模型,以便能更紧凑或更有效地“重新表达”规律性不那么明显(或本质性不那么突出)的原始数据;(2) 设法更简洁地表达利用该模型对原始数据建模所得到的模型参数(或新的数据表示形式.....
分类:
其他好文 时间:
2015-08-28 12:32:45
阅读次数:
122
关于集成学习基础的简单描述什么是集成学习?集成建模是优化模型表现的一条重要途径。通常来说,将集成学习方法运用在你所构建的诸多模型之上是十分值得的,而同道中人们也一次又一次地证明着这一点。他们在诸如Kaggle之类的数据建模竞赛中往往会不约而同地采用集成学习,并且从中受益。集成学习其实是一个很宽泛的概...
分类:
其他好文 时间:
2015-08-20 22:09:35
阅读次数:
190