关于大数据的概念，指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。而大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。那么关于大数据的技术大致包含哪些内容? 一、数据采集 ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层 ...
分类：
其他好文 时间：
2018-11-26 00:05:46
阅读次数：
616
大数据环境下的机器学习 三种误解：模型不再重要（大量数据上复杂模型依然提升显著，大数据是的复杂模型充分利用数据且难以过拟合），相关性就足够了（因果关系重要性无法被替代），以前的研究方向不再重要（高性能计算和存储依然重要） 机遇和挑战：只过目一遍数据的学习，高度可解释的模型，低质量样本集上的学习 大数 ...
分类：
其他好文 时间：
2018-11-21 16:18:24
阅读次数：
193
1. 连续型特征的常用的归一化方法、离散型特征one-hot编码的意义 2. 度量特征之间的相关性 ：余弦相似度和皮尔逊相关系数 ...
分类：
其他好文 时间：
2018-11-19 21:38:22
阅读次数：
480
利用并行计算机实现软件和硬件上的并行算法的主要步骤和层次 第5层是指应用层，在这一层里描述的是需要并行计算平台实现的应用和问题。对应所需的输入和输出的格式也在这层进行定义。某些输入和输出（I/O）接口的描述还需要考虑数据存储的位置和时间的相关性。这一层的结果会被更低一层采纳以便指导并行算法的开发工作 ...
分类：
编程语言 时间：
2018-11-19 17:36:36
阅读次数：
242
pandas 中df 对象自带相关性计算方法corr() , 可以用来计算DataFrame对象中所有列之间的相关系数（包括pearson相关系数、Kendall Tau相关系数和spearman秩相关）。 >>> import numpy as np>>> import pandas as pd ...
分类：
编程语言 时间：
2018-11-15 16:12:37
阅读次数：
561
什么是数据库？ 1.数据库是按照数据结构来组织、存储、管理数据的仓库； 2.每个数据库提供多种API接口用于创建、访问、管理，搜索和复制所保存的数据； 3.RDBMS和DBMS: RDBMS:关系型数据库管理系统，要求表与表之间有关联关系，适用于处理复杂、庞大的数据，中大型项目使用较多； RDBMS ...
分类：
数据库 时间：
2018-11-13 02:53:51
阅读次数：
145
PCA在做数据处理，一般会有一个数据预处理，其中一个目标就是将取数据特征向相关性。 为什么要去特征的相关性？ 因为数据如果有相关性，在学习的时候是冗余的，徒增学习成本；所以对于数据处理（也称之为白化，英文有的时候称之为sphering），白化的目的：1.实现特征之间的相关性较低；2.所有的特征具有相... ...
分类：
其他好文 时间：
2018-11-11 23:40:16
阅读次数：
298
上图讲述的两组数据，可以看到左图的数据离散度比较大，相关性比较弱，右图数据的相关性比较强；我们在使用PCA的时候，就是要将相关性强的数据进行降维，以减少处理的数据量。 那么怎么描述数据的相关性呢？使用期望，协方差以及相关系数：下面分别是左图和右图的数字特征： 其实其关键性做得是R，R说明了点间的相关... ...
分类：
其他好文 时间：
2018-11-11 23:24:41
阅读次数：
206
如果大家去搜索早期的神经网络、SVM的相关论文，会发现不少是做股票预测的。原因很简单，因为似乎我们可以天然地把股票投资的问题看成一个分类问题或者回归问题。回归的角度，我们可以根据之前的历史数据，预测下一个时间点的股价；分类的角度，我们可以根据历史数据，预测下一个时间点股价的正负。看起机器学习的方法可 ...
分类：
其他好文 时间：
2018-11-08 01:13:18
阅读次数：
369
把Actor的复制打开 中腰数据的复制打开，且只在服务器修改（比如角色属性血量） 需要同步的Actor，不在客户端Spawn 客户端的操作，先报告到服务器，服务器再广播到所有客户端 某些逻辑只在服务器运行（比如捡枪） 考虑相关性、延迟等等更多因素 。。。 ...
分类：
其他好文 时间：
2018-11-04 21:12:16
阅读次数：
249
