master/slave主从结构： HDFS是一个 master/slave的架构。HDFS只有一个NameNode，即master。master负责管理文件系统命名空间和client对文件的访问。此外，HDFS有很多DataNode，通常一个机器节点一个DataNode，管理这个节点上的存储。HD ...
分类：
其他好文 时间：
2017-07-20 10:12:43
阅读次数：
136
来自 http://blog.csdn.net/jasonding1354/article/details/46340729 内容概要 如何使用pandas读入数据 如何使用seaborn进行数据的可视化 scikit-learn的线性回归模型和使用方法 线性回归模型的评估测度 特征选择的方法 内容 ...
分类：
其他好文 时间：
2017-07-18 15:29:36
阅读次数：
275
package study.bigdata; import org.apache.commons.io.FileUtils; import org.apache.commons.io.IOUtils; import org.apache.commons.lang3.RandomStringUtils... ...
分类：
编程语言 时间：
2017-07-04 22:25:37
阅读次数：
323
新建一个maven项目 iead,新建是不选择archetype,新建好之后,pom中的 <packaging>pom</packaging>节点是默认的,如果不是要改成这这样子 然后选中这个项目,新建一个module,之后就和建立普通项目一样了. eclipse,新建一个maven项目,arche ...
分类：
系统相关 时间：
2017-07-04 00:01:23
阅读次数：
343
最近公司在使用apache kylin做实时开发访问，但是自己集群是linux32 只能安装JDK32位的受限只能3G多内存，而apachekylin 默认是4G内存，需要JDK64位支持。 解决办法是到apache kylin的/home/hadoop/bigdata/softs/apache-k ...
分类：
Web程序 时间：
2017-07-02 12:20:31
阅读次数：
352
2010年以来，中国第三方支付市场的交易规模保持50%以上的年均增速迅速扩大，已经成为全球的领跑者。 根据比达咨询（BigData-research）最新发布的《2016中国第三方移动支付市场研究报告》指出，2016年中国第三方支付总交易额为57.9万亿人民币，相比2015年增长率为85.6%。其中 ...
分类：
其他好文 时间：
2017-06-28 11:51:23
阅读次数：
126
一。下载elasticsearch-5.1.1 cd D:\bigdata\elasticsearch-5.1.1\bin elasticsearch-service.bat cmd 运行 service install，会提示安装成功 service manager 会弹出服务管理界面，可以设置自 ...
一.临时添加UDF函数1.上传jar包至hive服务器2.hiveshell执行如下命令：addjar/home/hive/hivejar/billing-on-hive-1.0.jar
createtemporaryfunctionstripas‘com.tsingzone.bigdata.billing.GetOperator‘;
注：
strip：自定义函数名
com.tsingzone.bigdata.billing.GetOperator..
分类：
其他好文 时间：
2017-06-07 14:13:16
阅读次数：
217
When working with big data with R (say, using Spark and sparklyr) we have found it very convenient to keep data handles in a neat list ordata_frame. P ...
分类：
其他好文 时间：
2017-05-27 13:29:32
阅读次数：
228
分布式系统实践 1. BigData－‘基于代价优化’究竟是怎么一回事？ http://dwz.cn/5Vq8T8 摘要: 很多同学应该都有认识, SQL的join操作很可能是性能杀手, 如果写的不好, 性能可能会大幅度下降. 很多SQL引擎都尝试进行join的优化, 其中基于代价的优化(CBO)是 ...
分类：
其他好文 时间：
2017-05-13 11:27:43
阅读次数：
156
