作为相对于cloudera的CDH的另一个选择是hortonworks的HDP和HDF，HDF是针对物联网的套件，HDP是与CDH对应的大数据平台产品。 hortonworks的HDP和HDF将storm和kafka集成进大数据平台，可以进行统一监控管理。 网络上有两套参考实现，都提供了模拟的数据流 ...
分类：
其他好文 时间：
2017-04-17 14:32:59
阅读次数：
1569
折腾了大半个晚上最终部署成功了，比在Linux上面略微复杂一点，具体过程例如以下： 1) jdk、ant、hadoop环境变量配置 2) 分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-com ...
1.通过realy机器登录relay-shell 2.登录了跳板机之后，连接可以用的机器 3.在本地的idea生成好程序的jar包（word-count_2.11-1.0.jar）之后，把jar包和需要put到远程机器的hdfs文件系统中的文件通过scp命令从开发机传到远程的机器中 4.通过put命 ...
分类：
其他好文 时间：
2017-04-05 22:29:00
阅读次数：
242
下面列举HDFS运行过程中可能出现的常见问题及解决方法，这些问题一般都会在日志中出现的相应的记录。Incompatible clusterIDs in … :namenode clusterID = … ,datanode clusterIDs =…出现该错误是由于NameNode重新格式化后会被赋 ...
分类：
其他好文 时间：
2017-04-01 20:36:54
阅读次数：
321
Elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml。第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下e ...
分类：
其他好文 时间：
2017-03-31 16:50:21
阅读次数：
238
刚刚在上篇博客记录了windows10下GPU版本caffe的安装，正准备跑跑论文里的代码，发现好多命令都是.sh命令，这是linux系统的脚本文件。不能直接在windows下运行，于是我想把.sh转换为windows下可执行的bat文件，但是又发现代码需要将数据转换为leveldb格式。而leve ...
分类：
系统相关 时间：
2017-03-18 20:09:54
阅读次数：
279
