分布式系统的一个优势就是动态可伸缩性，如果增删节点需要重启那肯定是不行的。后来研究了一下，发现的确是不需要重启的。以spark和hadoop为例：不用重启集群，直接在新增的节点上分别启动以下进程即可：一、hadoop增加datanode节点因为1.x版本和2.x版本有比较大的差异，我这里是以2.7为例。在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和log
分类：
其他好文 时间：
2018-07-02 12:34:16
阅读次数：
180
真正的数据爱好者有很多需要阅读的内容：大数据，机器学习，数据科学，数据挖掘等。除了这些技术领域，还有一些特定的技术和语言需要你继续研究：Hadoop，Spark，Python，和R等等，还有无数实现自动化的工具等等，这些工具几乎每天都会用到，这就需要你不断的学习。幸运的是，以上提到的这些都不缺关于它 ...
分类：
其他好文 时间：
2018-06-21 23:50:31
阅读次数：
325
cdh5.14.2中集成安装kylin与使用测试标签（空格分隔）：大数据平台构建一：kylin简介二：安装配置kylin三：kylin运行实例一：kylin简介ApacheKylin?是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。kylin软件下
分类：
其他好文 时间：
2018-06-11 23:41:21
阅读次数：
994
Hadoop 问题1： Hadoop Slave节点 NodeManager 无法启动 解决方法： yarn-site.xml reducer取数据的方式是mapreduce_shuffle 问题2： 启动hadoop，报错Error JAVA_HOME is not set and could n ...
分类：
其他好文 时间：
2018-06-07 14:27:52
阅读次数：
183
本文以三个节点为例（一个Cloudera Manager节点，两个Agent节点），全面细致的介绍了CDH 5.12的安装与部署。
分类：
其他好文 时间：
2018-05-13 22:05:08
阅读次数：
242
项目实战案例：搜狗日志查询分析数据：一、电商大数据平台整体架构1、大数据（Hadoop、Spark、Hive）都是一种数据仓库的实现方式核心问题：数据存储、数据计算什么是数据仓库？传统的解决大数据的方式，就是一个数据库一般只做查询2、大数据平台整体的架构部署：Apache、Ambari（HDP）、CDH二、在项目中使用使用瀑布模型（软件工程：方法论）1、瀑布模型几个阶段?2、每个阶段完成的任务三、
分类：
其他好文 时间：
2018-05-06 16:22:50
阅读次数：
160
创建一个新的用户： $sudo useradd m hadoop s /bin/bash 设置用户的密码： $sudo passwd hadoop 添加管理员权限： $sudo adduser hadoop sudo 安装SSH，配置SSH无密码登陆： 安装SSH Server： $ sudo ap ...
分类：
系统相关 时间：
2018-04-25 22:11:54
阅读次数：
259
数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：1. 分类分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。2. 回归回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量
分类：
其他好文 时间：
2018-04-11 21:40:38
阅读次数：
178
看书的六大分支：大数据（Hadoop、Spark、Hive），概率统计理论，机器学习理论，机器学习应用（编代码），一些框架和库的学习，闲书 自己目前在尝试的看书方法：针对每一章节，有代码的能够敲就敲，重在理解，不需要每个细节都记住。等一遍看完一个章节后，再进行总结，这时候最好不翻书，而是在脑子里过一 ...
分类：
其他好文 时间：
2018-04-09 00:08:50
阅读次数：
160
