本次部署haddoop集群三台hostname:HBASE01 HBASE02 HBASE03 192.168.240.129 HBASE01 192.168.240.130 HBASE02 192.168.240.131 HBASE03 将HBASE01 HBASE02作为namenode节点，H ...
分类：
其他好文 时间：
2020-02-06 14:24:12
阅读次数：
69
在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成，因此，需要掌握如何把Windows系统中 的文件上传到Linux系统，以及如何把Linux系统中的文件下载到Windows系统中。 首先，到本教程官网的“下载专区”中的“软件”目录中，下载FTP软件File ...
分类：
其他好文 时间：
2020-02-06 12:32:32
阅读次数：
146
1. 下列哪项通常是集群的最主要瓶颈（C） A. CPU B. 网络 C. 磁盘IO D. 内存 2. 下列哪项可以作为集群的管理工具？（C） A.Puppet B.Pdsh C.ClouderaManager D.Zookeeper 3. 下列哪个是Hadoop 运行的模式？（ABC） A. 单机 ...
分类：
其他好文 时间：
2020-02-05 18:41:15
阅读次数：
95
Zookeeper是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务。它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 架构图如下： Zookeeper能做些什么？ Hadoop2.0使用Zookeeper的事件处理确保整个集群只有一个活跃 ...
分类：
其他好文 时间：
2020-02-05 13:54:23
阅读次数：
59
今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
写入文本文件： Scala需要使用java.io.PrintWriter实现把数据写入到文本文件。 采用相对路径时，当使用用户名hadoop登录Linux系统，打开Scala解释器进入命令提示符状态后，输入以下代码: scala> import java.io.PrintWriter import ...
分类：
其他好文 时间：
2020-02-04 15:54:31
阅读次数：
87
其实，一开始我应聘的是Spark，Hadoop这样的，然后后面呢，发现只有Java的业务给我写了，再后面我发现，公司招不到前端，所以前端要由后端来写，刺激！！！数据驱动首先要明白一个概念，那就是DOM其实是数据的一种映射，在之前jQuery的时代，当数据发生改变时，我们需要手动改变DOM，而Vue的... ...
分类：
其他好文 时间：
2020-02-04 11:01:46
阅读次数：
90
今天你完成实验四前两个实验。但是！！！在跟eclipse的scala插件做斗争的时候，把hadoop的插件给搞没了，按着林子雨老师的教程走了一遍还是不行，不知不觉又搞了一下午，还是没解决。明天把实验四完成，做一些实验五，希望明天可以把eclipse的问题解决。 1．spark-shell 交互式编程 ...
分类：
其他好文 时间：
2020-02-03 22:31:42
阅读次数：
159
今天主要完成了焊缝识别软件界面的全部书写，完成了软件著作权申请说明书，准备交给学长做进一步的修改提交申请。如果成功的话就是第二个软件著作权了。 因为重新装了系统，所以得重新装虚拟机和hadoop，spark环境，决定明天开始。 部分代码如下： # -*- coding: utf-8 -*- # Fo ...
分类：
其他好文 时间：
2020-02-03 20:44:09
阅读次数：
88
每个节点都要安装jdk #java environment export JAVA_HOME=/export/server/jdk1.8.0_11 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAV ...
分类：
其他好文 时间：
2020-02-02 23:51:18
阅读次数：
91
