1.1 计数器 计数器的作用是用来统计数量的，用于记录特定事件的次数，分为内置计数器、自定义java枚举计数器、自定义Stream计数器三大类。用于质量分析，或应用级统计。分析计数器的值比分析一堆日志更高效。 计数器名称 计数器介绍 内置计数器 Hadoop自带的计数器，有特定的计数器名称。例如统计 ...
分类：
其他好文 时间：
2020-02-12 10:36:11
阅读次数：
69
项目使用批处理方式处理数据，最开始项目很稳定，一秒一批，200ms基本处理完毕。后来数据量激增一倍之后，项目时不时有阻塞的情况发生。解决思路，1，最开始以为计算资源不够用，查看机器之后发现没有问题。2，各个服务器之间通讯速度，用的都是阿里的服务器，把所有服务器调整到一个网段之后，情况仍然没有改善。3 ...
分类：
其他好文 时间：
2020-02-12 10:30:39
阅读次数：
56
Hadoop和Apache Spark究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不 ...
分类：
其他好文 时间：
2020-02-12 00:20:53
阅读次数：
86
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引 ...
分类：
其他好文 时间：
2020-02-11 13:16:04
阅读次数：
109
分析： 对sbt版本结果没有影响，但是会影响后续的打包编译！！！！要命、 解决方法： 运行命令：sudo gedit ~/.bashrc 最后一行添加：TERM="${TERM/xterm-256color/xterm-color" 最后：source ~/.bashrc 结果： OK,两个问题都解 ...
分类：
其他好文 时间：
2020-02-11 10:09:21
阅读次数：
109
条件：maven、java应用程序代码、pom.xml -pom.xml文件 1 <project> 2 <groupId>edu.berkeley</groupId> 3 <artifactId>simple-project</artifactId> 4 <modelVersion>4.0.0</ ...
分类：
编程语言 时间：
2020-02-11 09:47:08
阅读次数：
80
启动hadoop -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式 ...
分类：
系统相关 时间：
2020-02-11 09:38:51
阅读次数：
116
词频统计： textFile包含了多行文本内容： textFile.flatMap(line => line.split(” “))会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量line，并执行Lamda表达式line => line.split(” “) ...
分类：
其他好文 时间：
2020-02-11 09:32:45
阅读次数：
65
分析： val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件，必须以“file：///”开头 Spark的惰性机制：执行上面的命令不会马上显示结果 只有遇到行动类型的操作，才会从头到尾执行所有操作，如：textFile.firs ...
分类：
其他好文 时间：
2020-02-11 09:21:30
阅读次数：
119
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
