hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
一：第一大特性：依赖管理系统 maven为java世界引入了一个新的依赖管理系统jar包管理jar升级时修改配置文件即可，在java世界中，可以用groupid，artifactid，version组成的Coordination（做标）唯一标识一个依赖。 任何基于Maven构建的项目自身也必须定义这 ...
分类：
其他好文 时间：
2021-06-02 12:56:29
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
启动hive时，show databases; 然后报错： 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致)，于是乎看别人的解决方法： 第一种解决办法（失败）[1]： 由于没有初始化数据库导致，执行名称初始化数据库，执行命令： schema ...
分类：
数据库 时间：
2021-05-24 16:48:31
阅读次数：
0
平时在练习使用webservice互相传数据时，可以使用eclipse建立一个服务端发布WSDL，当然自身也可以建立客户端。 Web service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置 ...
分类：
Web程序 时间：
2021-05-24 15:54:10
阅读次数：
0
方案一：手动拷贝需要的相关jar包 flume对接HBASE报错，找不到相关的类： 报错hbase相关日志： 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类：
Web程序 时间：
2021-05-24 15:18:47
阅读次数：
0
1.统计出IP的文件，哪个ip出现的次数最多，一行一个ip。如果文件很大，超过内存。 2.给定a、b两个文件，各存放50亿个url，每个url各占64B，内存限制是4GB，请找出a、b两个文件共同的url？ 3.现在有一个非常庞大的URL库（100E），然后现在还有一个URL，（迅速）判断这个URL ...
分类：
其他好文 时间：
2021-05-24 14:14:27
阅读次数：
0
关键字参数 关键字参数允许我们在传入必选参数外，还可以接受关键字参数kw： def person(name, age, **kw) prit('name:', name, 'age:', age, 'other', kw) 这里的name, age是必须的，kw可选，意味着第三个参数开始我们可以传入 ...
分类：
编程语言 时间：
2021-05-24 11:11:59
阅读次数：
0
