hadoop 1.0 1. 创建用户hadoop 2. 下载: curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类:
其他好文 时间:
2021-06-02 14:05:53
阅读次数:
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是高效的,因为它 ...
分类:
其他好文 时间:
2021-06-02 13:17:23
阅读次数:
0
安装准备 Spark 集群和 Hadoop 类似,也是采用主从架构,Spark 中的主服务器进程就叫 Master(standalone 模式),从服务器进程叫 Worker Spark 集群规划如下: node-01:Master node-02:Worker node-03:Worker 安装步 ...
分类:
其他好文 时间:
2021-05-24 17:07:05
阅读次数:
0
启动hive时,show databases; 然后报错: 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致),于是乎看别人的解决方法: 第一种解决办法(失败)[1]: 由于没有初始化数据库导致,执行名称初始化数据库,执行命令: schema ...
分类:
数据库 时间:
2021-05-24 16:48:31
阅读次数:
0
方案一:手动拷贝需要的相关jar包 flume对接HBASE报错,找不到相关的类: 报错hbase相关日志: 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类:
Web程序 时间:
2021-05-24 15:18:47
阅读次数:
0
1.统计出IP的文件,哪个ip出现的次数最多,一行一个ip。如果文件很大,超过内存。 2.给定a、b两个文件,各存放50亿个url,每个url各占64B,内存限制是4GB,请找出a、b两个文件共同的url? 3.现在有一个非常庞大的URL库(100E),然后现在还有一个URL,(迅速)判断这个URL ...
分类:
其他好文 时间:
2021-05-24 14:14:27
阅读次数:
0
典型架构 很多的场景都是如上的,有web(包括无线、以前CS的模式、现在的BS模式等)、DB、cache、数据分析我就用了Hadoop了(代名词,或者泛指数据仓库了),另外就是一些传感器之类的,数据通道(有的简单如:jdbc等,有的比较复杂,保序不丢等),其中也简单列了一些中间件的软件。这张图组成了 ...
分类:
其他好文 时间:
2021-05-24 09:02:34
阅读次数:
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() import pandas as pd import numpy as np arr = np.arange(6).reshape(-1 ...
分类:
其他好文 时间:
2021-05-24 08:54:40
阅读次数:
0
扫描以下常见未授权访问 redis、mongodb、memcached、elasticsearch、zookeeper、ftp、CouchDB、docker、Hadoop 安装 pip3 install -r requirements.txt -i https://mirrors.aliyun.co ...
分类:
其他好文 时间:
2021-05-24 08:32:18
阅读次数:
0
tomcat java体系 Java编程语言 Java类文件:java类文件为java编译后的文件 JavaAPI:java类文件库 JavaVM(JVM) class loader:编译和类库文件加载器 执行引擎 JRE(Java Runtime Enviroment): 是Java的运行环境。面 ...
分类:
其他好文 时间:
2021-05-24 08:21:03
阅读次数:
0