一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类：
其他好文 时间：
2021-01-19 12:16:24
阅读次数：
0
前言： 端口号：21881 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 本质：主要作用是注册 ...
分类：
其他好文 时间：
2021-01-19 12:08:39
阅读次数：
0
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类：
数据库 时间：
2021-01-19 12:02:43
阅读次数：
0
我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。 ...
分类：
编程语言 时间：
2021-01-19 11:58:35
阅读次数：
0
SpringCloud - 06熔断器Hystrix （1）服务熔断介绍 （1.1）服务雪崩 多个微服务之间调用的时候，假设微服务A调用了微服务B和C， 微服务B和C又调用其它的微服务，这就是所谓的"扇出"。 如果扇出的链路上某个微服务的调用响应时间过长或者不可用，对微服务A的调用就会占用越来越多的 ...
分类：
编程语言 时间：
2021-01-18 11:40:26
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
movie.py import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom zlsPro.items import ZlsproItemfr ...
分类：
编程语言 时间：
2021-01-18 10:40:45
阅读次数：
0
抓取系统，抓取的是国外某网站的数据 运营反应系统卡顿，于是登录到服务器，查看了一下JVM的启动参数(jinfo -flags + pid) 只设置了Command line: -Xss256k -XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M -XX: ...
分类：
其他好文 时间：
2021-01-18 10:38:50
阅读次数：
0
一、进程管理 1、ps查看进程 [root@VM-4-16-centos ~]#ps -aux USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.3 43596 3440 ? Ss Jan08 0:16 /usr/ ...
分类：
系统相关 时间：
2021-01-16 12:03:46
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
