kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类：
其他好文 时间：
2021-04-24 13:16:11
阅读次数：
0
一、安装版本本文以如下版本为例进行介绍。服务器：CentOS：6.8MySQL：8.0.18gcc：9.2.0cmake：3.15.2 服务器配置如下：CentOS 6.8，内存6G，磁盘60G。内存4G，磁盘60G的情况下，编译不成功，内存不足；在内存6G，磁盘20G的情况下，编译也不成功，磁盘空 ...
分类：
数据库 时间：
2021-04-22 16:02:18
阅读次数：
0
1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类：
其他好文 时间：
2021-04-21 12:09:16
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
Redis基础 NoSQL 学名（not only sql） 特点： 存储结构与MySQL这一种关系型数据库完全不同，NoSQL存储的是key-value形式的数据。 NoSQL有很多产品，都有自己的api和语法，以及业务场景。 产品种类： Mongodb Redis Hbase hadoop No ...
分类：
其他好文 时间：
2021-04-19 14:35:28
阅读次数：
0
最近准备需要安装一些东西m1 适配不是很好得下载源码编译安装 下载文件就比较慢 所以就想起了axel这个软件 首先安装zxel brew install axel 等待安装完毕之后直接使用命令就可以下载了 axel -n20 https://nodejs.org/dist/v14.16.1/node ...
分类：
编程语言 时间：
2021-04-16 12:17:11
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
1. 下载源码包 2. 上传服务器并解压到指定位置 3. 安装依赖库 ~]# yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel libffi-deve ...
分类：
编程语言 时间：
2021-04-06 14:20:30
阅读次数：
0
