我使用的hadoop是2.9.2版本的，对应的eclipse插件也要使用2.9.2的，我自己编译了一份，上传到了百度网盘，下载地址如下： 链接：https://pan.baidu.com/s/11uM1tSeu-1zdTQrydfX5QA 提取码：p6y9 把插件放到eclipse的plugins目 ...
分类：
系统相关 时间：
2020-04-04 11:55:57
阅读次数：
69
在spark ml pipeline的特征提取和转换阶段，有一种transformer可以将机器学习训练数据中常见的字符串列（例如表示各种分类）转换为数值索引列，以便于计算机处理。它就是StringIndexer。它支持的索引范围为[0, numLabels)（不支持的会编码为numLabels）， ...
分类：
其他好文 时间：
2020-04-04 09:34:33
阅读次数：
69
首先卸载Centos本身自带的openjdk，我参考的这位博主的安装教程 https://www.cnblogs.com/happyflyingpig/p/8068020.html 安装Hadoop环境，我参考的是这位博主的安装教程 https://blog.csdn.net/frank409167 ...
分类：
编程语言 时间：
2020-04-03 21:48:00
阅读次数：
238
Centos Linux添加环境变量到PATH的方法在 Linux CentOS 系统上安装完 Hadoop 后，为了使用方便，需要将 Hadoop 命令加到系统命令中，如果在没有添加到环境变量之前，执行“hadoop fs”命令时，则会提示命令不存在的错误，如下所示： 方法一1. export P ...
分类：
系统相关 时间：
2020-04-03 19:56:56
阅读次数：
89
背景 1）试试本地模式的spark streaming 2）试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下： package com.hxh import org.apache.spark.SparkConf import org.apach ...
分类：
其他好文 时间：
2020-04-03 19:55:21
阅读次数：
63
FFmpeg 是一个专业的多媒体框架，能够解码、编码、转码、复用、解复用、流式传输、过滤和播放几乎所有格式的媒体文件。 其核心就是 FFmpeg 程序本身，是一个基于命令行的视频和音频处理工具，多用于视频转码、基础编辑（修剪和合并）、视频缩放、后期效果制作等场景。 这里通过一些示例简单地介绍下 ff ...
分类：
其他好文 时间：
2020-04-03 13:46:00
阅读次数：
76
package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ impo ...
分类：
其他好文 时间：
2020-04-03 12:32:15
阅读次数：
282
1.Hadoop的发展历史起源介绍 a.Hadoop最早起源于Nutch、Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询的功能，但随着抓取网页数量的增加，遇到了严重的可扩展的问题——如何解决数10亿网页的存储和索引问题。 b.2003、2004年谷歌发表的两篇论文为该问题 ...
分类：
其他好文 时间：
2020-04-03 12:26:15
阅读次数：
105
1.Spark可以读取多种数据源，本实例为读取mysql. 2.准备工作： sacla，idea，mysql-connector-java，版本从：https://mvnrepository.com/获取 3.代码示例： object WordFreq { def main(args: Array[ ...
分类：
数据库 时间：
2020-04-03 11:55:22
阅读次数：
92
一、工具准备 1、7台虚拟机（至少需要3台），本次搭建以7台为例，配好ip,关闭防火墙，修改主机名和IP的映射关系（/etc/hosts），关闭防火墙 2、安装JDK,配置环境变量 二、集群规划： 集群规划（7台）： 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.*.121 ...
分类：
其他好文 时间：
2020-04-03 00:25:12
阅读次数：
82
