大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码，可见，大数据技术在当今乃至未来的重要性！ 大数 ...
分类：
其他好文 时间：
2020-06-29 11:48:57
阅读次数：
47
一、准备工具 1、数据库 HBaseServerless版 2、ECS 阿里云 Centos 8.1 二、下载命令工具。 1、点击一键生成配置可以获取配置信息，保存到本地。 2、点击 “HBase Serverless Shell 下载” 可以下载shell命令。 3、将 本地配置信息替换 alih ...
分类：
数据库 时间：
2020-06-29 11:15:42
阅读次数：
107
用户文件users.dat的格式描述如下： 1. userid::gender::age::occupation::zip-code 2. 用户id、性别、年龄、职业、邮政编码 评级文件ratings.dat的格式描述如下： 1. userid::movieid::rating::timestamp ...
分类：
数据库 时间：
2020-06-29 00:44:59
阅读次数：
129
from:https://juejin.im/post/5ad4b620f265da23a04a0ad0 看原文代码即可知道本质 Deep Learning On Spark 经过刚才的介绍，我们知道spark是一个分布式的通用计算框架，而以tensorflow为代表的deep learning是一 ...
分类：
其他好文 时间：
2020-06-28 13:38:28
阅读次数：
60
Running LLAP as a YARN Service 因为 Apache Slider 已经不维护了，下面介绍 不使用 Slider 的 LLAP使用方式。 参考： https://blog.cloudera.com/apache-hive-llap-as-a-yarn-service/ 将 ...
分类：
其他好文 时间：
2020-06-28 12:39:20
阅读次数：
108
报错详情： 从报错信息来看： 一，java.lang.NoSuchMethodError 原因：1.系统找不到相关jar包 2.同一类型的 jar 包有不同版本存在，系统无法决定使用哪一个 二，com.google.common.base.Preconditions.checkArgument 根据 ...
分类：
编程语言 时间：
2020-06-28 09:53:44
阅读次数：
146
目录 Hive的下载 Hive的安装 1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。 2、上传Hive安装包 3、解压安装包 4、修改配置文件 5、 一定要记得加入 MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar）该 jar 包放置在 ...
分类：
其他好文 时间：
2020-06-28 09:40:00
阅读次数：
50
Hadoop伪分布模式配置 Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系 ...
分类：
其他好文 时间：
2020-06-28 00:11:54
阅读次数：
74
MongoSpark为入口类，调用MongoSpark.load，该方法返回一个MongoRDD类对象，Mongo Spark Connector框架本质上就是一个大号的自定义RDD，加了些自定义配置、适配几种分区器规则、Sql的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析 ...
分类：
其他好文 时间：
2020-06-27 21:35:59
阅读次数：
66
Hadoop的核心由3个部分组成： HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。 YARN: Yet Another Resource Negotiator，资 ...
分类：
其他好文 时间：
2020-06-27 18:39:42
阅读次数：
68
