1.hbase的简介：??HBASE是bigTable,（源代码是Java编写）的开源版本，是ApacheHadoop的数据库，是建立在hdfs之上，被设计用来提供高可靠性，高性能、列存储、可伸缩、多版本，的Nosql的分布式数据存储系统，实现对大型数据的实时，随机的读写请求。更是弥补了hive不能低延迟、以及行级别的增删改的缺点。??HBASE依赖于hdf
分类：
其他好文 时间：
2019-01-15 12:06:06
阅读次数：
752
1. 安全模式下不可操作 + 提示信息： + 解决方法： + 原因分析： ...
分类：
其他好文 时间：
2019-01-14 11:02:46
阅读次数：
210
对于任何一个进入大数据世界的人来讲，大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理，他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。 百科对大数据这样解释：大数据是一个宽泛的术语，它指传统数据处理应用程序无法处理的巨大而复杂的数据集。 简单 ...
分类：
其他好文 时间：
2019-01-11 18:02:33
阅读次数：
180
Python和HDF 5大数据应用 秉着CSDN赚积分的原则(被逼无奈，本人较懒，通常花钱买，CSDN让人越来越买不起了)，一点一滴的制作了该电子书： 从某网站花费近20大洋够得，并花费一小时以上第一次原创制作了电子书(遇到大问题并解决了)。 这种大数据与spark圈所指大数据时有区别的！欢迎下载！ ...
分类：
编程语言 时间：
2019-01-06 22:05:36
阅读次数：
218
1 需求 从外部购买数据，数据提供方会实时将数据推送到6台FTP服务器上，我方部署6台接口采集机来对接采集数据，并上传到HDFS中 提供商在FTP上生成数据的规则是以小时为单位建立文件夹(2016-03-11-10)，每分钟生成一个文件（00.dat,01.data,02.dat,........） ...
分类：
编程语言 时间：
2019-01-03 22:38:39
阅读次数：
264
package cn.itcast.bigdata.hdfs.diceng; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils... ...
分类：
其他好文 时间：
2019-01-03 21:40:42
阅读次数：
208
我们在前面的文章中提到了BI系统，从文章中我们不难发现BI系统处理数据的时候都是很有效的，但是当数据量过大的时候，我们系统的性能就会弱了很多。当然了，如果我们处理的数据在TB或者TB以上的数据量的时候，这个系统根本就不能够正常运行，所以，我们就需要解决这个问题。 ...
分类：
其他好文 时间：
2018-12-26 11:45:36
阅读次数：
147
shuffle阶段其实就是多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。 Map端： 1、在map端首先接触的是InputSplit，在InputSplit中含有DataNode中的数据，每一个InputSplit都会分配一个Mapper任务，Mapper任务结束 ...
分类：
其他好文 时间：
2018-12-21 15:24:10
阅读次数：
212
详细代码我已上传到github： "click me" 一、 实验要求 在 Spark2.3 平台上实现 Apriori 频繁项集挖掘的并行化算法。要求程序利用 Spark 进 行并行计算。 二、算法设计 ...
分类：
编程语言 时间：
2018-12-21 13:15:01
阅读次数：
279
它的两种用法： 1.保证某段语句只执行一次。 首先我们要知道compareAndSet的作用，判断对象当时内部值是否为第一个参数，如果是则更新为第二个参数，且返回ture，否则返回false。那么默认初始化为false，则一个线程把他变为ture，compareAndSet返回ture，进入方法体执 ...
分类：
其他好文 时间：
2018-12-20 18:47:08
阅读次数：
181
