系列文章首发平台为[果冻想个人博客][1]。果冻想,是一个原创技术文章分享网站。在这里果冻会分享他的技术心得,技术得失,技术人生。我在[果冻想][1]等待你,也希望你能和我分享你的技术得与失,期待。 神奇的Linux Linux有多神奇,我就不说了。作为在一个IT界混的码农,或多或少的都会接触Lin ...
分类:
系统相关 时间:
2018-03-14 23:46:05
阅读次数:
470
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 使用HiveServer2运行时,启动好HiveServer后运行 修改hadoop 配置文件 etc/hadoop/core-site.xml,加 ...
分类:
其他好文 时间:
2018-03-13 22:49:29
阅读次数:
548
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! Docker mysql 把数据存储在本地目录,很简单,只需要映射本地目录到容器即可 1、加上-v参数 还可以指定配置文件 这样,既可以修改配置文件 ...
分类:
数据库 时间:
2018-03-13 12:20:58
阅读次数:
786
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 通过官方的文档可以看到运行MySQL容器的命令是: docker run --name some-mysql -e MYSQL_ROOT_PASSW ...
分类:
数据库 时间:
2018-03-13 12:14:11
阅读次数:
2337
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 今天在启动HBase时发现如下错误:/bin/java: No such file or directory6/bin/../bin/hbase: ...
分类:
编程语言 时间:
2018-03-11 17:48:39
阅读次数:
355
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、Sqoop的简介: Sqoop是一个数据采集引擎/数据交换引擎,采集关系型数据库(RDBMS)中的数据,主要用于在RDBMS与HDFS/Hive ...
分类:
数据库 时间:
2018-03-04 19:11:10
阅读次数:
199
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、HBase基本概念:列式数据库 在Hadoop生态体系结构中,HBase位于HDFS(Hadoop分布式文件系统)的上一层,不依赖于MapRed ...
分类:
数据库 时间:
2018-03-04 19:07:19
阅读次数:
257
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 日常的大数据使用都是在服务器命令行中进行的,可视化功能仅仅依靠各个组件自带的web界面来实现,不同组件对应不同的端口号,如:HDFS(50070), ...
分类:
其他好文 时间:
2018-03-04 19:03:39
阅读次数:
249
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、背景: 随着互联网的发展、互联网用户的增加,互联网中的数据也急剧膨胀。每天产生的数据量数以万计,本地文件系统和单机CPU已无法满足存储和计算要求 ...
分类:
其他好文 时间:
2018-03-04 19:03:31
阅读次数:
162
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、spark SQL:类似于Hive,是一种数据分析引擎 什么是spark SQL? spark SQL只能处理结构化数据 底层依赖RDD,把sq ...
分类:
数据库 时间:
2018-03-04 19:01:51
阅读次数:
231