大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术：1、熟悉Linux开发环境，熟悉Shell命令2、熟悉Java、python、scala语言（至少一种）3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
分类：
其他好文 时间：
2019-05-03 16:24:53
阅读次数：
132
1Hive简介 Hive对我来说就是一个基于HDFS的数据仓库，它提供了一个种类SQL语言（和SQL标准基本一样又有一些特殊的地方不一样），能让不精通Java语言而熟悉SQL语言的工程师，快速的对HDFS或其他存储文件系统如Amazon，S3，上的数据进行数据分析，是Hadoop生态系统中非常重要的 ...
分类：
其他好文 时间：
2019-05-03 11:37:53
阅读次数：
170
本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例 ...
分类：
其他好文 时间：
2019-04-30 23:44:35
阅读次数：
195
原文:WPF防止界面卡死并显示加载中效果网上貌似没有完整的WPF正在加载的例子,所以自己写了一个,希望能帮到有需要的同学 前台: ... ...
shutil 模块提供了大量的文件的高级操作。特别针对文件拷贝和删除，主要功能为目录和文件操作以及压缩操作。 1、 shutil.copyfileobj(fsrc, fdst[, length]) 功能：把一个文件的内容拷贝到另外一个文件中。 2、shutil.copyfile(src, dst) ...
分类：
其他好文 时间：
2019-04-28 19:18:42
阅读次数：
164
pip模块 Usage: pip <command> [options] Commands: install Install packages. download Download packages. uninstall Uninstall packages. freeze Output insta ...
分类：
其他好文 时间：
2019-04-28 17:15:53
阅读次数：
132
一、Fetch Task在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗？那个也太浪费时间和内存啦，所以有一个hive的配置如下所示：#在hive-default.xml.templa... ...
分类：
其他好文 时间：
2019-04-28 15:50:07
阅读次数：
141
在 conf/hive-site.xml 中添加如下配置 重新进入Hive，如下所示： 配置已生效 . ...
分类：
数据库 时间：
2019-04-27 18:17:27
阅读次数：
344
1、首先安装Hadoop，已安装跳过 安装Hadoop 步骤： https://www.cnblogs.com/jonban/p/hadoop.html 2、下载Hive ，以apache-hive-1.2.2-bin.tar.gz 为例，下载地址如下： https://mirrors.tuna.t ...
分类：
其他好文 时间：
2019-04-27 13:04:59
阅读次数：
155
set spark.executor.instances=20; set spark.executor.cores=5; set spark.executor.memory=5G; ...
分类：
其他好文 时间：
2019-04-27 00:46:46
阅读次数：
172
