about云课程最新课程Cloudera课程 问题导读： 1.hadoop编程需要哪些基础？ 2.hadoop编程需要注意哪些问题？ 3.如何创建mapreduce程序及其包含几部分？ 4.如何远程连接eclipse，可能会遇到什么问题？ 5.如何编译hadoop源码？ 阅读此篇文章，需要些基础下面 ...
分类：
其他好文 时间：
2019-02-14 20:49:09
阅读次数：
217
1. WordCount程序 1.1 WordCount源程序 1.2 运行程序，Run As->Java Applicatiion 1.3 编译打包程序，产生Jar文件 2 运行程序 2.1 建立要统计词频的文本文件 wordfile1.txt Spark Hadoop Big Data word ...
分类：
其他好文 时间：
2019-02-11 16:49:18
阅读次数：
114
在上一篇文章中我们给大家介绍了大数据的部分热词科普——人工智能、区块链、图灵测试。在这篇文章中我们给大家介绍一下涉及到大数据的回归分析、贪婪算法、MapReduce、数据挖掘。希望这些知识能够给大家带来帮助。 ...
分类：
其他好文 时间：
2019-02-11 15:26:18
阅读次数：
165
咳咳 先对18年的自己说一声感谢。 辛苦了~ 从大数据开发里一路走来，从小白变成可以独当一面（咕咕）。开森~ 一直忙忙碌碌，不敢停下脚步。最近，开始觉得要做下总结了。 【技术】 hivesql spark streaming CNN RNN GAN 【平台】 hadoop MapReduce yar ...
分类：
其他好文 时间：
2019-02-07 20:43:56
阅读次数：
216
第4章 Hadoop运行模式4.1 本地运行模式4.1.1 官方Grep案例4.1.2 官方WordCount案例4.2 伪分布式运行模式4.2.1 启动HDFS并运行MapReduce程序4.2.2 启动YARN并运行MapReduce程序4.2.3 配置历史服务器4.2.4 配置日志的聚集4.2 ...
分类：
其他好文 时间：
2019-02-03 10:26:29
阅读次数：
284
hive执行过程中报错，抓重点（黄色）： 大概是执行mapreduce的时候的错误： 查看了下mapreduce确实是执行了， 拉取mr错误日志： 看下黄色部分，可知是hbase的对应实体类错误。 原因：是修改了hbase数据字典表中的类型 -> 没有更新hive的jar包。 ...
分类：
Web程序 时间：
2019-02-01 14:54:40
阅读次数：
1105
package mapreduce.nat; import java.math.BigDecimal; import java.math.BigInteger; import java.net.Inet4Address; import java.net.Inet6Address; import ja... ...
分类：
其他好文 时间：
2019-01-31 18:20:54
阅读次数：
126
Google发表了两篇论文：描述如何以分布式方式存储海量数据的Google文件系统和描述如何处理大规模分布式数据的MapReduce：大型集群上的简化数据处理。受这两篇论文的启发，DougCutting实现了这两篇基于OSS（开源软件）的论文的原则，Hadoop诞生了。
分类：
其他好文 时间：
2019-01-30 17:15:09
阅读次数：
162
MapReduce框架原理 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。 4）Ma ...
分类：
移动开发 时间：
2019-01-29 20:52:52
阅读次数：
264
Eclipse项目打包1.export2.通过maven打包，切入到项目目录下执行命令mvn clean package Mapreduce提交YARN集群运行 将jar包传到hadoop目录下运行格式：bin/hadoop jar jar包名 包名（代码的包名）.类名 +参数（输入路径输出路径）就 ...
分类：
其他好文 时间：
2019-01-28 16:13:02
阅读次数：
161
