Java学习这一部分其实也算是今天的重点，这一部分用来回答很多群里的朋友所问过的问题，那就是你是如何学习Java的，能不能给点建议？今天我是打算来点干货，因此咱们就不说一些学习方法和技巧了，直接来谈每个阶段要学习的内容甚至是一些书籍。这一部分的内容，同样适用于一些希望转行到Java的同学。 在大家看 ...
分类：
编程语言 时间：
2018-05-25 13:28:24
阅读次数：
212
在执行一个demo程序的时候发现，数据量不大，但程序始终卡在 18/05/21 23:18:28 INFO mapreduce.Job: map 0% reduce 0% 解决步骤： 首先，查看日志。 如果是内存不足造成的。 在yarn的配置文件yarn-site.xml修改或添加，如下内容。 然后 ...
分类：
其他好文 时间：
2018-05-21 17:53:30
阅读次数：
640
原文链接：https://blog.csdn.net/lylcore/article/details/9136555 hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是ma ...
分类：
其他好文 时间：
2018-05-18 23:28:33
阅读次数：
232
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 让我们来看一下机器学习是如何应用于医护行业以及如何借助Apache Spark对患者的监控数据进行处理 现如今，IoT数据，实时流式数据分析（streaming analytics），机器学习以及分布式计算的组合相比之前有了长足的进步，同时 ...
分类：
其他好文 时间：
2018-05-14 19:47:42
阅读次数：
247
一、hive基础 Hive是一个基于Hadoop的数据仓库，使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层，设计目的是让SQL技能良好，但不熟悉MapReduce 、Java技能较弱的分析师可以查询海量数据。Hive提供了比较完整的SQL功能（本质是将SQL转换为MapR ...
分类：
其他好文 时间：
2018-05-13 11:50:44
阅读次数：
130
MongoDB 的设计目标是高性能、可扩展、易部署、易使用，存储数据非常方便。其主要功能特性如下。 （1）面向集合存储，容易存储对象类型的数据。在MongoDB 中数据被分组存储在集合中，集合类似RDBMS 中的表，一个集合中可以存储无限多的文档。 （2）模式自由，采用无模式结构存储。在MongoD ...
分类：
数据库 时间：
2018-05-13 11:50:14
阅读次数：
162
内存不够： set mapreduce.map.memory.mb=4096;set mapreduce.map.java.opts=-Xmx3280m; set mapreduce.reduce.memory.mb=4096;set mapreduce.reduce.java.opts=-Xmx3 ...
分类：
其他好文 时间：
2018-05-10 17:34:36
阅读次数：
194
1. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 ...
分类：
其他好文 时间：
2018-05-10 17:26:05
阅读次数：
5370
用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 1、编写map函数，reduce函数 2、将其权限作出相应修改 3、本机上测试运行 ...
分类：
其他好文 时间：
2018-05-10 14:21:06
阅读次数：
95
在如下代码的写法中： 因为系统需要，方法RegisterRoutes中同时应用了MapPageRoute和MapRoute方法，这样写的后果就是所有的页面加载时都跳转到了WEBFORM页面中，导致系统报错。 报错原因是两种不同的方式之间有冲突，解决这个问题，需要给MapPageRoute加个约束，这 ...
分类：
Web程序 时间：
2018-05-09 19:29:49
阅读次数：
197
