作业要求一 实践最简答的项目wordcount，必须完成其中的基本功能，若可以完成其他功能给予加分。完成后请将你的设计思路、主要代码写在本次作业博客里。 要求三、学习总结和进度 1、我的git地址。 2、点评3个同学的本周作业。 3、表格和折线图 4、本学期课程即将结束，请总结下你本课程的收获，回顾 ...
分类：
编程语言 时间：
2018-05-04 23:20:13
阅读次数：
205
作业要求一 （70分） 实践最简答的项目wordcount，必须完成其中的基本功能，若可以完成其他功能给予加分。完成后请将你的设计思路、主要代码写在本次作业博客里。 真的迷茫，老师辛苦了。 要求二、学习总结和进度 1、Git:https://git.coding.net/GUANCHENG/101. ...
分类：
编程语言 时间：
2018-05-04 23:18:05
阅读次数：
274
作业要求一 最简单的wordcount 具体要求：http://www.cnblogs.com/xinz/p/7426280.html 1.设计思路： 0.0版本设计思路： 第一步：读入用户想要操作的文件名 第二步：找到并打开文件 第三步：if语句匹配相关功能 第四步：实现相关功能并返回结果 第五步 ...
分类：
其他好文 时间：
2018-05-04 21:27:37
阅读次数：
164
Spark作为一个开源数据处理框架，它在数据计算过程中把中间数据直接缓存到内存里，能大大地提高处理速度，特别是复杂的迭代计算。Spark主要包括SparkSQL，SparkStreaming，SparkMLLib以及图计算。Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各种算子实现数据处理和计算。比如用Spark做统计词频，即拿到一串文字进行WordCount，可以把这个文
分类：
其他好文 时间：
2018-04-26 14:54:19
阅读次数：
174
恢复内容开始 1.基本任务 1.1计划说明 本组选择的对比测试产品A为百词斩，B为扇贝单词 测试进度表 项目 内容说明 预估耗时 （分钟） 实际耗时 （分钟） Planning 计划 10 10 · Estimate · 估计这个任务需要多少时间 10 10 Testing Design 测试设计 ...
分类：
其他好文 时间：
2018-04-23 19:52:42
阅读次数：
135
说明 本次公布的成绩对应的作业为： 第2周个人作业：WordCount编码和测试 如果同学对作业成绩存在异议，在成绩公布的72小时内（截止日期4月26日0点）可以进行申诉，方式如下： 毕博平台的第二周在线答疑区发申诉帖。 评分细则 本次作业总分55分，按照程序、博客两部分进行评分，其中，程序满分35 ...
分类：
其他好文 时间：
2018-04-22 13:01:13
阅读次数：
215
一般的mapreduce的wordcount程序如下： 驱动作业代码： 提交作业会报错： 通过异常信息我们可以定位错误在源码中的位置：org.apache.hadoop.mapred.MapTask.MapOutputBuffer#collect，具体关键源码如下: 此处key.getClass可以 ...
分类：
其他好文 时间：
2018-04-14 13:49:50
阅读次数：
818
Spark特点Spark是Apache的一个顶级项目，ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要
分类：
其他好文 时间：
2018-04-09 21:03:18
阅读次数：
194
零、说明： 组长:部长好 U201516991 组员:陈宇 U201517000 吴怀文 U201516993 一、GitHub地址 https://github.com/MrKuanYi/WordCountPro 二、PSP表格 PSP2.1 PSP阶段 预估耗时 （分钟） 实际耗时 （分钟） P ...
分类：
其他好文 时间：
2018-04-09 00:29:56
阅读次数：
179
一、GitHub地址 GitHub地址： 二、psp表格 三、个人模块及实现 我负责的是word类的建立及代码的整合。 word类的主要功能是在文章中分割单词，方便之后的调用。 四、测试用例设计及测试结果 测试程序对单词的识别分割是否正确，对各种情况下的单词进行测试， 包括纯字母单词，大写字母单词， ...
分类：
其他好文 时间：
2018-04-09 00:29:42
阅读次数：
221
