我在MapReduceInput下创建CFItemSet文件夹，下面有itemSet.txt。 我想上传到cf下，然后想着hdfs上会显示cf/itemSet.txt。 但是发现hdfs上只有cf文件，注意并不是文件夹，好奇怪，只能先删除（否则提示cf已存在）再重新上川。 然后进入到MapReduc ...
分类：
Web程序 时间：
2016-11-16 14:05:46
阅读次数：
169
使用基于Apache Spark的随机森林方法预测贷款风险 使用基于Apache Spark的随机森林方法预测贷款风险 原文：Predicting Loan Credit Risk using Apache Spark Machine Learning Random Forests 作者：Carol ...
分类：
Web程序 时间：
2016-11-11 09:34:41
阅读次数：
478
1.步骤 1）hadoop -》下载解压 -》修改配置文件 -》hadoop-env JAVA_HOME -》core-site fs.defaultFS hadoop.tmp.dir -》hdfs-site dfs.replication permission -》mapred-site mapr ...
分类：
其他好文 时间：
2016-11-09 11:38:12
阅读次数：
158
Hadoop是开发和运行处理大规模数据的软件平台，是Apache的一个用Java语言实现的开源软件框架，实现在大量计算机集群中对海量数据进行分布式计算。 Hadoop框架中最核心设计： HDFS：提供海量数据的存储； MapReduce：提供对数据的计算； 参考： ...
分类：
其他好文 时间：
2016-11-07 01:59:13
阅读次数：
135
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。 大数据的4V特征-来源 公司的“大数据” 随着公司业务的增长，大量和 ...
分类：
其他好文 时间：
2016-11-06 19:53:35
阅读次数：
218
Hadoop常用命令 启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: [hadoo ...
分类：
其他好文 时间：
2016-11-04 23:13:32
阅读次数：
232
在MVC的Web应用程序中，我们经常会出现这样的操作，从一个视图跳转到另外一个视图，大部分情况下都是通过链接来实现，当然这是一种非常不错的选择，为什么不说这是最好的选择呢？因为它也有其弊端，我们看看如下： 当我们点击这个链接时，Home则对应的是控制器，Index则对应的是Action方法，并发出此 ...
分类：
Web程序 时间：
2016-11-01 09:53:11
阅读次数：
254
一、简介 1.1 背景： 针对Hadoop 1.x中可能出现的NameNode单点故障（SPOF）或者短时间无法使用的情况，Hadoop 2.x 通过增加一个NameNode的方式进行了改善，而增加一个NameNode后，实际在没有出现问题时，只需要一个NameNode，所以两个NameNode一个 ...
分类：
其他好文 时间：
2016-10-31 07:10:46
阅读次数：
201
一、Spark Streaming 1. 什么是Spark Shuffle Wide Dependencies *ByKey： groupByKey,reduceByKey 关联操作：join，cogroup 窄依赖： 父RDD的每个分区的数据，仅仅只会给子RDD的一个分区。 Spark性能优化： ...
分类：
其他好文 时间：
2016-10-22 14:31:48
阅读次数：
270
HttpContext： ecb→ HttpWorkerRequest→HttpContext HttpApplicationFactory.获取了HttpApplication实例之后。 (1)BeginRequest: 开始处理请求 (2)AuthenticateRequest授权验证请求，获取 ...
分类：
Web程序 时间：
2016-10-21 19:50:17
阅读次数：
183
