大数据安全面临的一些挑战性技术问题，这些问题，可以作为研究生选题的一些思考方向，主要有： 1、大数据平台在 Hadoop/Spark开源模式下缺乏整体安全规划，自身安全机制存在局限性 2、大数据平台服务用户众多、场景多样，传统安全机制的性能难以满足需求 3、大数据平台的大规模分布式存储和计算模式导致 ...
分类：
其他好文 时间：
2018-09-23 22:24:00
阅读次数：
249
希望文章能帮助更多的人在搭建集群时，节省更多的时间，将时间花在更有意思的地方，帮助大家能尽早开始体验hadoop的各种功能。
分类：
Web程序 时间：
2018-09-11 23:47:52
阅读次数：
245
通过一个电视收视率项目实战驱动讲解，项目案例是国内的一家广电企业作为非洲国家的一个运营商，以用户收视行为数据作为基础数据，通过对频道和节目的分析，采用多维度统计分析的方法挖掘用户的收视行为特征。 通过此案例可以学习大数据整体开发流程，课程是围绕一个大数据整理流程而做的教学课程，让大家明白大数据不同技 ...
分类：
其他好文 时间：
2018-09-08 22:33:18
阅读次数：
161
引言在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，单机已足以，好吧，说实话是自己的电脑不行，使用虚拟机实在太卡了。。。整个的集群搭建是在公司的测试服务搭建的，在搭建的时候遇到各种各样的坑，当然也收获颇多。在成功搭建大数据
分类：
其他好文 时间：
2018-08-22 10:19:53
阅读次数：
235
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
引言在上一篇中大数据学习系列之五-----Hive整合HBase图文详解：http://www.panchengming.com/2017/12/18/pancm62/中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一-----Hadoop环境搭建(单机):http://www.panchengming.com/2017/11/26/pancm55/中成功的搭建了Hadoop
分类：
其他好文 时间：
2018-08-21 11:36:16
阅读次数：
207
soundcloud： 后端：go，scala，java，aws s3，cdn，kafka，ruby ，python，hadoop，spark，Elasticsearch 前端：react soundcloud 内容业务采用scala编写 数据分析：HDFS，Spark，Python，Redshif ...
分类：
其他好文 时间：
2018-08-05 23:32:07
阅读次数：
745
数据仓库简介：有些人不理解数据仓库，认为数据仓库就是获取数据，只要会使用hadoop、spark等大数据工具就懂数据仓库，这样的认识太片面。如果要从海量数据中总结出一个报表或者是多个报表，大数据工程师足以；如果在有限的资源动态的数据情况下，向前可历史追溯，向后对不断增加的报表实现兼容，这就需要一套科 ...
分类：
其他好文 时间：
2018-07-29 16:32:49
阅读次数：
156
一、前置准备： Linux命令基础 Scala、Python其中一门 Hadoop、Spark、Flume、Kafka、Hbase基础知识 二、分布式日志收集框架Flume 业务现状分析：服务器、web服务产生的大量日志，怎么使用，怎么将大量日志导入到集群 1、shell脚本批量，再传到Hdfs：实 ...
分类：
Web程序 时间：
2018-07-25 18:59:14
阅读次数：
367
Mesos简介什么是MESOS？Apache Mesos 是一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行 Hadoop、MPI、Hypertable、Spark。几个基本概念：Mesos master:负责任务调度的节点。Mesos slave:负责执行任务的节点。Mesos 框架：需要由mesos调度的应用程序，比如hadoop、spark、marathon、chr
分类：
其他好文 时间：
2018-07-13 12:15:31
阅读次数：
163
