摘要: Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个 ...
分类:
其他好文 时间:
2016-11-27 00:02:59
阅读次数:
303
The rain stayed soft over the weekend, quiet, so I was able to sleep well. 这周末雨一直下的很柔很安静,所以我能睡的很好。 People greeted me in the parking lot Monday morning ...
分类:
其他好文 时间:
2016-11-25 23:20:37
阅读次数:
165
1.概述 -》flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 -》on streaming data flows 基于流式的数据 数据流:job-》不断获取数据 任务流:job1->job2->job3&job4 ...
分类:
Web程序 时间:
2016-11-25 12:19:18
阅读次数:
290
在Hadoop集群里,有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里,有四种模式: 1、local单机模式 结果xshell可见: ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste ...
分类:
其他好文 时间:
2016-11-23 10:10:39
阅读次数:
335
sparkContext创建还没完呢,紧接着前两天,我们继续探索。。作死。。。 紧接着前几天我们继续SparkContext的创建: 接下来从这里我们可以看到,spark开始加载hadoop的配置信息,第二张图中 new出来的Configuration正是hadoop的Configuration。同 ...
分类:
其他好文 时间:
2016-11-22 23:12:44
阅读次数:
229
端口是目前计算机与外界的通道,因而黑客一旦锁定目标计算机,便会扫描该计算机中已经开放的端口,从而得到更多的有用信息。扫描目标计算机端口一般使用SuperScan、X-Scan等。 一、端口扫描原理 扫描端口之前,用户必须了解端口扫描的原理。简单讲,其原理就是利用数据包来分析目标计算机的响应,从而得到 ...
分类:
其他好文 时间:
2016-11-12 23:13:18
阅读次数:
310
毕业三年多,回头想想走过的路,曲曲折折;写过的代码,零零散散;认识的人,形形色色。 出生于通信和机械,一年后半道出家,头脑发热选择了软件开发,刚开始时激情四射,像学生时代一样,自己给自己规划,自我督促,自我学习,短时间大致了解了开发的流程,也能一些简单的开发。然而,也许是对急于求成,没考虑好职业规划 ...
分类:
其他好文 时间:
2016-11-12 19:41:34
阅读次数:
164
用户画像的具体应用包括售前的精准营销,售中的个性化推荐以及售后的增值服务等。用户的标签纬度和应用是相互相城的关系,一面可以根据现有的标签纬度开发应用,另一方面可以通过应用需求扩展维度,两者互相促进。 我们在这里举的列子分为3类,第一类是售前的精准营销,比如电商客户和企业客户,需要经过精准营销,把站外 ...
分类:
其他好文 时间:
2016-11-11 07:33:46
阅读次数:
229