HBase表数据分页处理 HBase是Hadoop大数据生态技术圈中的一项关键技术，是一种用于分布式存储大数据的列式数据库，关于HBase更加详细的介绍和技术细节，朋友们可以在网络上进行搜寻，笔者本人在接下来的日子里也会写一个HBase方面的技术专题，有兴趣的朋友们可以稍微的期待一下。不过本章节的重 ...
分类：
其他好文 时间：
2018-05-07 16:13:35
阅读次数：
183
Areas 提供了一种把大型 ASP.NET Core MVC Web 应用程序分为较小的功能分组的方法，用到了区域那区域路由就必不可少，下面简单实现区域路由的两种方式 Areas 提供了一种把大型 ASP.NET Core MVC Web 应用程序分为较小的功能分组的方法，用到了区域那区域路由就必 ...
分类：
Web程序 时间：
2018-05-05 17:20:48
阅读次数：
539
实现基于Cookie的认证，新建一个core mvc项目 新建一个admin控制器标记Authorize，用来测试认证 在ConfigureServices中注入cookie ，为了方便调试这里设置了LoginPath地址，并且指向了认证的地方。在mvc的前面需要加上cookie和认证 }); 新建 ...
分类：
Web程序 时间：
2018-03-27 21:06:53
阅读次数：
497
随着大数据的盛行，Hadoop也流行起来。面过一些公司，包括开发Hadoop :如Cloudera, Hortonworks, MapR, Teradata, Greenplum, Amazon EMR, 使用Hadoop的除了Google，数不胜数了. Hadoop 2.0转型基本无可阻挡，今年下 ...
分类：
其他好文 时间：
2018-03-12 23:03:37
阅读次数：
342
本文讲述了Hive的基本理论，hive与Hadoop的关系，Apache hive的安装步骤，使用关系型数据库存储hive元数据的方法等。 ...
分类：
Web程序 时间：
2018-03-08 20:49:23
阅读次数：
270
场景描述： 公司埋点项目，数据从接口服务写入kafka集群，再从kafka集群消费写入HDFS文件系统，最后通过Hive进行查询输出。这其中存在一个问题就是：埋点接口中的数据字段是变化，后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化，否则无法通过Hive查询到最新添加字段的数据。 解决 ...
分类：
其他好文 时间：
2018-03-02 22:17:48
阅读次数：
906
一、介绍默认Yarn NodeManager重启后会断开所有当前正在运行的container的状态，这意味着重启后需要重新启动container进程，该特性的作用就是把NM的状态临时保存到本地，重启后从之前的状态恢复运行。 二、配置 配置以下三个参数到conf/yarn-site.xml中1、yar ...
分类：
其他好文 时间：
2018-03-02 12:32:33
阅读次数：
141
hadoop 创始人 DogCutting 高效，可扩展性，高容错性，价格低廉的大数据软件处理架构 主要应用于数据分析、数据实时查询、数据挖掘领域 HDFS（HadoopDistributeFileSystem 分布式文件系统） 总结：从字面意思我们可以简单理解为：hadoop是用来处理大数据的，H ...
分类：
其他好文 时间：
2018-02-27 01:07:26
阅读次数：
137
Why use Storm? Apache Storm是一个免费的开源的分布式实时计算系统。Storm使得可靠的实时处理无边界的数据量变得很容易，就如同Hadoop做批处理那样。Storm很简单，可以用任意的编程语言。 Storm有许多使用案例：实时分析、在线机器学习、持续的计算、分布式RPC、ET ...
分类：
其他好文 时间：
2018-01-30 19:39:00
阅读次数：
142
Determine YARN and MapReduce Memory Configuration Settings "https://docs.hortonworks.com/HDPDocuments/HDP2/HDP 2.0.9.1/bk_installing_manually_book/con ...
分类：
其他好文 时间：
2018-01-29 16:03:24
阅读次数：
197
