单机跑一个脚本做数据处理，但是由于输入数据实在太大，处理过程中占用大量内存经常被系统杀死，所以考虑放在hive中做数据聚合。借此机会研究下UDAF怎么写，把踏坑的经验写出来，希望可以帮助大家少走弯路！嗯。。。就酱紫。 经常听UDF，那么UDAF是什么鬼？ 就是聚合功能的UDF啦~ 比如hive内置的 ...
分类：
其他好文 时间：
2019-06-08 18:54:43
阅读次数：
136
Redis支持多个数据库，并且每个数据库的数据是隔离的不能共享，并且基于单机才有，如果是集群就没有数据库的概念。 Redis是一个字典结构的存储服务器，而实际上一个Redis实例提供了多个用来存储数据的字典，客户端可以指定将数据存储在哪个字典中。这与我们熟知的在一个关系数据库实例中可以创建多个数据库 ...
分类：
其他好文 时间：
2019-06-07 12:46:12
阅读次数：
132
1. Jedis 需要把jedis依赖的jar包添加到工程中。Maven工程中需要把jedis的坐标添加到依赖。 推荐添加到服务层。E3-content-Service工程中。 1.1. 连接单机版 第一步：创建一个Jedis对象。需要指定服务端的ip及端口。 第二步：使用Jedis对象操作数据库， ...
分类：
其他好文 时间：
2019-06-07 00:56:44
阅读次数：
78
大数据，人工智能技术引领科技潮流，推开大数据时代的大门！国家点赞！政策扶持，前景斐然！紧接着，学习大数据的人才便如过江之鲫，络绎不绝！整体形势，欣欣向荣！在这里，小编为大家送上技术干货，助大家一臂之力 ...
分类：
其他好文 时间：
2019-06-04 09:42:38
阅读次数：
110
1单机部署： ①下载地址：http://archive.apache.org/dist/zookeeper/ tar -zxf zookeeper-3.4.10.tar.gz -C /usr/local/install ②配置 在主目录下创建data和logs两个目录用于存储数据和日志： cd /u ...
分类：
系统相关 时间：
2019-06-03 22:11:59
阅读次数：
139
Linux文件误删除恢复操作 作为一个多用户、多任务的操作系统，Linux下的文件一旦被删除，是难以恢复的。尽管删除命令只是在文件节点中作删除标记，并不真正清除文件内容，但是其他用户和一些有写盘动作的进程会很快覆盖这些数据。不过，对于家庭单机使用的Linux，或者误删文件后及时补救，还是可以恢复的 ...
分类：
系统相关 时间：
2019-06-03 12:30:08
阅读次数：
151
前言 一般单机或者单数据库的项目可能规模比较小，适应的场景也比较有限，平台的访问量和业务量都较小，业务ID的生成方式比较原始但是够用，它并没有给这样的系统带来问题和瓶颈，所以这种情况下我们并没有对此给予太多的关注。但是对于大厂的那种大规模复杂业务、分布式高并发的应用场景，显然这种ID的生成方式不会像 ...
分类：
其他好文 时间：
2019-05-31 13:51:46
阅读次数：
99
产生背景 1、随着业务和数据量的增长、单机服务器已无法支撑2、数据库的主从复制、读写分离3、分库分表、水平拆分、垂直拆分、缓存、集群易扩展大数据量性能（基于内存）4、NoSql应运而生 特点 大数据量性能（基于内存） 灵活的数据模型结构 关系型数据库 VS NOSQL 5、NoSql的四大分类 键值 ...
分类：
数据库 时间：
2019-05-31 13:35:48
阅读次数：
120
Redis集群 redis cluster 是redis官方提供的分布式解决方案，在3.0版本后推出的，有效地解决了redis分布式的需求，当一个redis节点挂了可以快速的切换到另一个节点。当遇到单机内存、并发等瓶颈时，可以采用分布式方案要解决问题。 分布式redis数据库 1、分区和槽slot ...
分类：
其他好文 时间：
2019-05-30 17:34:53
阅读次数：
98
分布式一致性 想象一下，我们有一个单节点系统，且作为数据库服务器，然后存储了一个值（假设为X）。然后，有一个客户端往服务器发送了一个值（假设为8）。只要服务器接受到这个值即可，这个值在单节点上的一致性非常容易保证： 单机环境 但是，如果数据库服务器有多个节点呢？比如，如下图所示，有三个节点：a，b， ...
分类：
编程语言 时间：
2019-05-30 10:42:28
阅读次数：
126
