https://www.cnblogs.com/bluestorm/p/4574688.html https://blog.csdn.net/wangbin_0729/article/details/82109693 (包括了负载均衡的配置） ...
分类：
其他好文 时间：
2019-08-11 11:04:49
阅读次数：
101
一、Kafka介绍 kafka是消息中间件的一种，一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spar ...
分类：
其他好文 时间：
2019-08-08 18:48:51
阅读次数：
112
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
==目的== 想把zookeeper、hadoop、hbase、storm等大数据组件 设置为开机启动，并且进程挂掉之后，可以自动重启，以减少运维压力。 ==service文件== 路径：/usr/lib/systemd/system 文件名：train-zookeeper.service 样例： ...
分类：
系统相关 时间：
2019-08-08 13:32:27
阅读次数：
170
本作原文是An Introduction to the Geometry and Topology of Fluid Flows的一节. 虽然最初并非面向数学家, 但本文在专业性和生动性取得了很好的平衡, 是很好的拓扑学素材. 本文的一大特点是手绘的插图栩栩如生, 这源自作者的美术功底. 总之, 希... ...
分类：
其他好文 时间：
2019-08-04 01:29:57
阅读次数：
115
1.什么是浅拷贝，什么是深拷贝？ 2.storm的并行度问题，需要使用全局变量static ConcorrentHashMap，因为加了static，所有的线程只能拷贝该全局变量的一个唯一的副本，进行操作，其他线程只能等待该线程操作完成才能处理该副本，即实现了单线程操作该副本，线程是安全的；不加st ...
分类：
编程语言 时间：
2019-07-29 00:49:27
阅读次数：
139
格式化快捷键： CTRL + ALT + L 配置等号对齐: 1. Setting 2. Editor 3. Code Style 4. PHP 5. Wrapping and Braces 6. 勾选Align consecutive assignments 配置key-value对齐: 1. S ...
分类：
Web程序 时间：
2019-07-25 12:09:02
阅读次数：
469
8. Storm的分发策略 Storm当中的分组策略，一共有八种： 所谓的grouping策略就是在Spout与Bolt、Bolt与Bolt之间传递Tuple的方式。总共有八种方式： 1）shuffleGrouping（随机分组）随机分组；将tuple随机分配到bolt中，能够保证各task中处理的 ...
分类：
其他好文 时间：
2019-07-25 00:56:18
阅读次数：
171
通常说的大数据平台主要包括三部分： 数据相关的工具、产品和技术： – 批量数据采集传输sqoop，spark – 离线数据处理Hadoop，Hive，Spark – 实时流处理Storm，Spark Streaming，Flink ? 数据资产： – 公司业务本身产生和沉淀的数据 – 公司运作产生的 ...
分类：
其他好文 时间：
2019-07-25 00:46:13
阅读次数：
176
在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。 2013年，国内大数据 ...
分类：
其他好文 时间：
2019-07-22 13:13:44
阅读次数：
150
