在flink集群中提交了一个job报错如下大概看出是没有DataNode,这让人很奇怪 通过jps命令在主节点看到了namenode,但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类:
其他好文 时间:
2020-09-18 17:26:11
阅读次数:
71
Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,吞吐速率非常快,可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统,这一点依赖于Zookeeper的分布式实现。 本文为新手准备,从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类:
其他好文 时间:
2020-09-18 17:19:41
阅读次数:
37
智慧公安大数据平台开发解决方案智慧系统应用研发服务商,多年技术经验,专业的技术团队和服务团队,有现成的系统,也可支持定制化开发。智慧公安大数据平台开发解决方案可联系蔡先生13828808271微yzrhuhang信息化时代下,数据是支持各项事务的基础。因此大数据技术运用到了各个领域,在公安领域中,建设智慧公安大数据平台,就是传统公安管控方式向着信息化管控方式的一个转型,以大数据技术为核心建立的智慧
分类:
其他好文 时间:
2020-09-18 17:19:02
阅读次数:
49
1 互联网的发展阶段 web 1.0。 web 2.0。 互联网时代。 云计算和大数据时代。 …… 2 互联网架构演变 2.1 单体应用 2.1.1 单体应用早期 网站的初期,也认为是互联网发展的最早时期。会在单机部署所有的应用程序和软件。 所有的代码都是写在JSP里面,所有的代码都写到一起。这种方 ...
分类:
其他好文 时间:
2020-09-18 17:10:18
阅读次数:
39
大数据精准营销实质就是将目标客户分类(或者是分级),有针对性地制定营销策略。依托于和各大互联网厂商上十亿的真实庞大数据库。 通过大数据技术的应用让我们理解用户、区分用户,基于人口属性、生活习惯和消费行为,网络行为,社交行为等提取用户画像,有了用户画像就可以精准匹配出所需要的客户,除了制定精准的渠道策略,还可以实现如下目标: 用户研究:指导产品优化,甚至做到产品功能的私人定制等。 个性服务:个性
分类:
其他好文 时间:
2020-09-18 12:26:50
阅读次数:
42
大数据从诞生再到飞速发展,提供了充足有利的大数据服务环境。运营商大数据也在数据服务和数据应用等方面一直进行深入探索,通过结合运营商大数据,和企业精准获客营销来发挥自身的数据优势,不断的激发大数据该有的价值,并应用到企业的日常营销推广中,促进了各行业,各企业与运营商大数据之间的发展,满足了各行业各企业对于精准客户资源日益增长的需求。浅谈运营商大数据与企业精准获客营销相结合的优势什么是运营商大数据大数
分类:
其他好文 时间:
2020-09-18 12:23:07
阅读次数:
39
想必大家都知道“抖音”,自2016上线以来。火爆至今,当下越来越多的短视频app出现,加上抖音视频内容的同质化越来越严重。抖音的用户流量一直在流失,虽然不断有新用户注册,但是用户流失的速度远远大于用户的增长速度。正如之前的社交、音乐一样,垂直化成为了众多短视频平台的破局之道。根据用户的类型与大数据分析,抖音推出许多的改变来迎合用户,比如:vlog、视频时间的长短、内容分类垂直化等。今天想说的就是抖
分类:
其他好文 时间:
2020-09-18 12:17:05
阅读次数:
44
https://www.yuque.com/cdhongit/wzu20x Sqoop 数据迁移工具 由于传统数据库的成熟以及广泛的应用,目前大多数场景下数据管理与分析系统都是建立在关系型数据库基础之上的,数据的采集、加工、处理都是在关系型数据库总完成的。要实现大数据的处理与分析还需要把数据从关系型 ...
分类:
其他好文 时间:
2020-09-18 03:34:42
阅读次数:
44
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类:
其他好文 时间:
2020-09-18 03:33:30
阅读次数:
38
1、大数据的文件读取 ① 利用生成器generator ②迭代器进行迭代遍历:for line in file 2、迭代器和生成器的区别 1)迭代器是一个更抽象的概念,任何对象,如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象,使用f ...
分类:
编程语言 时间:
2020-09-18 03:25:59
阅读次数:
43