一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop-3.
分类：
其他好文 时间：
2020-09-07 19:16:59
阅读次数：
68
1 连接阿里云服务器 打开远程连接工具进行配置，这里以CRT为例。 1）新建一个session 2）填写hostname（填写公网ip） 2 修改hosts文件 [root@hadoop001 ~]# vim /etc/hosts 127.0.0.1 localhost localhost ::1 ...
分类：
其他好文 时间：
2020-09-07 18:57:02
阅读次数：
43
城市即是“资源高地”，又存在着“效率洼地”。经过几千年的发展，人口高度集中进一步加重了城市公共资源网的供求矛盾，为城市治理者产生日渐严峻的诸多挑战。咱们的城市“得病”了，交通堵塞、空气污染、治安违法等难题备受群众抨击。为处理城市发展难点，完成城市可持续性发展，建设智慧城市已变成当今社会城市发展不可避免的历史潮流。近二十年来，智慧城市建设耗费巨资，却没有根除“城市病”。那智慧城市自身究竟是什么呢？智
分类：
其他好文 时间：
2020-09-04 17:24:04
阅读次数：
50
大数据并非只是是数据量大，（公众号：大海啊好多水）不是数据数量多的运用便是大数据，需求的是悉数，更需求的是跨界融合。假设仅是将某一方面的数据加以拾掇和分析，这么的所谓“大数据”只是计算报表的一种碰瓷算了。在大数据的展开中，包括运营商在内的运用者都应当致力于前进数据的跨度、融合度以及概括运用才华。运营商大数据有什么用处运营商大数据可以获取指定网站，app，400电话，固话访客的数据。比如：你是做装修
分类：
其他好文 时间：
2020-09-04 17:00:49
阅读次数：
56
Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类：
其他好文 时间：
2020-09-04 16:58:58
阅读次数：
42
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： ...
分类：
其他好文 时间：
2020-09-03 16:43:21
阅读次数：
40
大数据文摘出品来源：medium编译：李雷尽管关于这个话题的文章不计其数，但文本作者想要找寻那种为大部分数据科学家所用而又有特色的工具及其认证。这些认证有的是免费的，有的比较便宜，但都值得尝试。不过，这还是要取决于你在数据科学领域的关注重点和发展方向。在数据科学从业的道路上，每个人想要获得证书的原因有很多;有的证书可能很直白，例如数据科学证书，有的可能没那么直白，例如Python编程证书。随着课堂
分类：
其他好文 时间：
2020-09-03 16:37:11
阅读次数：
48
刷脸支付是支付宝基于AI智能、机器视觉、3D传感、大数据风控技术，最新实现的新型支付方式。用户在无需携带任何设备情况下，凭借刷脸完成支付。支付宝的人脸识别算法是基于深度神经网络，让计算机学习人的大脑，并通过不断训练，进行交叉验证和动态识别，来识别人脸。尽管如今移动支付已经相当普及，在线下场景用户常会遇到不方便掏手机的时候，比如手里拿着很多东西、抱着孩子等等，刷脸支付则为用户提供了更便利的选择。根据
分类：
其他好文 时间：
2020-09-02 16:58:33
阅读次数：
53
现在是互联网高速发展的时代，依靠大数据做精准获客才是企业营销推广的未来发展趋势。运营商大数据就是大数据分析中的一种，并且在不同的行业和企业之间非常流行，无论是大数据还是运营商大数据其价值的主要体现都是在精准的数据分析。如何解决获客难问题呢？自己做的竞价和推广网站访客少如何解决？客户只访问不留联系方式，流失的客户该如何触达？等等。。。这一系列的问题都是做竞价，推广或者很多老板想问或者等待解决的！其实
分类：
移动开发 时间：
2020-09-02 16:49:55
阅读次数：
65
