什么是数据中台数据中台是全新的架构变革。过去三十年，企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时，需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的建成都自成一体，各自满足业务部门的需求。这种情况不仅耗费各部门大量的精力也使得各个系统难以打通管理，无法形成更强大的数据能力。图片来源：国云数据此外，目前的IT辅助管理系统是以欧美国家发达的制造业为
分类：
其他好文 时间：
2020-11-23 12:29:42
阅读次数：
5
2. MAPREDUCE框架结构及核心运行机制 2.1 框架架构 一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster(Mapreduce application master)：负责整个程序的过程调度及状态协调2、MapTask：负责map阶段的整个数据处理流程 ...
分类：
其他好文 时间：
2020-11-21 12:15:54
阅读次数：
6
Awk 有几个非常强力的内置变量.通常来说，分为两种类型的内置变量： 第一种是定义的变量可以改变, 比如字段分隔(FS)与记录分隔(RS) 第二种是可以用来数据处理或者数据总结，比如记录数(NR)与字段数目(NF) 本文介绍: FS,OFS, RS, ORS, NR, NR, FNR (1).FS: ...
分类：
系统相关 时间：
2020-11-20 12:10:09
阅读次数：
17
作者：程序之心丁仪 来源：https://chengxuzhixin.com/blog/post/zen_me_cheng_wei_ji_shu_da_niu.html 天天写业务代码，感觉没长进，技术深度止步不前，感觉很烦躁。很多人都在问，怎么样才能成为技术大牛？机会总是留给有准备的人，还是有一些 ...
分类：
其他好文 时间：
2020-11-20 11:35:34
阅读次数：
4
注释 单行注释 // 多行注释 /* 多行注释 多行注释 多行注释 */ 文档注释 /** * @Description HelloWorld * @Author white */ 标识符 关键字 Java 所有的组成部分都需要名字。类名、变量名、方法名都被称为标识符，标识符大小写敏感。 数据类型 ...
分类：
编程语言 时间：
2020-11-19 12:12:07
阅读次数：
8
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
我们都知道有一个很厉害的可视化工具：Echarts，http://echarts.baidu.com/，但是一直觉得很不方便，因为要代码转换。国内的一个大神创建了一个轮子：pyecharts，可以实现用python调用echatrs。 ECharts 是一个使用 JavaScript 实现的开源可视 ...
分类：
编程语言 时间：
2020-11-13 13:19:55
阅读次数：
53
https://www.cnblogs.com/duhuo/p/5678286.html 感谢都市烟火 Mysql show processlist 排查问题 一、命令概述： mysql show full processlist 用来查看当前线程处理情况，具体信息请参考官网：https://dev ...
分类：
数据库 时间：
2020-11-13 12:15:05
阅读次数：
23
## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
Pandas这个库对Python来说太重要啦！因为它的出现，让Python进行数据分析如虎添翼，作为Python里面最最牛逼的库之一，它在数据处理和数据分析方面，拥有极大的优势，受到数据科学开发者的广大欢迎。 最近在逛GitHub的时候，发现了一款神器，一款神器分析Pandas DataFrames ...
分类：
其他好文 时间：
2020-11-08 16:45:05
阅读次数：
22
