12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
1.环境的安装与准备 参考下图： 2.数据库服务的安装与添加（HADOOP，HDFS，HIVE） 如下图所示： 3.华为官网的文档的指导手册（HADOOP，HDFS，HIVE） FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类：
数据库 时间：
2020-11-13 12:11:51
阅读次数：
18
在hive的日常使用中，经常需要将hive表中的数据导出来，虽然hive提供了多种导出方式，但是面对不同的数据量、不同的需求，如果随意就使用某种导出方式，可能会导致导出时间过长，导出的结果不满足需求，甚至造成集群资源不必要的浪费。因此本文主要对hive支持的几种导出方式的使用进行整理，并给出每种导出 ...
分类：
其他好文 时间：
2020-11-07 17:31:45
阅读次数：
24
-- 查询具体表的分区目录 select t1.NAME, t2.TBL_NAME,t4.PART_NAME, t3.LOCATION from DBS t1, TBLS t2 , SDS t3 ,PARTITIONSt4 where t1.DB_ID=t2.DB_ID and t4.SD_ID = ...
分类：
其他好文 时间：
2020-11-01 21:29:48
阅读次数：
24
小伙伴们好，俗话说：工欲善其事必先利其器，hive是我们与大数据打交道的工具，所以我们需要熟练使用hive的一些函数，这样后面的数据测试就得心应手啦。
分类：
其他好文 时间：
2020-11-01 21:12:19
阅读次数：
17
如果说大数据里面hive是屠龙刀，那么pandas则是倚天剑，**帮助我们对数据数据挖掘、数据分析、数据清洗**
分类：
其他好文 时间：
2020-11-01 21:11:55
阅读次数：
20
【Kettle】Kettle入门解析（三） Kettle实战1（将csv数据输出为Excel数据） 原始数据： user.csv 👇 转换后数据： user_csv2excel.xls 👇 Kettle实战2（将json数据输出为Excel数据） 部分原始数据： user.json 👇 转换后 ...
分类：
其他好文 时间：
2020-11-01 20:49:35
阅读次数：
18
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
EasyExcel 1，概述 EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel。 github地址：https://github.com/alibaba/easyexcel 开源项目不容易，如果觉得本项目对您的工作还是有帮 ...
分类：
其他好文 时间：
2020-10-30 12:01:00
阅读次数：
49
ZIP归档可以把一个或多个文件压缩成占用空间更小的单一文件。当你想释放硬盘空间，或者需要通过邮件和《信息》发送多个文件时，ZIP的重要性不言而喻。macOS的《访达》内置了ZIP压缩功能，使用方法非常简单。下面就来看看它的基本用法，以及一些进阶功能。一键压缩文件压缩单个文件或文件夹时，按住Control点按该文件，然后在弹出菜单中选择压缩即可。压缩后的归档文件与原文件同名，但带有.zip后缀。解压
分类：
其他好文 时间：
2020-10-27 11:25:10
阅读次数：
33
