码迷,mamicode.com
首页 >  
搜索关键字:数据处理    ( 4536个结果
sparksql系列(七) Json转Map,多文件生成
公司所有产品均是json数据上报给数仓使用,由于格式的不统一造成数据处理很麻烦,经过讨论将公共字段抽取出来,将业务线自己的字段放在 extends字段里面各个业务线的人自己写sql解析extends字段处理。里面涉及到一个json转map的知识点再此记录一下。 一:JSON转Map 为什需要将JSO ...
分类:数据库   时间:2020-03-29 01:30:50    阅读次数:19
CRM提高客户数据分析工作能力
![](https://s1.51cto.com/images/blog/202003/16/394482b168f3e0916270237c53d47d73.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3p
分类:其他好文   时间:2020-03-28 10:30:06    阅读次数:18
Java编程的逻辑 (94) - 组合式异步编程
前面两节讨论了Java 8中的函数式数据处理,那是对38节到55节介绍的容器类的增强,它可以将对集合数据的多个操作以流水线的方式组合在一起。本节继续讨论Java 8的新功能,主要是一个新的类CompletableFuture,它是对65节到83节介绍的并发编程的增强,它可以方便地将多个有一定依赖关系 ...
分类:编程语言   时间:2020-03-25 23:44:34    阅读次数:18
Kafka史上最详细原理总结下
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段,通过多个小文件段,就容易定期清除或删除已经消费完文件,减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类:其他好文   时间:2020-03-25 21:12:05    阅读次数:14
大数据三遇到的问题
1.百度地图api的问题:一个服务端一个浏览器端,浏览器端是不需要sk值去验证的,当你次数超过以后会检测不到。 2.关键词匹配:使用的idf算法我也不知道为啥用这个 3.行业名称和代码:我是根据这个进行数据处理 应用行业名称 > 关键词 > 成果简介+成果名称 如果有需要请加qq977389678, ...
分类:其他好文   时间:2020-03-24 23:01:26    阅读次数:13
LNMP 性能优化之 PHP 性能优化
PHP 做一门弱类型动态语言,在上手容易和开发快速同时,也会导致一些新手写出不规范的代码。比如在递归当中连接数据库读取数据;一次性从文件中读取大量的数据,处理完后却不主动释放内存;在遍历和循环中重复计算某个变量等等;数组的键没有加引号导致先查找常量集,都会导致 PHP 程序性能下降。 PHP 作为一 ...
分类:Web程序   时间:2020-03-24 16:01:57    阅读次数:20
事件预测 -- 解决分类问题
event.txt 解决分类问题: 数据处理:训练集测试集划分,交叉验证,验证曲线,学习曲线,网格搜索。。 分类模型:逻辑回归,朴素贝叶斯,树模型,svm 模型评估:混淆矩阵,分类报告;查找率,召回率,f1得分 ...
分类:其他好文   时间:2020-03-24 15:49:02    阅读次数:19
Java编程的逻辑 (91) - Lambda表达式
在之前的章节中,我们的讨论基本都是基于Java 7的,从本节开始,我们探讨Java 8的一些特性,主要内容包括: 传递行为代码 - Lambda表达式 函数式数据处理 - 流 组合式异步编程 - CompletableFuture 新的日期和时间API 本节,我们先讨论Lambda表达式,它是什么? ...
分类:编程语言   时间:2020-03-24 00:44:36    阅读次数:26
ARM指令
●数据处理指令:数据传输指令,算术指令,逻辑指令,比较指令,乘法指令,前导零计数 ●程序状态访问指令:MRS和MSR ●分支指令:B、BL和BX ●访存指令:单数据访存指令,多数据访存指令,数据交换指令 ●异常产生指令:SWI和BKPT ●协处理器指令:CDP、LDC、STC、MCR、MRC ARM ...
分类:其他好文   时间:2020-03-23 22:18:14    阅读次数:16
Flink 更新中
一、介绍 Flink分层组件栈 API支持 对Streaming数据类应用,提供DataStream API 对批处理类应用,提供DataSet API(支持Java/Scala) Libraries支持 支持机器学习(FlinkML) 支持图分析(Gelly) 支持关系数据处理(Table) 支持 ...
分类:其他好文   时间:2020-03-22 13:36:23    阅读次数:22
4536条   1 2 3 4 ... 454 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!