第3章 MapReduce框架原理3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 CombineTextInputFormat切片机制3.1.5 Combin ...
分类:
其他好文 时间:
2019-02-16 00:07:17
阅读次数:
204
一、前言 上周工作遇到了一个需求,同步多个省份销号数据,解绑微信粉丝。分省定时将销号数据放到SFTP服务器上,我需要开发定时任务去解析文件。因为是多省份,服务器、文件名规则、数据规则都不一定,所以要做成可配置是有一定难度的。数据规则这块必须强烈要求统一,服务器、文件名规则都可以从配置中心去读。每新增 ...
分类:
编程语言 时间:
2019-02-07 23:46:48
阅读次数:
151
https://www.cnblogs.com/doctorJoe/p/5261949.html 分片枚举 通过在配置文件中配置可能的枚举id,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存, 而全国省份区县固定的,这类业务使用本条规则,配置如下: <tableRule ...
分类:
其他好文 时间:
2019-01-31 14:43:43
阅读次数:
242
最近公司有个需求是按照大区,即把中国分成华北','东北','华东','华中','华南','西南','西北'七个大区, 但是echarts地图只有省市,还没有大区,只能自己网上找资料再按需求写了 echarts地图合并关键点是把coordinates和encodeOffsets合并,而且这两个必须都合 ...
分类:
其他好文 时间:
2019-01-30 18:32:53
阅读次数:
675
为什么DRF中有时候返回的json中图片是带域名的,有时候是不带域名的呢? 解析: 带域名的结果是在view中对模型类序列化的,DRF在序列化图片的时候 会检查上下文有没有request,如果有,就给图片加上域名, 比如说我们视图用的是apiview(): 我们需要序列化数据的时候,加 contex ...
分类:
其他好文 时间:
2019-01-30 10:17:25
阅读次数:
464
1.分析任务 使用AJAX读取JSON文件数据,利用循环及条件语句将所需要的数据分别存储在各个数组中,结合change事件即可达到所需功能 2.优缺点分析 优点:不仅在实现其基本功能,还可在json文件中更改index的属性值,更改下拉列表中的顺序。 缺点:越到低层,嵌套越严重,但无法避免(自认为) ...
分类:
其他好文 时间:
2019-01-29 18:12:39
阅读次数:
179
简介:1.用字典建立一个省市县的三级菜单 2.开始显示所有的省份,输入要进入的省份之后,显示该省份下的所有市,输入市显示该市下的所有县 3.在每一级菜单下都可以返回到上一层菜单 4.随时可以退出 1 menu = { 2 "北京": { 3 "海淀": { 4 "清华":{}, 5 "北大":{}, ...
分类:
编程语言 时间:
2019-01-19 16:22:51
阅读次数:
171
## 数据库的设计 1. 多表之间的关系 1.分类 1.一对一 * 如:人和省份证 * 分析:一个人只有一个省份证,一个身份证只能对应一个人 2.一对多(多对一) * 如 :部门和员工 * 分析:一个部门有多个员工,一个员工只能对应一个部门 3. 多对多 * 如:学生和课程 *分析:一个学生可以选择 ...
分类:
数据库 时间:
2019-01-18 19:56:45
阅读次数:
226
在此直接导入代码,详细内容代码中有注释,相应需要引入的文件大家可以自己到相应网站下载: ...
分类:
其他好文 时间:
2019-01-15 22:06:47
阅读次数:
245
移动号段: 134 135 136 137 138 139 147 148 150 151 152 157 158 159 165 172 178 182 183 184 187 188 198联通号段: 130 131 132 145 146 155 156 166 171 175 176 185 ...
分类:
移动开发 时间:
2019-01-09 16:13:06
阅读次数:
830