亚马逊AWS官方博客 使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能 by AWS Localization | on 26 NOV 2019 | in AWS Big Data | Permalink | Share Ori ...
分类：
Web程序 时间：
2020-06-10 22:57:35
阅读次数：
109
设想和目标 我们的软件要解决什么问题？是否定义得很清楚？是否对典型用户和典型场景有清晰的描述？ 答：解决当前社团管理问题，定义比较清楚，有清晰描述。具体说明 我们达到目标了么（原计划的功能做到了几个？ 按照原计划交付时间交付了么？ 原计划达到的用户数量达到了么?) 答：计划的功能基本上都实现了，当前 ...
分类：
其他好文 时间：
2020-06-10 22:41:09
阅读次数：
70
idea 选中Edit Congigurations 添加remote如下图 图中debug方式为listen (本地不通线上，线上通本地) 远程 hive 客户端修改{HIVE_HOME}/bin/ext/debug.sh 将HIVE_MAIN_CLIENT_DEBUG_OPTS、 HIVE_CH ...
分类：
其他好文 时间：
2020-06-10 13:20:11
阅读次数：
121
原文:通过应用程序域AppDomain加载和卸载程序集 微软装配车的大门似乎只为货物装载敞开大门，却将卸载工人拒之门外。车门的钥匙只有一把，若要获得还需要你费一些心思。我在学习Remoting的时候，就遇到一个扰人的问题，就是Remoting为远程对象仅提供Register的方法，如果你要注销时，只... ...
分类：
移动开发 时间：
2020-06-10 13:06:10
阅读次数：
76
实验环境 虚拟机数量：3 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Zookeeper版本：Apache zookeeper-3.4.10. HBase版本：Apache HBase 1.2.6 1.启动Hadoop集群 在master启动Hadoop ...
分类：
其他好文 时间：
2020-06-10 11:05:53
阅读次数：
63
一、概述 在调试Spark项目的时候报了一个包冲突异常，找了好长时间，最后发现是包冲突了；特此记录一下，原始报错找不到了。一般包冲突有个明显的特征就是报类找不到异常，可以根据提示把Spark冲突的包排除掉，然后再把其他的把单独加上去，就可以解决了。 Caused by: java.lang.Numb ...
分类：
其他好文 时间：
2020-06-10 10:57:05
阅读次数：
65
/** * 模拟数据 数据格式如下： * * 日期 卡口ID 摄像头编号 车牌号 拍摄时间 车速 道路ID 区域ID * date monitor_id camera_id car action_time speed road_id area_id * * monitor_flow_action * ...
分类：
其他好文 时间：
2020-06-09 20:34:37
阅读次数：
71
相关接口文档： https://hbase.apache.org/book.html#arch.overview https://hbase.apache.org/apidocs/index.html http://hbase.apache.org/2.1/apidocs/index.html // ...
分类：
编程语言 时间：
2020-06-09 18:58:34
阅读次数：
66
20200609 部分引用https://www.jb51.net/article/163112.html ubuntu18.04安装3个python版本，系统已自带python3.6.9和2.7.15，再增加python3.6.8，默认python3.6.8 一、旧版本信息 root@zhigua ...
分类：
编程语言 时间：
2020-06-09 16:40:57
阅读次数：
122
原文:使用请求头认证来测试需要授权的 API 接口 使用请求头认证来测试需要授权的 API 接口 Intro# 有一些需要认证授权的接口在写测试用例的时候一般会先获取一个 token，然后再去调用接口，其实这样做的话很不灵活，一方面是存在着一定的安全性问题，获取 token 可能会有一些用户名密码之... ...
