格式与命名 1.1.    命名规则 1.1.1.      程序文件 1.1.2.      变量、函数、类 语法特性 编码风格 高效编码 编码模式 测试 避免直接借用其他语言的编码规范 参考资料 深入理解Scala-编码规范   格式与命名 1) 代码格式用两个空格缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使……

1.优化Spark 由于大多数Spark计算的内存本质，Spark程序可能因为集群中的任何资源造成瓶颈：CPU，网络，带宽，或者内存。大多数情况下，如果数据可以容纳在内存中，性能瓶颈就是网络带宽，但是有时，你还是需要做一些调优，比如用序列化形式存储RDDs来减少内存使用。这篇指南会覆盖两个主题：数据序列化，这对良好……

一、概述。 1、应用场景。 消息标识。 订单标识。 运单标识。 帖子标识。 2、核心问题。 保证全局唯一。 满足一定规则。 位数固定，统一前缀，或者后缀。 趋势有序，时间相关。 有校验位，防止推断。 高性能、高可用、吞吐量、易用性。 二、依赖数据库（MySQL）。 1、单点单次。 2、单点批量。 3、主备批量。 优点： 缺点……

用eclipse4.3编译的hadoop1.2.1插件，在点击“new hadoop location”时，会出现没有反应，不出现对话框的情况。 原因就是eclipse的版本不匹配。 需要用eclipse4.2编译hadoop插件后，然后安装到eclipse4.3或者eclipse4.2中，就可以正常了

1.下载插件：hadoop2x-eclipse-plugin 地址：https://github.com/winghc/hadoop2x-eclipse-plugin 2.因为工程目录及插件目录都不一样，因此，先说明一下本地的目录结构：     eclipse目录: /home/hadoop/software/eclipse     hadoop2x-eclipse-plugin目录：/home/hadoop/software/hadoop2x-eclipse-plugin/src/contrib/……