格式与命名 1.1. 命名规则 1.1.1. 程序文件 1.1.2. 变量、函数、类 语法特性 编码风格 高效编码 编码模式 测试 避免直接借用其他语言的编码规范 参考资料 深入理解Scala-编码规范 格式与命名 1) 代码格式用两个空格缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使用一个空白行。 2) 优先考虑使用val，而非var。 3) 当引入多个包时，使用花括号： import jxl.write.{WritableCell, Number, Lab…
1.优化Spark 由于大多数Spark计算的内存本质，Spark程序可能因为集群中的任何资源造成瓶颈：CPU，网络，带宽，或者内存。大多数情况下，如果数据可以容纳在内存中，性能瓶颈就是网络带宽，但是有时，你还是需要做一些调优，比如用序列化形式存储RDDs来减少内存使用。这篇指南会覆盖两个主题：数据序列化，这对良好的网络性能是非常关键的，而且也可以减少内存使用；内存调优。我们也讨论了一些小的主题。 2.数据序列化 序列化在分布式应用的性能中扮演了一个非常重要的角色。那些序列化对象速度很慢的格式，或者消耗大量字节的格…
一、概述。 1、应用场景。 消息标识。 订单标识。 运单标识。 帖子标识。 2、核心问题。 保证全局唯一。 满足一定规则。 位数固定，统一前缀，或者后缀。 趋势有序，时间相关。 有校验位，防止推断。 高性能、高可用、吞吐量、易用性。 二、依赖数据库（MySQL）。 1、单点单次。 2、单点批量。 3、主备批量。 优点： 缺点： 优化： 三、依赖缓存（Redis/JimDB）。 INCR、INCRBY、DECR、DECRBY。 优点： 缺点： 优化： 四、依赖ZooKeeper ZNode。 优点： 缺点： 优化： …
用eclipse4.3编译的hadoop1.2.1插件，在点击“new hadoop location"时，会出现没有反应，不出现对话框的情况。 原因就是eclipse的版本不匹配。 需要用eclipse4.2编译hadoop插件后，然后安装到eclipse4.3或者eclipse4.2中，就可以正常了
1.下载插件：hadoop2x-eclipse-plugin 地址：https://github.com/winghc/hadoop2x-eclipse-plugin 2.因为工程目录及插件目录都不一样，因此，先说明一下本地的目录结构： eclipse目录: /home/hadoop/software/eclipse hadoop2x-eclipse-plugin目录：/home/hadoop/software/hadoop2x-eclipse-plugin/src/contrib/eclipse-…