一、What 1. Jstack（查看线程） 1.1 作用： 1.2 内容： 1.3 Demo： 1.4 常见线程： 2. Jstat（查看性能） 2.1 作用： 2.2 命令选项： 2.3 参数内容 3. Jmap（查看内存） 3.1 作用： 3.2 命令选项 二、Why 三、How 1. Jstack 2. Jstat 3. Jmap 四、参考资料 一、What JDK 本身提供了很多很方便的 JVM 性能调优工具，如 VisualVM、Jconsole、jps、jstack、jmap、j…
关键点： 了解机器学习数据流水线有关内容。 怎么用Apache Spark机器学习包来实现机器学习数据流水线。 数据价值链处理的步骤。 Spark机器学习流水线模块和API。 文字分类和广告检测用例。 引用：http://www.infoq.com/cn/articles/apache-sparkml-data-pipelines 在之前的“用Apache Spark做大数据处理”系列文章中，我们学习了Apache Spark框架，介绍了Spark和它用作大数据处理的不同库（第一部分），Spark S…
1.优化Spark 由于大多数Spark计算的内存本质，Spark程序可能因为集群中的任何资源造成瓶颈：CPU，网络，带宽，或者内存。大多数情况下，如果数据可以容纳在内存中，性能瓶颈就是网络带宽，但是有时，你还是需要做一些调优，比如用序列化形式存储RDDs来减少内存使用。这篇指南会覆盖两个主题：数据序列化，这对良好的网络性能是非常关键的，而且也可以减少内存使用；内存调优。我们也讨论了一些小的主题。 2.数据序列化 序列化在分布式应用的性能中扮演了一个非常重要的角色。那些序列化对象速度很慢的格式，或者消耗大量字节的格…
一、概述。 1、应用场景。 消息标识。 订单标识。 运单标识。 帖子标识。 2、核心问题。 保证全局唯一。 满足一定规则。 位数固定，统一前缀，或者后缀。 趋势有序，时间相关。 有校验位，防止推断。 高性能、高可用、吞吐量、易用性。 二、依赖数据库（MySQL）。 1、单点单次。 2、单点批量。 3、主备批量。 优点： 缺点： 优化： 三、依赖缓存（Redis/JimDB）。 INCR、INCRBY、DECR、DECRBY。 优点： 缺点： 优化： 四、依赖ZooKeeper ZNode。 优点： 缺点： 优化： …
1、JVM源码分析之SystemGC完全解读 http://mp.weixin.qq.com/s/V1Y6DIoscTuv7RVlIZgVpw 2、JVM源码分析之堆外内存完全解读 http://mp.weixin.qq.com/s/WgQkXxBJDF7QdTHFFGVypg 3、JVM源码分析之Object.wait/notify(All)完全解读 http://mp.weixin.qq.com/s/4oCEWVrs67aONxEgMaOVFg 4、JDK的sql设计不合理导致的驱动类初始化死锁问题 http:…
使用 lsof 查找打开的文件 通过查看打开的文件，了解更多关于系统的信息。了解应用程序打开了哪些文件或者哪个应用程序打开了特定的文件，作为系统管理员，这将使得您能够作出更好的决策。例如，您不应该卸载具有打开文件的文件系统。使用 lsof，您可以检查打开的文件，并根据需要在卸载之前中止相应的进程。同样地，如果您发现了一个未知的文件，那么可以找出到底是哪个应用程序打开了这个文件。 在 UNIX® 环境中，文件无处不在，这便产生了一句格言：“任何事物都是文件”。通过文件不仅仅可以访问常规数据，通常还可以访问网络连接和硬…
由于SQL问题导致的数据库故障层出不穷，索引问题是SQL问题中出现频率最高的，常见的索引问题包括：无索引，隐式转换，索引创建不合理。 当数据库中出现访问表的SQL没创建索引导致全表扫描，如果表的数据量很大扫描大量的数据，执行效率过慢，占用数据库连接，连接数堆积很快达到数据库的最大连接数设置，新的应用请求将会被拒绝导致故障发生。 隐式转换是指SQL查询条件中的传入值与对应字段的数据定义不一致导致索引无法使用。常见隐式转换如字段的表结构定义为字符类型，但SQL传入值为数字；或者是字段定义collation为区分大小写，…
