1）前提条件，配置阿里源 mv /etc/yum.repos.d/* /tmp/ wget http://dev.mysql.com/get/mysql57-community-release-el6-8.noarch.rpm rpm -ivh mysql57-community-release-el6-8.noarch.rpm --nodeps --force yum -y install yum-utils (安装yum-config-manager 命令) 如果执行这个命令报错，请将192.16…
准备知识 HTTP的头域包括四个部分： 通用头：通用头部是客户端和服务器都可以使用的头部，可以在客户端、服务器和其他应用程序之间提供一些非常有用的通用功能，如Date头部 请求头：请求头部是请求报文特有的，它们为服务器提供了一些额外信息，例如客户端希望接收什么类型数据的Accept头部 响应头：响应头部便于客户端提供信息，例如表示客服端在与哪种类型的服务器进行交互的Server头部 实体头：实体头部指的是用于实体主体部分的头部，例如表示主体部分内容类型的Content-Type头部 设计RESTful API之前，…
web IP地址：127.0.0.1 JVM参数配置： export JAVA_OPTS="-Djava.library.path=/usr/local/lib -server -Xms3072m -Xmx3072m -XX:MaxPermSize=256m -Djava.awt.headless=true -Dsun.net.client.defaultConnectTimeout=60000 -Dsun.net.client.defaultReadTimeout=60000 -Djmagick.systemcl…
测试环境分配的虚拟机，安装mysql后，mysqll的数据文件默认在/var/lib/mysql下 但是根路径的磁盘大小是10G，不太够用，/export路径比较大，有40G空间，所以决定把数据文件迁移到/export下 1.关闭mysql服务 service mysqld stop 2.迁移数据文件 数据文件的位置可以从/etc/my.cnf中看到 迁移文件：mv /var/lib/mysql /export/servers/mysql 3.修改mysql配置文件 编辑/…
一、What 1. Jstack（查看线程） 1.1 作用： 1.2 内容： 1.3 Demo： 1.4 常见线程： 2. Jstat（查看性能） 2.1 作用： 2.2 命令选项： 2.3 参数内容 3. Jmap（查看内存） 3.1 作用： 3.2 命令选项 二、Why 三、How 1. Jstack 2. Jstat 3. Jmap 四、参考资料 一、What JDK 本身提供了很多很方便的 JVM 性能调优工具，如 VisualVM、Jconsole、jps、jstack、jmap、j…
关键点： 了解机器学习数据流水线有关内容。 怎么用Apache Spark机器学习包来实现机器学习数据流水线。 数据价值链处理的步骤。 Spark机器学习流水线模块和API。 文字分类和广告检测用例。 引用：http://www.infoq.com/cn/articles/apache-sparkml-data-pipelines 在之前的“用Apache Spark做大数据处理”系列文章中，我们学习了Apache Spark框架，介绍了Spark和它用作大数据处理的不同库（第一部分），Spark S…
1.优化Spark 由于大多数Spark计算的内存本质，Spark程序可能因为集群中的任何资源造成瓶颈：CPU，网络，带宽，或者内存。大多数情况下，如果数据可以容纳在内存中，性能瓶颈就是网络带宽，但是有时，你还是需要做一些调优，比如用序列化形式存储RDDs来减少内存使用。这篇指南会覆盖两个主题：数据序列化，这对良好的网络性能是非常关键的，而且也可以减少内存使用；内存调优。我们也讨论了一些小的主题。 2.数据序列化 序列化在分布式应用的性能中扮演了一个非常重要的角色。那些序列化对象速度很慢的格式，或者消耗大量字节的格…
一、概述。 1、应用场景。 消息标识。 订单标识。 运单标识。 帖子标识。 2、核心问题。 保证全局唯一。 满足一定规则。 位数固定，统一前缀，或者后缀。 趋势有序，时间相关。 有校验位，防止推断。 高性能、高可用、吞吐量、易用性。 二、依赖数据库（MySQL）。 1、单点单次。 2、单点批量。 3、主备批量。 优点： 缺点： 优化： 三、依赖缓存（Redis/JimDB）。 INCR、INCRBY、DECR、DECRBY。 优点： 缺点： 优化： 四、依赖ZooKeeper ZNode。 优点： 缺点： 优化： …