MySQL学习教程：MySQL Cluster集群配置应对小站变大站需求
作者：[网上资料 ]
MySQL Cluster集群配置解决方案，非常适合小站变大站的需求，可为客户解决实际问题！
某证券公司在设计其OA架构时，初期客户是30万用户在线；然而在项目实施中又提出50万用户同时在线的需求，而且都有写的需求；这样初始的设计master-master-slave，读写分离满足不了客户的要求，所以我们打算采用Mysql Cluster方案；MySQLCluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个Cluster中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。
一、MySQL Cluster概述MySQL Cluster 是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDB Cluster 的数据节点，管理服务器，以及（可能）专门的数据访问程序。
所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中，表（结构）则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表，集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。通过将MySQL Cluster 引入开放源码世界，MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。
二、MySQL Cluster 基本概念“NDB” 是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集，仅取决于 Cluster本身内的其他数据。目前，MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中， Cluster的每个部分被视为1个节点。管理(MGM)节点：这类节点的作用是管理MySQL Cluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。 数据节点：这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。 SQL节点：这是用来访问 Cluster数据的节点。对于MySQL Cluster，客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常，SQL节点是使用命令“mysqld –ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。 注释：在很多情况下，术语“节点”用于指计算机，但在讨论MySQL Cluster时，它表示的是进程。在单台计算机上可以有任意数目的节点，为此，我们采用术语“ Cluster主机”。管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据，并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时，节点将关于这类事件的信息传输到管理服务器，然后，将这类信息写入 Cluster日志。此外，可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型：标准MySQL客户端：对于MySQL Cluster，它们与标准的（非 Cluster类）MySQL没有区别。换句话讲，能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。 管理客户端：这类客户端与管理服务器相连，并提供了启动和停止节点、启动和停止消息跟踪（仅调试版本）、显示节点版本和状态、启动和停止备份等的命令。
三、开始准备1、准备服务器现在，我们计划建立有5个节点的MySQL CLuster体系，因此需要用到5台机器，分别做如下用途：
用途主机名IP（jzxue.com） 管理节点ndb_mgmd192.168.5.101 数据节点1ndb1192.168.5.102 数据节点2ndb2192.168.5.103 sql节点1mysqld1192.168.5.104 sql节点2mysqld2192.168.5.105
2、注意事项及其他每个节点的操作系统都是Linux，下面的描述中将使用主机名，不再使用IP地址来表示。由于MySQL Cluster采用TCP/IP方式连接，并且节点之间的数据传输没有加密，因此这个体系最好只在单独的子网中运行，并且考虑到传输的速率，强烈建议不要跨越公网使用这个体系。为了测试环境的准备性，我这里所有hostname相关我全部写成ip，所需软件我推荐用mysql-max-5.0.24，下载地址为(已测)http://www.filewatcher.com/_/?q=mysql-max-5.0.24-linux-i686.tar.gz
四、开始安装1、假定条件在每个节点计算机上都采用mysql 用户来运行Cluster，因此执行如下命令添加相关用户（如果已经存在则略过，且用root用户执行）：root# /usr/sbin/groupadd mysqlroot# /usr/sbin/useradd -g mysql mysql假设已经下载了mysql可直接使用的二进制安装包，且放在 /root 下了。2、SQL节点和存储节点(NDB节点)安装(即4个机器重复执行以下步骤)root# cd /root/root# tar zxf mysql-max-5.0.24-linux-i686.tar.gzroot# mv mysql-max-5.0.24-linux-i686 /usr/local/mysql/root# cd /usr/local/mysql/root# ./configure --prefix=/usr/local/mysqlroot# ./scripts/mysql_install_dbroot# chown -R mysql:mysql /usr/local/mysql/3、配置SQL节点root# vim /etc/my.cnf然后输入如下内容：[mysqld]basedir = /usr/local/mysql/datadir = /usr/local/mysql/data/user = mysqlport = 3306socket = /tmp/mysql.sockndbclusterndb-connectstring=192.168.5.101[mysql_cluster]ndb-connectstring=192.168.5.1014、配置存储节点(NDB节点)root# vi /etc/my.cnf然后输入如下内容：[mysqld]ndbclusterndb-connectstring=192.168.5.101[mysql_cluster]ndb-connectstring=192.168.51015、安装管理节点root# cd /root/root# tar zxf mysql-max-5.0.24-linux-i686.tar.gzroot# mkdir /usr/local/mysql/root# mkdir /usr/local/mysql/data/root# cd mysql-max-5.0.24-linux-i686/bin/root# cp ndb_mgm* /usr/local/mysqlroot# chown -R mysql:mysql /usr/local/mysql6、配置管理节点root# vi /usr/local/mysql/config.ini然后输入如下内容：[ndbd default]NoOfReplicas=1[tcp default]portnumber=3306#设置管理节点服务器[ndb_mgmd]hostname=192.168.5.101#MGM上保存日志的目录datadir=/usr/local/mysql/data/#设置存储节点服务器(NDB节点)[ndbd]hostname=192.168.5.102datadir=/usr/local/mysql/data/#第二个NDB节点[ndbd]hostname=192.168.5.103datadir=/usr/local/mysql/data/#设置SQL节点服务器[mysqld]hostname=192.168.5.104#第二个SQL节点[mysqld]hostname=192.168.5.105注释： [tcp default] 这项写成portnumber=3306，简朝阳大哥的书上这点有误。
五、启动MySQL Cluster较为合理的启动顺序是，首先启动管理节点服务器，然后启动存储节点服务器，最后才启动SQL节点服务器：在管理节点服务器上，执行以下命令启动MGM节点进程：root# /usr/local/mysql/ndb_mgmd -f /usr/local/mysql/config.ini必须用参数“-f”或“--config-file”告诉 ndb_mgm 配置文件所在位置，默认是在ndb_mgmd相同目录下。在每台存储节点服务器上，如果是第一次启动ndbd进程的话，必须先执行以下命令：root# /usr/local/mysql/bin/ndbd --initial注意，仅应在首次启动ndbd时，或在备份/恢复数据或配置文件发生变化后重启ndbd时使用“--initial”参数。因为该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件，包括用于恢复的日志文件。如果不是第一次启动，直接运行如下命令即可：root# /usr/local/mysql/bin/ndbd最后，运行以下命令启动SQL节点服务器：root# /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &如果一切顺利，也就是启动过程中没有任何错误信息出现，那么就在管理节点服务器上运行如下命令：
root# /usr/local/mysql/ndb_mgm-- NDB Cluster -- Management Client --ndb_mgm> showCluster Configuration---------------------[ndbd(NDB)] 2 node(s)id=2 @192.168.5.102 (Version: 5.0.24, Nodegroup: 0, Master)id=3 @192.168.5.103 (Version: 5.0.24, Nodegroup: 1)
[ndb_mgmd(MGM)] 1 node(s)id=1 @192.168.5.101 (Version: 5.0.24)
[mysqld(API)] 2 node(s)id=4 @192.168.5.104 (Version: 5.0.24)44id=5 @192.168.5.105 (Version: 5.0.24)
六、环境测试与没有使用 Cluster的MySQL相比，在MySQL Cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点：表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建，或用ALTER TABLE选项更改，以使用NDB Cluster存储引擎在 Cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表，可在文本编辑器中打开SQL脚本，并将该选项添加到任何表创建语句，或用这类选项之一替换任何已有的ENGINE（或TYPE）选项。 另外还请记住，每个NDB表必须有一个主键。如果在创建表时用户未定义主键，NDB Cluster存储引擎将自动生成隐含的主键。（注释：该隐含键也将占用空间，就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键，出现问题并不罕见）。 (1)确认NDB引擎是否已经正常工作在mysqld1节点上，用root在test数据库上新建一个t1的表mysql> use test;Database changedmysql> show tables;Empty set (0.11 sec)mysql> create table t1(a int) engine=ndb;Query OK, 0 rows affected (0.74 sec)mysql> insert into t1 values(100);Query OK, 1 row affected (0.32 sec)
在mysqld2节点2上，用root查看效果mysql> show tables;+----------------+| Tables_in_test |+----------------+| t1 | +----------------+1 row in set (0.00 sec)
(2)检测冗余环境的单点故障问题a、模拟NDB节点崩溃；b、模拟SQL节点崩溃；c、由于管理节点是最容易控制的，可以将配置文件和二个可执行程序(ndb_mgmd和ndb_mgm)存放在多台机器上即可，无须太考虑单点故障。
(3)性能测试方面:内部测试环境我们增加了二台ndbd服务器，即集群方案采用的是1ndbd_mgmd+2mysqld+4ndbd(四台作ndbd的好处是如果二台服务器同时宕机了，也有一定机率不损失数据；但在生产环境下，二台服务器同时宕机的机率是微乎期乎的)；目前公司测试组的同事在进行压力测试和性能测试，尝试大量数据的写入和插入等；初期打算内部测试进行一个月， 一个月后正式上线。
七、安全关闭要想关闭 Cluster，可在MGM节点所在的机器上，在Shell中简单地输入下述命令：[ndb_mgmd]root# /usr/local/mysql/ndb_mgm -e shutdown运行以下命令关闭SQL节点的mysqld服务：[ndb_mgmd]root# /usr/local/mysql/bin/mysqladmin -uroot shutdown
八、总结 Mysql-cluster虽然目前存在着不少bug,但在高可用和写负载均衡上它的确是性价比很高的解决方案，如果对性能要求不高可尝试下这种架构。
|
某证券公司在设计其OA架构时，初期客户是30万用户在线；然而在项目实施中又提出50万用户同时在线的需求，而且都有写的需求；这样初始的设计master-master-slave，读写分离满足不了客户的要求，所以我们打算采用Mysql Cluster方案；MySQLCluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个Cluster中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。
一、MySQL Cluster概述MySQL Cluster 是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDB Cluster 的数据节点，管理服务器，以及（可能）专门的数据访问程序。
所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中，表（结构）则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表，集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。通过将MySQL Cluster 引入开放源码世界，MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。
二、MySQL Cluster 基本概念“NDB” 是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集，仅取决于 Cluster本身内的其他数据。目前，MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中， Cluster的每个部分被视为1个节点。管理(MGM)节点：这类节点的作用是管理MySQL Cluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。 数据节点：这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。 SQL节点：这是用来访问 Cluster数据的节点。对于MySQL Cluster，客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常，SQL节点是使用命令“mysqld –ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。 注释：在很多情况下，术语“节点”用于指计算机，但在讨论MySQL Cluster时，它表示的是进程。在单台计算机上可以有任意数目的节点，为此，我们采用术语“ Cluster主机”。管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据，并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时，节点将关于这类事件的信息传输到管理服务器，然后，将这类信息写入 Cluster日志。此外，可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型：标准MySQL客户端：对于MySQL Cluster，它们与标准的（非 Cluster类）MySQL没有区别。换句话讲，能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。 管理客户端：这类客户端与管理服务器相连，并提供了启动和停止节点、启动和停止消息跟踪（仅调试版本）、显示节点版本和状态、启动和停止备份等的命令。
三、开始准备1、准备服务器现在，我们计划建立有5个节点的MySQL CLuster体系，因此需要用到5台机器，分别做如下用途：
用途主机名IP（jzxue.com） 管理节点ndb_mgmd192.168.5.101 数据节点1ndb1192.168.5.102 数据节点2ndb2192.168.5.103 sql节点1mysqld1192.168.5.104 sql节点2mysqld2192.168.5.105
2、注意事项及其他每个节点的操作系统都是Linux，下面的描述中将使用主机名，不再使用IP地址来表示。由于MySQL Cluster采用TCP/IP方式连接，并且节点之间的数据传输没有加密，因此这个体系最好只在单独的子网中运行，并且考虑到传输的速率，强烈建议不要跨越公网使用这个体系。为了测试环境的准备性，我这里所有hostname相关我全部写成ip，所需软件我推荐用mysql-max-5.0.24，下载地址为(已测)http://www.filewatcher.com/_/?q=mysql-max-5.0.24-linux-i686.tar.gz
四、开始安装1、假定条件在每个节点计算机上都采用mysql 用户来运行Cluster，因此执行如下命令添加相关用户（如果已经存在则略过，且用root用户执行）：root# /usr/sbin/groupadd mysqlroot# /usr/sbin/useradd -g mysql mysql假设已经下载了mysql可直接使用的二进制安装包，且放在 /root 下了。2、SQL节点和存储节点(NDB节点)安装(即4个机器重复执行以下步骤)root# cd /root/root# tar zxf mysql-max-5.0.24-linux-i686.tar.gzroot# mv mysql-max-5.0.24-linux-i686 /usr/local/mysql/root# cd /usr/local/mysql/root# ./configure --prefix=/usr/local/mysqlroot# ./scripts/mysql_install_dbroot# chown -R mysql:mysql /usr/local/mysql/3、配置SQL节点root# vim /etc/my.cnf然后输入如下内容：[mysqld]basedir = /usr/local/mysql/datadir = /usr/local/mysql/data/user = mysqlport = 3306socket = /tmp/mysql.sockndbclusterndb-connectstring=192.168.5.101[mysql_cluster]ndb-connectstring=192.168.5.1014、配置存储节点(NDB节点)root# vi /etc/my.cnf然后输入如下内容：[mysqld]ndbclusterndb-connectstring=192.168.5.101[mysql_cluster]ndb-connectstring=192.168.51015、安装管理节点root# cd /root/root# tar zxf mysql-max-5.0.24-linux-i686.tar.gzroot# mkdir /usr/local/mysql/root# mkdir /usr/local/mysql/data/root# cd mysql-max-5.0.24-linux-i686/bin/root# cp ndb_mgm* /usr/local/mysqlroot# chown -R mysql:mysql /usr/local/mysql6、配置管理节点root# vi /usr/local/mysql/config.ini然后输入如下内容：[ndbd default]NoOfReplicas=1[tcp default]portnumber=3306#设置管理节点服务器[ndb_mgmd]hostname=192.168.5.101#MGM上保存日志的目录datadir=/usr/local/mysql/data/#设置存储节点服务器(NDB节点)[ndbd]hostname=192.168.5.102datadir=/usr/local/mysql/data/#第二个NDB节点[ndbd]hostname=192.168.5.103datadir=/usr/local/mysql/data/#设置SQL节点服务器[mysqld]hostname=192.168.5.104#第二个SQL节点[mysqld]hostname=192.168.5.105注释： [tcp default] 这项写成portnumber=3306，简朝阳大哥的书上这点有误。
五、启动MySQL Cluster较为合理的启动顺序是，首先启动管理节点服务器，然后启动存储节点服务器，最后才启动SQL节点服务器：在管理节点服务器上，执行以下命令启动MGM节点进程：root# /usr/local/mysql/ndb_mgmd -f /usr/local/mysql/config.ini必须用参数“-f”或“--config-file”告诉 ndb_mgm 配置文件所在位置，默认是在ndb_mgmd相同目录下。在每台存储节点服务器上，如果是第一次启动ndbd进程的话，必须先执行以下命令：root# /usr/local/mysql/bin/ndbd --initial注意，仅应在首次启动ndbd时，或在备份/恢复数据或配置文件发生变化后重启ndbd时使用“--initial”参数。因为该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件，包括用于恢复的日志文件。如果不是第一次启动，直接运行如下命令即可：root# /usr/local/mysql/bin/ndbd最后，运行以下命令启动SQL节点服务器：root# /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &如果一切顺利，也就是启动过程中没有任何错误信息出现，那么就在管理节点服务器上运行如下命令：
root# /usr/local/mysql/ndb_mgm-- NDB Cluster -- Management Client --ndb_mgm> showCluster Configuration---------------------[ndbd(NDB)] 2 node(s)id=2 @192.168.5.102 (Version: 5.0.24, Nodegroup: 0, Master)id=3 @192.168.5.103 (Version: 5.0.24, Nodegroup: 1)
[ndb_mgmd(MGM)] 1 node(s)id=1 @192.168.5.101 (Version: 5.0.24)
[mysqld(API)] 2 node(s)id=4 @192.168.5.104 (Version: 5.0.24)44id=5 @192.168.5.105 (Version: 5.0.24)
六、环境测试与没有使用 Cluster的MySQL相比，在MySQL Cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点：表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建，或用ALTER TABLE选项更改，以使用NDB Cluster存储引擎在 Cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表，可在文本编辑器中打开SQL脚本，并将该选项添加到任何表创建语句，或用这类选项之一替换任何已有的ENGINE（或TYPE）选项。 另外还请记住，每个NDB表必须有一个主键。如果在创建表时用户未定义主键，NDB Cluster存储引擎将自动生成隐含的主键。（注释：该隐含键也将占用空间，就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键，出现问题并不罕见）。 (1)确认NDB引擎是否已经正常工作在mysqld1节点上，用root在test数据库上新建一个t1的表mysql> use test;Database changedmysql> show tables;Empty set (0.11 sec)mysql> create table t1(a int) engine=ndb;Query OK, 0 rows affected (0.74 sec)mysql> insert into t1 values(100);Query OK, 1 row affected (0.32 sec)
在mysqld2节点2上，用root查看效果mysql> show tables;+----------------+| Tables_in_test |+----------------+| t1 | +----------------+1 row in set (0.00 sec)
(2)检测冗余环境的单点故障问题a、模拟NDB节点崩溃；b、模拟SQL节点崩溃；c、由于管理节点是最容易控制的，可以将配置文件和二个可执行程序(ndb_mgmd和ndb_mgm)存放在多台机器上即可，无须太考虑单点故障。
(3)性能测试方面:内部测试环境我们增加了二台ndbd服务器，即集群方案采用的是1ndbd_mgmd+2mysqld+4ndbd(四台作ndbd的好处是如果二台服务器同时宕机了，也有一定机率不损失数据；但在生产环境下，二台服务器同时宕机的机率是微乎期乎的)；目前公司测试组的同事在进行压力测试和性能测试，尝试大量数据的写入和插入等；初期打算内部测试进行一个月， 一个月后正式上线。
七、安全关闭要想关闭 Cluster，可在MGM节点所在的机器上，在Shell中简单地输入下述命令：[ndb_mgmd]root# /usr/local/mysql/ndb_mgm -e shutdown运行以下命令关闭SQL节点的mysqld服务：[ndb_mgmd]root# /usr/local/mysql/bin/mysqladmin -uroot shutdown
八、总结 Mysql-cluster虽然目前存在着不少bug,但在高可用和写负载均衡上它的确是性价比很高的解决方案，如果对性能要求不高可尝试下这种架构。
|