本文我们的每个节点使用Debian Sarge Linux系统。其它Linux发行版本的安装可能一点点
区别。MySQL的版本我们使用5.0.19。如果你不想使用MySQL 5,你也可以使用MySQL 4.1,尽
管我还没有测试过。
本文是一篇实践应用指导;它没有涉及太多的理论。关于群集的理论你可以在网上找到很多。
一 服务器
我使用下面的Debian服务器,它们都在同一个网段(本例如:192.168.0.x):
sql1.test.com: 192.168.0.101 MySQL 群集节点 1
sql2.test.com: 192.168.0.102 MySQL 群集节点 2
loadb1.test.com: 192.168.0.103 负载均衡 1 / MySQL 群集管理服务器
loadb2.test.com: 192.168.0.104 负载均衡 2
另外我们需要一个虚拟IP地址:192.168.0.105。它会安排给这个MySQL群集的负载均衡,以便于
应用程序通过统一单独的IP地址来访问群集。
尽管我们想在MySQL群集中使用两个节点,但是我们仍然需要第三个节点,MySQL群集管理服务器
,主要的一个原因是:如果其中一个MySQL群集节点坏了,而MySQL群集管理服务器没有运行,那
么两个群集节点上的数据将会不一致(“split brain”)。我们需要它来配置MySQL群集.
因此我们的安装一般需要五台机器:
2个MySQL群集节点 + 1个群集管理服务器 + 2个负载均衡 = 5
因为群集管理服务器没有使用多少资源,系统将会空着什么都不做,所以我们可以把我们的第一
个负载均衡和它一起放在同一台机器上,这样可以节约我们一台服务器,所以最好我们只需要四台
机器。
二 配置MySQL群集管理服务器
首先我们要下载MySQL 5.0.19,并安装群集管理服务器(ndb_mgmd)和群集管理客户端 (ndb_mgm - 它
可以用来监控群集的运行情况). 下面的步骤是在loadb1.test.com (192.168.0.103)上进行的:
代码如下 | 复制代码 |
loadb1.test.com: mkdir /usr/src/mysql-mgm |
下一步,我们必须创建群集的配置文件,/var/lib/mysql-cluster/config.ini:
代码如下 | 复制代码 |
loadb1.test.com: mkdir /var/lib/mysql-cluster ——————- |
——————-
实际应用中请将文件中的IP地址换成你相应的IP。
然后我们启动群集管理服务器:
代码如下 | 复制代码 |
loadb1.test.com: ndb_mgmd -f /var/lib/mysql-cluster/config.ini |
我们应该也需要在服务器启动时能够自动启动管理服务器,所以我们创建了一个非常简单的初始化
脚本和相应的启动连接:
代码如下 | 复制代码 |
loadb1.test.com: echo ‘ndb_mgmd -f /var/lib/mysql-cluster/config.ini’ > /etc/init.d/ndb_mgmd |
现在我们将分别在sql1.test.com和sql2.test.com上安装mysql-max-5.0.19:
代码如下 | 复制代码 |
sql1.example.com / sql2.example.com: groupadd mysql |
确认你在群集管理服务器中输入的是正确的IP地址。
下一步我们分别在每个群集节点上创建数据目录和启动MySQL服务器:
代码如下 | 复制代码 |
sql1.test.com / sql2.test.com: mkdir /var/lib/mysql-cluster |
(请记住:我们只是在第一次启动MySQL时或loadb1.test.com上面的
/var/lib/mysql-cluster/config.ini发生改变时,才使用ndbd –initial)
现在,是时候给MySQL root帐号设置密码了:
代码如下 | 复制代码 |
sql1.test.com / sql2.test.com: mysqladmin -u root password yourrootsqlpassword |
我们需要在服务器启动时,启动群集节点,所以我们创建一个ndbd初始化脚本和相应的
系统启动连接:
代码如下 | 复制代码 |
sql1.test.com / sql2.test.com: echo ‘ndbd’ > /etc/init.d/ndbd |
四 测试MySQL群集
我们的MySQL群集配置工作已经完成,现在是测试它的时间了。在群集管理服务器
(loadb1.test.com)上,运行群集管理客户端ndb_mgm来检查群集节点是否连接:
loadb1.test.com:
ndb_mgm
你将会看到这些:
– NDB Cluster —— Management Client –
ndb_mgm>
在命令行输入 show;
show;
输出的信息应该是这样的:
代码如下 | 复制代码 |
ndb_mgm> show; |
如果你看到你的节点都已经连接上了。那么一切都很顺利!
输入
quit;
退出 ndb_mgm 客户端控制台。
现在我们在sql1.test.com节点上创建一个测试数据库,并创建一个测试表,
填入一些测试数据:
代码如下 | 复制代码 |
mysql -u root -p |
(看看上面这个CREATE语句:我们想群集起来的所有数据库的表,必须使用 ENGINE=NDBCLUSTER!
如果你使用其它的ENGINE,那么群集将不会工作!)
SELECT出的结果应该是:
代码如下 | 复制代码 |
mysql> SELECT * FROM testtable; |
现在我们在sql2.test.com节点上创建相同的数据库(是,我们仍然要创建它,但是在testtable创建之后
数据将会被复制到sql2.test.com,因为testtable是使用ENGINE=NDBCLUSTER):
代码如下 | 复制代码 |
sql2.test.com: mysql -u root -p SELECT出的结果应该是和上面的sql1.test.com的结果相同: mysql> SELECT * FROM testtable; |
我们看到数据已经从sql1.test.com节点复制到sql2.example.com节点了。现在我们
向testtable中插入另外一行:
代码如下 | 复制代码 |
sql2.test.com: INSERT INTO testtable () VALUES (2); |
现在让我们回到sql1.example.com节点上,检查是否能够看见新插入的那一行:
代码如下 | 复制代码 |
sql1.example.com: mysql -u root -p |
你应该看到像这样的输出:
代码如下 | 复制代码 |
mysql> SELECT * FROM testtable; |
所以每个群集节点都有着相同的数据!
现在让我们看看如果我们停止节点1(sql1.example.com):运行
代码如下 | 复制代码 |
sql1.example.com: killall ndbd |
并检查
ps aux | grep ndbd | grep -iv grep
看看所有的ndbd进程已经结束了。如果你仍然看见ndbd进程,再运行
killall ndbd
直到所有的ndbd进程都结束。
现在让在我们的管理服务器上,检查群集的状态(loadb1.example.com):
loadb1.example.com:
ndb_mgm
在ndb_mgm控制台上输入
show;
你应该看到这些:
代码如下 | 复制代码 |
ndb_mgm> show; Connected to Management Server at: localhost:1186 Cluster Configuration —————————————— [ndbd(NDB)] 2 node(s) id=2 (not connected, accepting connect from 192.168.0.101) id=3 @192.168.0.102 (Version: 5.0.19, Nodegroup: 0, Master) [ndb_mgmd(MGM)] 1 node(s) id=1 @192.168.0.103 (Version: 5.0.19) [mysqld(API)] 2 node(s) id=4 @192.168.0.101 (Version: 5.0.19) id=5 @192.168.0.102 (Version: 5.0.19) ndb_mgm> |
你看见,sql1.example.com节点没有连接上了。
输入:
quit;
退出ndb_mgm控制台。
让我们检查sql2.example.com节点:
代码如下 | 复制代码 |
sql2.example.com: mysql -u root -p |
SELECT查询出的结果应该依然是:
代码如下 | 复制代码 |
mysql> SELECT * FROM testtable; |
Ok,所有的测试都正常,现在让我们再次启动sql1.test.com节点:
sql1.example.com:
ndbd
现在让我们设想你由于修改了loadb1.test.com节点上的/var/lib/mysql-cluster/config.ini
或者其它原因,需要重新启动MySQL群集。为了这样做,你要使用loadb1.example.com节点上的
ndb_mgm群集管理客户端:
loadb1.test.com:
ndb_mgm
在ndb_mgm控制台上,你输入
shutdown;
你将看到像这样的信息:
ndb_mgm> shutdown;
Node 3: Cluster shutdown initiated
Node 2: Node shutdown completed.
2 NDB Cluster node(s) have shutdown.
NDB Cluster management server shutdown.
ndb_mgm>
这意味着群集节点sql1.test.com和sql2.test.com,已经群集管理服务器都已经关闭。
运行
quit;
退出 ndb_mgm 控制台。
为启动群集管理服务器,在loadb1.test.com上这样做:
loadb1.test.com:
ndb_mgmd -f /var/lib/mysql-cluster/config.ini
并在sql1.test.com 和 sql2.test.com 上运行:
sql1.example.com / sql2.example.com:
ndbd
或者,你刚修改过loadb1.test.com上的/var/lib/mysql-cluster/config.ini文件:
ndbd –initial
在这之后,你可以在loadb1.test.com上检查看看群集是否已经重启:
loadb1.test.com:
ndb_mgm
在ndb_mgm控制台,输入
show;
来查看当前群集的状态。所有节点重启后可能需要一点点时间来报告已经连接上。
输入:
quit;
退出ndb_mgm控制台。
六 配置负载均衡
我们的MySQL群集已经现在完成了,你现在可以开始使用它了。然而,我们没有一个访问群集的
单独的IP地址,这意味着你必须配置应用程序一部分使用MySQL群集节点1(sql1.test.com),另
外的部分使用节点2(sql2.test.com).当然,所有的应用程序只是需要使用一个节点,但如果你
不想在群集节点之间分流负载,那你拥有一个群集的目的是什么?另外一个问题是,如果一个群集
节点坏掉了怎么办?那么使用这个群集节点的应用程序将根本不能够工作了。
这里的解决方案是在MySQL群集前端配置一个负载均衡器来在每个MySQL群集节点之间平衡负载。
负载均衡器在群集节点之间配置一个共享的虚拟IP地址,所有你的应用程序使用这个虚拟IP地址来
访问群集。如果其中一个节点坏掉,那么你的应用程序将仍然可以工作,因为负载均衡器将请求转移
到了工作正常的另外一个节点。
现在在这个例子中负载均衡器成为了瓶颈。如果这个负载均衡器坏掉了怎么办呢?因此我们将以(active/passive)
主动/被动安装方式来配置两个负载均衡器。这意味着我们有一个负载均衡器是主动的,另外一个是
热备的,当主动的那个坏掉了,它将会变为主动。每个负载均衡器都使用heartbeat(心跳)来检查
另外一个负载均衡器的活动情况,同时负载均衡器也使用ldirectord,它负责将流量分配到群集节点。
heartbeat和ldirectord都在我们将要安装的 Ultra Monkey 安装包中。
loadb1.test.com 和 loadb2.test.com 节点的系统内核支持IPVS(IP虚拟服务器) 非常重要。
IPVS是在Linux内核的传输层执行负载均衡的。
6.1 安装 Ultra Monkey
好,现在让我们开始: 首先我们启用loadb1.test.com 和 loadb2.test.com节点上IPVS:
代码如下 | 复制代码 |
loadb1.example.com / loadb2.example.com: modprobe ip_vs_dh |
为了在启动时IPVS模块,我们在/etc/modules列举了模块:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: vi /etc/modules ip_vs_dh |
现在我们编辑/etc/apt/sources.list,添加 Ultra Monkey 的下载点,然后我们安装Ultra Monkey:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: vi /etc/apt/sources.list deb http://www.ultramonkey.org/download/3/ sarge main apt-get update |
现在Ultra Monkey已经安装了,如果你看到下面这样的警告:
代码如下 | 复制代码 |
| libsensors3 not functional |
你可以忽略它。
回答下面的问题:
代码如下 | 复制代码 |
Do you want to automatically load IPVS rules on boot? Select a daemon method. |
我刚安装的libdbd-mysql-perl安装包不能够在MySQL 5(我们在MySQL群集上使用MySQL 5),
因此我们安装最新的DBD::mysql Perl安装包:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: cd /tmp |
我们必须先启用packet forwarding:
代码如下 | 复制代码 |
loadb1.example.com / loadb2.example.com: vi /etc/sysctl.conf # Enables packet forwardingnet.ipv4.ip_forward = 1 |
6.2 配置heartbeat(心跳)
我们通过创建三个文件(loadb1.test.com 和 loadb2.test.com的文件必须完全一样)来配置heartbeat:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: vi /etc/ha.d/ha.cf logfacility local0 |
请记住:你必须列出节点名称(本例中是loadb1 和 loadb2)
uname -n
除了这些,我们不需要对这个文件做任何修改。
代码如下 | 复制代码 |
vi /etc/ha.d/haresources loadb1 |
你必须列举其中一个负载均衡节点名称(这里是:loadb1),并且列出
虚拟IP地址(192.168.0.105)和广播地址(192.168.0.255).
代码如下 | 复制代码 |
vi /etc/ha.d/authkeys auth 3 |
somerandomstring是loadb1 和 loadb2 用来相互认证的两个heartbeat守护进程的密码。
这里设置成你自己的密码。你可以选择3种加密方式。我一般使用md5来加密。
代码如下 | 复制代码 |
/etc/ha.d/authkeys应该是root帐号只读,这里我们这样做: loadb1.test.com / loadb2.test.com: chmod 600 /etc/ha.d/authkeys |
现在我们为ldirectord创建配置文件, 负载均衡器:
代码如下 | 复制代码 |
loadb1.example.com / loadb2.example.com: vi /etc/ha.d/ldirectord.cf # Global Directives |
请填入正确的虚拟IP地址(192.168.0.105)和正确的MySQL群集节点的IP地址(192.168.0.101 和 192.168.0.102)。
3306是MySQL运行时默认的端口。我们也指定了一个MySQL用户(ldirector)和密码(ldirectorpassword),一个数据库(ldirectordb)和
一条SQL查询。ldirectord 使用这些信息来测试MySQL群集节点,以此来检查它们的是否一直可用。下一步我们将用ldirector用户来
创建ldirectordb数据库。
现在我们为heartbeat创建系统必需的启动连接,并移除ldirectord(因为ldirectord将由heartbeat来启动):
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: update-rc.d -f heartbeat remove |
6.4 创建数据库ldirector
下面我们在MySQL群集节点sql1.test.com 和 sql2.test.com上创建ldirector数据库。这个数据库将会用于我们的负载均衡器来检查
MySQL群集节点的可用性。
代码如下 | 复制代码 |
sql1.test.com: mysql -u root -p sql2.test.com: mysql -u root -p |
6.5 为负载均衡准备MySQL群集节点
最后我们必须配置MySQL群集节点sql1.test.com 和 sql2.test.com来接受虚拟IP地址192.168.0.105。
代码如下 | 复制代码 |
sql1.test.com / sql2.test.com: apt-get install iproute |
在/etc/sysctl.conf里面添加下面的内容:
代码如下 | 复制代码 |
vi /etc/sysctl.conf # Enable configuration of arp_ignore option 将下面这段加入到/etc/network/interfaces: sql1.test.com / sql2.test.com: vi /etc/network/interfaces auto lo:0 ifup lo:0 |
七.启动负载均衡器并测试
现在我们启动两个负载均衡管理器:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: /etc/init.d/ldirectord stop |
如果你没有看见错误,你需要现在重启每个负载均衡器:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: shutdown -r now |
重启之后我们可以检查是否两个负载均衡器象期望一样工作:
代码如下 | 复制代码 |
loadb1.test.com / loadb2.test.com: ip addr sh eth0 |
主动的负载均衡器应该列出了虚拟IP地址(192.168.0.105):
代码如下 | 复制代码 |
2: eth0: mtu 1500 qdisc pfifo_fast qlen 1000 |
被动(热备)的负载均衡器应该显示如下:
代码如下 | 复制代码 |
2: eth0: mtu 1500 qdisc pfifo_fast qlen 1000 loadb1.test.com / loadb2.test.com: ldirectord ldirectord.cf status |
主动负载均衡器上的输出:
代码如下 | 复制代码 |
ldirectord for /etc/ha.d/ldirectord.cf is running with pid: 1603 |
被动负载均衡器上的输出:
代码如下 | 复制代码 |
ldirectord is stopped for /etc/ha.d/ldirectord.cf loadb1.example.com / loadb2.example.com: ipvsadm -L -n |
主动负载均衡器上的输出:
代码如下 | 复制代码 |
IP Virtual Server version 1.2.1 (size=4096) |
被动负载均衡器上的输出:
代码如下 | 复制代码 |
IP Virtual Server version 1.2.1 (size=4096) loadb1.test.com / loadb2.test.com: /etc/ha.d/resource.d/LVSSyncDaemonSwap master status |
主动负载均衡器上的输出:
代码如下 | 复制代码 |
master running |
被动负载均衡器上的输出:
代码如下 | 复制代码 |
master stopped |
如果你的测试都是正常的,你现在可以从相同网络(192.168.0.x)中的其它服务器用虚拟IP地址192.168.0.105来访问MySQL数据库:
代码如下 | 复制代码 |
mysql -h 192.168.0.105 -u ldirector -p |
(请记住:你的MySQL客户端必须至少是4.1版本的;旧的版本不能运行MySQL5。)
你现在可以关掉一个MySQL群集节点来测试;你应该仍然可以连接到MySQL数据库。
八 注解
运行一个MySQL群集时,这里有一些重要的东西需要记住:
–所有的数据都是存在内存! 因此你的群集节点上需要大容量的内存。这里有每个节点需要内存
容量的计算公式:
(数据库大小SizeofDatabase * 复制数量NumberOfReplicas * 1.1 ) / 数据节点数量NumberOfDataNodes
所以如果你有一个数据库的大小是1GB,你应该为每个节点配备1.1GB内存!
–群集管理节点在监听1186端口上的任意连接。所以这意味着不是很安全,所以你应当在一个独立的网络上运行
MySQL群集。