mysql db字符集升级至utf8mb4的方案
为什么需要升级
最近，因业务方的数据库支持utf8mb4，而datax同步工具还停留在支持utf8字符集上。导致一些同步任务无法正确同步emoji等表情符号字段，出现大量的乱码。
mysql 5.5.3版本之前，utf8编码最多支持3个字节，也就是BMP这部分的编码区，范围0000～FFFF这一部分。
mysql 5.5.3 之后的版本，增加utf8mb4, 官方介绍它是向下兼容utf8字符集，比utf8能标示更多的字符。
目前了解到的情况，大部分移动项目，因为要存储用户的文本，会存储大量的emoji等表情符号，这种会需要utf8mb4的支持。
升级兼容性问题
utf8mb4作为utf8的超集，也是向下兼容utf8的，所以不用担心字符的兼容性问题。
但是切换后生效，需要重新启动mysql服务端，对业务库会存在一定的影响。（官方文档介绍说是动态修改配置，本人没有测试过，但是参考发部分的文档，都是需要重启才会生效。）
升级后，重跑了一轮mysql相关插件的测试集，无任何异常。可以证明升级后datax mysql插件的兼容性是没有影响的。
升级步骤
检查mysql版本。如果版本低于5.5.3,请先升级mysql server。
修改 /etc/my.cnf
[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4'
修改database、table和column字符集（根据自身的情况决定）
ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE table_name CHANGE column_name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
重启服务后，检查字符’
重启：sudo /etc/init.d/mysql restart
进入mysql命令行 ：mysql -h localhost -uroot -proot
检查字符集
mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';
+--------------------------+--------------------+
| Variable_name | Value |
+--------------------------+--------------------+
| character_set_client | utf8mb4 |
| character_set_connection | utf8mb4 |
| character_set_database | utf8mb4 |
| character_set_filesystem | binary |
| character_set_results | utf8mb4 |
| character_set_server | utf8mb4 |
| character_set_system | utf8 |
| collation_connection | utf8mb4_unicode_ci |
| collation_database | utf8mb4_unicode_ci |
| collation_server | utf8mb4_unicode_ci |
+--------------------------+--------------------+
10 rows in set (0.01 sec)
备注：
必须保证
charactersetclient/charactersetconnection/charactersetdatabase/charactersetresults/charactersetserver为utf8mb4。
这几个变量的意义如下：
– charactersetserver：默认的内部操作字符集
– charactersetclient：客户端来源数据使用的字符集
– charactersetconnection：连接层字符集
– charactersetresults：查询结果字符集
– charactersetdatabase：当前选中数据库的默认字符集
– charactersetsystem：系统元数据(字段名等)字符集
Mysql字符集设置的详细介绍:
MySQL字符集设置
• 系统变量：
– character_set_server：默认的内部操作字符集
– character_set_client：客户端来源数据使用的字符集
– character_set_connection：连接层字符集
– character_set_results：查询结果字符集
– character_set_database：当前选中数据库的默认字符集
– character_set_system：系统元数据(字段名等)字符集
– 还有以collation_开头的同上面对应的变量，用来描述字符序。
• 用introducer指定文本字符串的字符集：
– 格式为：[_charset] ‘string’ [COLLATE collation]
– 例如：
• SELECT _latin1 ‘string’;
• SELECT _utf8 ‘你好’ COLLATE utf8_general_ci;
– 由introducer修饰的文本字符串在请求过程中不经过多余的转码，直接转换为内部字符集处理。
MySQL中的字符集转换过程
1. MySQL Server收到请求时将请求数据从character_set_client转换为character_set_connection；
2. 进行内部操作前将请求数据从character_set_connection转换为内部操作字符集，其确定方法如下：
• 使用每个数据字段的CHARACTER SET设定值；
• 若上述值不存在，则使用对应数据表的DEFAULT CHARACTER SET设定值(MySQL扩展，非SQL标准)；
• 若上述值不存在，则使用对应数据库的DEFAULT CHARACTER SET设定值；
• 若上述值不存在，则使用character_set_server设定值。
3. 将操作结果从内部操作字符集转换为character_set_results。
检查使用配置
检查mysql-connector 版本，需要高于5.1.3版本，否则无法使用utf8mb4
假设使用jdbc-url进行连接，需要注意characterEncoding=utf8可以被自动被识别为utf8mb4（当然也兼容原来的utf8).
jdbc.url=jdbc:mysql://localhost:3306/database?useUnicode=true&characterEncoding=utf8&autoReconnect=true&rewriteBatchedStatements=TRUE
