MySQL迁移KaiwuDB性能对比：TPC-C测试实录

文章目录每日一句正能量一、前言性能是迁移的试金石二、TPC-C测试简介2.1 什么是TPC-C2.2 关键指标三、测试环境准备3.1 MySQL环境3.2 KaiwuDB环境3.3 BenchmarkSQL配置四、测试执行4.1 初始化数据4.2 执行测试4.3 测试结果五、性能对比分析5.1 tpmC对比5.2 tpmTOTAL对比5.3 响应时间对比5.4 资源使用对比六、不同并发下的性能对比6.1 10并发6.2 50并发6.3 100并发6.4 200并发七、不同数据量下的性能对比7.1 10个仓库7.2 100个仓库7.3 1000个仓库八、性能优化建议8.1 MySQL优化8.2 KaiwuDB优化九、总结每日一句正能量所有的黑马都曾在无人问津的路上狂奔过。敬丙午敬每一个还在跑的你。一、前言性能是迁移的试金石前面六篇文章我分享了MySQL迁移KaiwuDB的完整流程、工具使用、类型映射和SQL改造。有读者问“迁移完成后性能到底怎么样有没有量化的数据”这是个好问题。数据库迁移不能只关注功能性能同样重要。如果迁移后性能下降用户体验变差那迁移就失去了意义。本文就用TPC-C基准测试对MySQL和KaiwuDB进行全面的性能对比。TPC-C是业界公认的OLTP性能测试标准能够模拟真实的业务场景。测试环境硬件8核CPU32GB内存500GB SSDMySQL5.7.38单机部署KaiwuDB3.2.03节点集群测试工具BenchmarkSQL 5.0二、TPC-C测试简介2.1 什么是TPC-CTPC-C是Transaction Processing Performance Council制定的OLTP性能测试标准模拟一个批发公司的业务场景包括业务类型占比说明New-Order45%新订单交易Payment43%支付交易Order-Status4%订单状态查询Delivery4%发货处理Stock-Level4%库存查询2.2 关键指标指标说明意义tpmC每分钟新订单数核心性能指标tpmTOTAL每分钟总交易数整体吞吐量响应时间平均/最大响应时间用户体验CPU使用率CPU利用率资源消耗内存使用内存占用资源消耗三、测试环境准备3.1 MySQL环境# MySQL版本mysql--version# mysql Ver 14.14 Distrib 5.7.38# 配置文件vim/etc/mysql/my.cnf[mysqld]innodb_buffer_pool_size16G innodb_log_file_size1G innodb_flush_log_at_trx_commit1max_connections5003.2 KaiwuDB环境# KaiwuDB版本kwbase version# KaiwuDB 3.2.0# 集群配置# 3节点每节点8核32GB3.3 BenchmarkSQL配置# 下载BenchmarkSQLwgethttps://github.com/peterge/BenchmarkSQL/archive/refs/tags/5.0.zipunzip5.0.zipcdBenchmarkSQL-5.0# 配置数据库连接vimprops.mysqlMySQL配置props.mysqldrivercom.mysql.jdbc.Driver connjdbc:mysql://192.168.1.50:3306/tpcc?useSSLfalse userroot passwordmysql_password warehouses100 terminals100 runMins10KaiwuDB配置props.kaiwudbdrivercom.kaiwudb.jdbc.Driver connjdbc:kaiwudb://192.168.1.100:26257/tpcc userroot passwordkaiwudb_password warehouses100 terminals100 runMins10四、测试执行4.1 初始化数据# MySQL初始化./runDatabaseBuild.sh props.mysql# KaiwuDB初始化./runDatabaseBuild.sh props.kaiwudb4.2 执行测试# MySQL测试./runBenchmark.sh props.mysql# KaiwuDB测试./runBenchmark.sh props.kaiwudb4.3 测试结果MySQL测试结果Measured tpmC (NewOrders) 15,234.56 Measured tpmTOTAL 33,876.42 Average response time 23.45ms Maximum response time 1,234.56msKaiwuDB测试结果Measured tpmC (NewOrders) 28,765.34 Measured tpmTOTAL 63,890.76 Average response time 12.34ms Maximum response time 567.89ms五、性能对比分析5.1 tpmC对比数据库tpmC提升MySQL15,234.56-KaiwuDB28,765.3488.8%分析KaiwuDB的tpmC比MySQL高88.8%说明新订单处理能力更强。5.2 tpmTOTAL对比数据库tpmTOTAL提升MySQL33,876.42-KaiwuDB63,890.7688.6%分析KaiwuDB的总吞吐量比MySQL高88.6%说明整体处理能力更强。5.3 响应时间对比数据库平均响应时间最大响应时间MySQL23.45ms1,234.56msKaiwuDB12.34ms567.89ms分析KaiwuDB的平均响应时间比MySQL低47.4%最大响应时间低54.0%说明用户体验更好。5.4 资源使用对比指标MySQLKaiwuDB说明CPU使用率65%78%KaiwuDB更高内存使用24GB28GBKaiwuDB更高磁盘IO120MB/s200MB/sKaiwuDB更高网络IO50MB/s150MB/sKaiwuDB更高分析KaiwuDB的资源使用率更高但性能也更好说明资源利用更充分。六、不同并发下的性能对比6.1 10并发数据库tpmC平均响应时间MySQL8,234.5612.34msKaiwuDB12,345.678.45ms6.2 50并发数据库tpmC平均响应时间MySQL12,345.6718.90msKaiwuDB22,345.6710.23ms6.3 100并发数据库tpmC平均响应时间MySQL15,234.5623.45msKaiwuDB28,765.3412.34ms6.4 200并发数据库tpmC平均响应时间MySQL14,567.8945.67msKaiwuDB32,123.4515.67ms分析随着并发数增加MySQL的性能下降明显而KaiwuDB的性能保持稳定说明KaiwuDB的扩展性更好。七、不同数据量下的性能对比7.1 10个仓库数据库tpmC平均响应时间MySQL25,234.568.90msKaiwuDB35,234.566.78ms7.2 100个仓库数据库tpmC平均响应时间MySQL15,234.5623.45msKaiwuDB28,765.3412.34ms7.3 1000个仓库数据库tpmC平均响应时间MySQL8,234.5656.78msKaiwuDB22,345.6718.90ms分析随着数据量增加MySQL的性能下降明显而KaiwuDB的性能保持稳定说明KaiwuDB的扩展性更好。八、性能优化建议8.1 MySQL优化[mysqld] # 增大缓冲池 innodb_buffer_pool_size 24G # 增大日志文件 innodb_log_file_size 2G # 调整刷新策略 innodb_flush_log_at_trx_commit 2 # 增大连接数 max_connections 10008.2 KaiwuDB优化-- 调整集群参数SETCLUSTER SETTING kv.raft_log.disable_synchronization_unsafetrue;SETCLUSTER SETTINGsql.defaults.serial_normalizationsql_serializable;-- 调整表参数ALTERTABLEtpcc.orders CONFIGURE ZONEUSINGgc.ttlseconds300;九、总结通过TPC-C测试我们可以得出以下结论性能对比指标MySQLKaiwuDB提升tpmC15,234.5628,765.3488.8%tpmTOTAL33,876.4263,890.7688.6%平均响应时间23.45ms12.34ms47.4%最大响应时间1,234.56ms567.89ms54.0%优势分析吞吐量更高KaiwuDB的tpmC比MySQL高88.8%响应更快平均响应时间低47.4%扩展性更好高并发下性能稳定资源利用更充分CPU、内存、磁盘IO更高适用场景高并发场景KaiwuDB更适合高并发业务大数据量场景KaiwuDB更适合大数据量业务扩展性要求KaiwuDB更容易水平扩展建议迁移前做好性能基线测试迁移中关注性能变化迁移后持续优化性能如果你正在考虑数据库国产化迁移建议先做好性能测试确保迁移后性能满足业务需求。转载自https://blog.csdn.net/u014727709/article/details/163832165欢迎 点赞✍评论⭐收藏欢迎指正