在设计系统的时候遇到这样一个需求,需要实现半小时内的数据更新500万次左右,数据量不大,最多一千万; 使用数据库肯定是实现不了,需要使用Cache系统来延迟导入到DB中。但普通的memcache由于数据是存在于内存中,那么当程序crash或则机器down的时候,数据将丢失,可靠性不能满足。 自己开发一套pesistented memcache,但需要时间开发,进度不允许,因此想到了mysql 的memory DB机制。Mysql 采用插件机制,支持memory db方式。 通过复制技术,实现数据的双机备份。 再对mysql 的memory db进行性能测试,测试结果表明,使用普通的服务器(2cpu),可以实现15000~25000/s 的数据插入/更新操作,能够 满足15000/s数据读操作。 从测试结果看,性能上可以满足500万 半小时的要求,另外由于使用复制技术,也满足了数据的可靠性要求。毕竟2台机器同时down的概率我们可以忽略不计。
配置复制的时候,把 sync_binlog=0 提高更新操作.
使用 mysqlbinlog 来恢复数据. 当mysql的机器down或则mysqld服务器程序down的时候,可以使用mysqlbinlog来恢复数据. 如:
mysqlbinlog --disable-log-bin -l /tmp/ --force-read --set-charset=gbk --start-position=981 mysql-bin.000003 |mysql
经过测试,对1000万条记录更新操作的日志,进行恢复,大概需要花20分钟 |