MySQL的NoSQL扩展插件HandlerSocket

14/09/2013 22:59:14MySQL NoSQL PHP已关闭评论11,3951字数 5715阅读19分3秒阅读模式

HandlerSocket已经作为Percona Server数据库的一个插件，用来实现NoSQL 功能。
一．HandlerSocket介绍：
2010年11月日本社交游戏开发公司DeNA发布了MySQL HandlerSocket插件。Handlersocket插件是由日本人Yoshinori Matsunobu开发的。传统的关系型数据库在处理每个请求的时候，都需要做SQL解析，查询优化，执行，事务管理，锁管理等一系列的开销操作，消耗性能。非关系型数据库（NoSQL）就去掉了这些操作。通过handlersocket插件，可以直接跟MySQL的存储引擎层做key-value式的交互操作，省略了MySQL的SQL层次的处理，大大的减少了资源的开销。

二．HandlerSocket架构：
HandlerSocket在MySQL内部实现一个NoSQL的网络服务，以mysqld进程的daemon存在，监听特定端口（9998和9999）与client通过TCP/IP接收NoSQL的协议和API，然后通过MySQL存储引擎API直接进行CRUD相关的操作。同时，还可以通过传统的MySQL的方式进行操作。
简单快速的操作通过handlersocket来实现。复杂的操作通过传统的MySQL方式来实现。
HandlerSocket结构图如下：
文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

1.MySQL Client ---> MySQL Upper Layer ---> Storage Engine Layer
使用MySQL传统的方式，客户端通过3306端口与Upper层交互，在Upper层进行SQL解析，打开表，查询优化，关闭表等等操作，然后再提交到Storage Engine 层。
2.HandlerSocket Client ---> HandlerSocket daemon plugin ---> Storage Engine Layer
使用HandlerSocket方式，减少了很多在传统方式下的SQL层的操作。使用9998端口进行读操作，使用9999端口进行写操作。文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

三．HandlerSocket优缺点：
优点：
1.省去了MySQL的SQL层相关的操作，大大的减少了CPU的消耗。
2.采用合并操作的方式，合并多个请求同时执行，减少了CPU开销和IO操作次数。
3.基于简单的文本协议，节省网络流量，提高网络吞吐量。
4.能同时使用传统的MySQL和HandlerSocket的方式访问MySQL数据库，互不冲突。
5.支持大的并发连接。
6.可以继续使用MySQL的Replication等等成熟机制。
7.避免有双重缓存。
8.具有较高的读写性能，在CPU Bound的场景中，读取性能一般是同等环境下的MySQL的3-7.5倍。同时写入性能也能达到3-5倍。
不足之处：
1.由于采用合并操作的方式，响应时间比MySQL来说大一些。
2.没有安全相关的保证，绝大部分NoSQL产品都有这样的问题。
3.在IO Bound的场景中，性能的提升可能不是很明显。
4.目前只支持MySQL5.1和MySQL5.5版本的Innodb存储引擎。文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

四．HandlerSocket的安装：
1.下载安装文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

# wgethttps://download.github.com/ahiguti-HandlerSocket-Plugin-for-MySQL-1.0.6-71-g159ea6d.tar.gz
# tar zxvf ahiguti-HandlerSocket-Plugin-for-MySQL-1.0.6-71-g159ea6d.tar.gz -C ../software/
# cd ../software/ahiguti-HandlerSocket-Plugin-for-MySQL-159ea6d/
# ./autogen.sh
# ./configure --prefix=/usr/local/handlersocket 
--with-mysql-source=/usr/local/src/software/mysql-5.1.36//mysql源码目录
--with-mysql-bindir=/usr/local/mysql-5.1.36/bin //mysql安装目录可执行目录
--with-mysql-plugindir=/usr/local/mysql-5.1.36/lib/mysql/plugin //mysql插件目录
# make
# make install

2.修改配置文件
在my.cnf文件[mysqld]下增加以下配置：文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

loose_handlersocket_port = 9998//指定读请求端口号
loose_handlersocket_port_wr = 9999 //指定写请求端口号
loose_handlersocket_threads = 16 //指定读线程数目
loose_handlersocket_threads_wr = 1 //指定写线程数目

3.安装handlersocket.so：文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

> INSTALL PLUGIN handlersocket SONAME 'handlersocket.so';

4.查看进程状态文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

# netstat -ntpl
tcp        0      0 0.0.0.0:3306       0.0.0.0:*        LISTEN      31402/mysqld       
tcp        0      0 0.0.0.0:9998       0.0.0.0:*        LISTEN      31402/mysqld       
tcp        0      0 0.0.0.0:9999       0.0.0.0:*        LISTEN      31402/mysqld

5.常见问题
configure: error: MySQL source version does not match MySQL binary version
解决方法：在configure.in文件中首行添加一行[MySQL Server] 5.1.36。文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

五．HandlerSocket性能测试：
先来看看软件作者的测试结果：
环境：2.53GHZ，8核CPU，32G内存的Nehalem服务器
结果：

六．安装PHP扩展包php-handlersocket文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

# wget http://php-handlersocket.googlecode.com/files/php-handlersocket-0.0.7.tar.gz
# tar zxvf php-handlersocket-0.0.7.tar.gz -C ../software/
# /usr/local/php5.2.13/bin/phpize
# ./configure --prefix=/usr/local/php-handlersocket \
--with-php-config=/usr/local/php5.2.13/bin/php-config \
--with-handlersocket \
--with-handlersocket-includedir=/usr/local/handlersocket/include/handlersocket
# make
# make install
# vim /usr/local/Zend/etc/php.ini
添加下面一行
extension=/usr/local/php5.2.13/lib/php/extensions/no-debug-zts-20060613/handlersocket.so

查看是否加载成功：文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

常见问题：
cc -shared.libs/handlersocket.o-lstdc++ -L/usr/local/handlersocket/include/handlersocket/lib -lhsclient-Wl,-rpath -Wl,/usr/local/handlersocket/include/handlersocket/lib -Wl,-soname -Wl,handlersocket.so -o .libs/handlersocket.so
/usr/bin/ld: cannot find -lhsclient
collect2: ld returned 1 exit status
make: *** [handlersocket.la] Error 1
解决方法：# cd /usr/local/handlersocket文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

# cp -rf lib include/handlersocket/

七．测试：
1.建立测试表文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

mysql>create table `ttlsa_com` (
-> `id` int(10) auto_increment not null,
-> `k` varchar(50) default null,
-> `v` varchar(50) default null,
-> primary key (`id`),
-> key `index_k` (`k`)
-> )engine=innodb;
mysql> insert into ttlsa_com values ('','k1','v1');
mysql> insert into ttlsa_com values ('','k2','v2');
mysql> insert into ttlsa_com values ('','k3','v3');

2.PHP使用实例文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

<?php
$host = 'localhost';
$port = 9998;
$port_wr = 9999;
$dbname = 'hstestdb';
$table = 'hstesttbl';
//GET
$hs = new HandlerSocket($host, $port);
if (!($hs->openIndex(1, $dbname, $table, HandlerSocket::PRIMARY, 'k,v')))
{
	echo $hs->getError(), PHP_EOL;
	die();
}
$retval = $hs->executeSingle(1, '=', array('k1'), 1, 0);
var_dump($retval);
$retval = $hs->executeMulti(
array(array(1, '=', array('k1'), 1, 0),
array(1, '=', array('k2'), 1, 0)));
var_dump($retval);
unset($hs);
//UPDATE
$hs = new HandlerSocket($host, $port_wr);
if (!($hs->openIndex(2, $dbname, $table, '', 'v')))
{
	echo $hs->getError(), PHP_EOL;
	die();
}
if (!($hs->executeUpdate(2, '=', array('k1'), array('V1'), 1, 0)))
{
	echo $hs->getError(), PHP_EOL;
	die();
}
unset($hs);
//INSERT
$hs = new HandlerSocket($host, $port_wr);
if (!($hs->openIndex(3, $dbname, $table, '', 'k,v')))
{
	echo $hs->getError(), PHP_EOL;
	die();
}
if (!($hs->executeInsert(3, array('k2', 'v2'))))
{
	echo $hs->getError(), PHP_EOL;
}
if (!($hs->executeInsert(3, array('k3', 'v3'))))
{
	echo $hs->getError(), PHP_EOL;
}
if (!($hs->executeInsert(3, array('k4', 'v4'))))
{
	echo $hs->getError(), PHP_EOL;
}
unset($hs);
//DELETE
$hs = new HandlerSocket($host, $port_wr);
if (!($hs->openIndex(4, $dbname, $table, '', '')))
{
	echo $hs->getError(), PHP_EOL;
	die();
}
if (!($hs->executeDelete(4, '=', array('k2'))))
{
	echo $hs->getError(), PHP_EOL;
	die();
}

3.方法注释
openIndex(1, $dbname, $table, HandlerSocket::PRIMARY, 'k,v')
打开索引，第一个参数1用来在每个HandlerSocket对象中唯一标识一个表名；$dbname表示为数据库名；$table表示为表名；HandlerSocket::PRIMARY表示为索引名；'k,v'表示为要查询的列名。
executeSingle(1, '=', array('k1'), 1, 0)
执行查询，第一个参数要跟之前的openIndex方法中的第一个参数保持一致；第二个参数’=’表示检索的条件，支持’=’,’>=’,’<=’,’>’,’<’；第三个参数array(‘k1’)表示一个arrayref，指定检索的key，其长度必须小于或者等于对应索引的列数；第四个和第五个参数指定查询的limit和offset。
executeMulti 可在一次调用中执行多个操作。文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

如需转载请注明出处： https://www.ttlsa.com/html/3022.html文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/ 文章源自运维生存时间-https://www.ttlsa.com/mysql/mysql-nosql-extension-handlersocket/

我的微信

微信公众号

扫一扫关注运维生存时间公众号，获取最新技术文章~

MySQL的NoSQL扩展插件HandlerSocket

DBA蹩脚编程能力-0008-实时查看表流量(视频)

MongoDB journaling 工作原理

MySQL分区表和HBase永结连理

PHP超时处理全面总结