最近由于一块业务系统瓶颈的原因,需要找一个能够实现数据快速汇总的工具做一个中间缓存。具体场景是这样的:服务器收集WEB机群的日志集中处理,日志中有大量重复信息,需要汇总做COUNT次数统计。最开始用的MYSQL,后来发现写入瓶颈,造成数据库写入线程阻塞
最近由于一块业务系统瓶颈的原因,需要找一个能够实现数据快速汇总的工具做一个中间缓存。具体场景是这样的:服务器收集WEB机群的日志集中处理,日志中有大量重复信息,需要汇总做COUNT次数统计。最开始用的MYSQL,后来发现写入瓶颈,造成数据库写入线程阻塞,日志处理线程只能等到不然会把放在内存里的数据库写入队列塞满。后来按业务做了分表,数据库写入和日志处理都改成了多线程。仍然不能解决问题,服务器负载也飙升。最后经过组里讨论,决定采用redis。正好也趁此机会研究下。
一、安装
先说下安装环境和过程:操作系统:centos5.4redis版本:redis-2.8.7.tar.gz过程如下:
cd /data0/software/installmkdir install_rediscd install_rediswget http://download.redis.io/releases/redis-2.8.7.tar.gztar zxvf redis-2.8.7.tar.gzcd redis-2.8.7make && make install#修改配置文件,redis以守护进程模式运行vi redis.confdaemonize yes#启动redis,指定配置文件位置cd src/./redis-server /usr/local/redis/redis.confredis-server启动服务端,需指定配置文件位置,否则会采用默认配置启动。默认使用6379端口,据说用手机打字的四个字母,代表一个歌手。注意redis-server和redis-cli(客户端)程序都在./src目录下(汗,我找了好久)。
服务器端默认是不启动守护进程模式的,需要在配置文件中修改(daemonize yes)
src下有个负载的测试工具redis-benchmark,做了个测试,和其他人的做了对比,稍微领先点,应该是机器比较牛,不到1.7秒10W并发。结果如下:
执行redis-cli启动客户端程序。这样即可和redis进行交互了。输入几个测试命令:
二、java包、php扩展安装配置
java的环境搭建比较简单,下载一个包导入就好了。
php扩展安装稍麻烦点,linux安装过程如下:
tar zvxf redis-2.8.7.tar.gzcd redis-2.8.7/bin/phpize./configure --with-php-config=bin/php-configmakemake installcd ..由于我还要在本地电脑上做测试,也顺带在windows下做了安装,redis的安装过程比较容易,下载即可运行。扩展就有点麻烦,大致如下:PHP5.4.x 的 redis 扩展 php_redis.dll扩展下载地址:https://github.com/nicolasff/phpredis/downloads包含 Non Thread Safe 和 Thread Safe 两个版本首先把 php_redis.dll 和 php_igbinary.dll 放入PHP的ext文件夹,然后在php.ini配置文件里添加如下代码:extension=php_igbinary.dll extension=php_redis.dll重启WebServer注意:extension=php_igbinary.dll 一定要放在 extension=php_redis.dll 的前面,否则此扩展不会生效。
测试代码如下:
Red丶尐懿ゞRed丶尐智ゞ 简单点就行了 搞那么复杂干吗,懿这个字本身就笔画多, 弄的不好 又不好记 又不好认的。。其他:Red丶梨落ゞ (女)Red丶樱逝ゞ (男) Red丶深深ゞ (男)Red丶浅浅ゞ (女) Red丶初见ゞ (见用繁体字)Red丶初识ゞ
男:Red丶容若ゞ 女:Red丶雨蝉ゞ男:Red丶赌书ゞ 女:Red丶泼茶ゞ男:Red丶心智ゞ 女:Red丶归懿ゞ
Red丶懿苼ゞRed丶智懓ゞ(一生挚爱)
Red丶酒稥ゞRed丶酒醉ゞRed丶懿ルゞRed丶潪尐ゞRed丶落ㄖゞRed丶雨烟ゞ(纳兰容若《卜算子》)Red丶落婲ゞRed丶细雨ゞRed丶迗丄仴ゞRed丶双栖蝶ゞ(纳兰容若《蝶恋花》)Red丶嗏烟ゞRed丶碧纱ゞ(纳兰容若《采桑子》)希望你能喜欢
Red、懿昕ゞRed、楠智ゞ
Red丶懿瑶ゞRed丶宠懿ゞ
Red丶甜甜ゞRed丶宠甜ゞ这种样式的,“甜甜”可以改成你们的名
Red丶懿erゞRed丶智诺ゞ
Red丶喘息ゞRed丶娇喘ゞRed丶夏忆ゞRed丶染夏ゞRed丶野艹ゞRed丶野婲ゞ
Red丶暧暧ゞ Red丶嚒麽ゞ
男 Red丶智忆ゞ 女 Red丶芝懿ゞ
女:Red丶香陨 男:Red丶梦断我给你个网址,上面有李清照的词,你可以把里面的一些词语用上,都挺好听的:http://ke.baidu.com/view/3066.htm
Red丶司马懿ゞRed丶鲁智深ゞ
Red丶残酒ゞ Red丶冷香ゞ
Red丶辰逸ゞRed丶灵蕊ゞ