前面在本地的windows通过apache的ab工具测试了600并发下“查询指定手机是否存在再提交数据”的注册功能会出现重复提交的情况,并且在注册完成时还需要对邀请人进行奖励,记录邀请记录,对该新用户自动发布动态信息,发短信或发邮件等其他业务功能。所以这里当并发时,注册功能就变得低效且容易出现问题。
先对重复提交的问题通过redis解决,再把注册储存用户基本信息以后的操作放到队列中进行异步执行,可以很好的优化注册功能,提高QPS。
PHP版本 >= 5.6.0
PHP框架:Thinkphp5.1.*
消息队列:Think-queue2.0
PHP扩展:Redis
配置文件中cache设置为redis驱动,并新建控制器因为cache相关命名空间。
use thinkException;use thinkfacadeCache;use thinkfacadeEnv;use thinkQueue;使用无序集合存手机号,通过判断当前手机号是否是在指定键里为成员(如果注册存入数据库失败,通过sRem删除该成员),然后再通过查询数据库判断是否存在。
private $cache;private$handler;// 实例化redispublic function __construct() {$this->cache = Cache::init();$this->handler = $this->cache->handler();}// 判断手机号是否在集合中$is_existe = $this->handler->sIsMember("register:mobile",$mobile);if(!$is_existe) { $this->handler->sAdd("register:mobile",$mobile);}else { //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在'); var_dump('手机号已存在');// 用户已存在 die;}// 查询手机号码是否已注册$user = db('user')->field('mobile')->where('mobile', $mobile)->find();if ($user) {//Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了');var_dump('手机号已注册');// 用户已存在die;}
<?phpreturn ['connector'=> 'Redis',// Redis 驱动'expire' => 60,// 任务的过期时间,默认为60秒; 若要禁用,则设置为 null'default'=> 'default',// 默认的队列名称'host' => '127.0.0.1',// redis 主机ip'port' => 6379,// redis 端口'password' => '',// redis 密码'select' => 0,// 使用哪一个 db,默认为 db0'timeout'=> 0,// redis连接的超时时间'persistent' => false,// 是否是长连接//'connector' => 'Database', // 数据库驱动//'expire'=> 60, // 任务的过期时间,默认为60秒; 若要禁用,则设置为 null//'default' => 'default',// 默认的队列名称//'table' => 'jobs', // 存储消息的表名,不带前缀//'dsn' => [],//'connector' => 'Topthink',// ThinkPHP内部的队列通知服务平台 ,本文不作介绍//'token' => '',//'project_id'=> '',//'protocol'=> 'https',//'host'=> 'qns.topthink.com',//'port'=> 443,//'api_version' => 1,//'max_retries' => 3,//'default' => 'default',//'connector' => 'Sync',// Sync 驱动,该驱动的实际作用是取消消息队列,还原为同步执行];完成添加新用户后将指定数据加入消息队列。
<?phpnamespace appindexcontroller;use thinkDb;use thinkValidate;use thinkException;use thinkfacadeCache;use thinkfacadeEnv;use thinkQueue;use thinkLog;class Index{private $cache;private$handler;public function __construct() {$this->cache = Cache::init();$this->handler = $this->cache->handler();}public function index(){$data = input('post.');unset($data['balance']);unset($data['credit']);// $blacklist = [// "18124198164","13401363108","17688552009","15089352898","13602940094","13346643336","13181351655","18301123028","13598020751","13014568187",// "13428733909","17337991130","13275342497"// ];$rule = ['mobile' => 'require|number|length:11','password' => 'require|length:6,32',];$msg = ['mobile.require' => '手机号必须','mobile.length' => '手机号为11位数字','mobile.number' => '手机号为11位数字','password.require' => '密码必须','password.length' => '密码为6-12位之间',];//验证数据是否合法$mobile = isset($data['mobile']) ? $data['mobile'] : '';$validate = new Validate($rule, $msg);$result = $validate->check($data);if (!$result) {var_dump($validate->getError());die;}// if(in_array($mobile,$blacklist)) {// var_dump('该手机号已注册了');// 黑名单// die;// }// 判断手机号是否在集合中$is_existe = $this->handler->sIsMember("register:mobile",$mobile);if(!$is_existe) {$this->handler->sAdd("register:mobile",$mobile);}else {//Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在');var_dump('手机号已存在');// 用户已存在die;}// 查询手机号码是否已注册$user = db('user')->field('mobile')->where('mobile', $mobile)->find();if ($user) {//Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了');var_dump('手机号已注册');// 用户已存在die;} // 用户不存在注册// $data['id']= getNewUserid();$data['no'] = date("Ymdhis").rand(100, 999);$data['avatar'] = 'https://rumcdn-1255484416.co*s.ap-c*hengdu.myqcl*oud.com/img/d_h.png';$data['password'] = md5($data['password']);$randomNickname = date("Ymdhis").rand(100, 999); $data['nickname'] = 'rm_' . $randomNickname;$data['create_time'] = time();$data['type'] = 1;/***是否存在邀请人的跑步钱进号***/if(isset($data['pbqj_no']) && !empty($data['pbqj_no'])) {$inviter = db('user')->field('id')->where(["no"=>$data['pbqj_no']])->find();if($inviter) {$data['inviter_id'] = $inviter['id'];}}/***是否存在邀请人的跑步钱进号***/unset($data['pbqj_no']);$userid = db('user')->insertGetId($data);if ($userid) {/******************加入消息队列异步处理后续操作*******************/// 1.当前任务将由哪个类来负责处理。 // 当轮到该任务时,系统将生成一个该类的实例,并调用其 fire 方法$jobHandlerClassName= 'appindexjobJobUser'; // 2.当前任务归属的队列名称,如果为新队列,会自动创建$jobQueueName = "userJobQueue"; // 3.当前任务所需的业务数据 . 不能为 resource 类型,其他类型最终将转化为json形式的字符串// ( jobData 为对象时,需要在先在此处手动序列化,否则只存储其public属性的键值对)//$jobData= ['ts' => time(), 'bizId' => uniqid() , 'a' => 1];$jobData= ['userid'=>$userid,'time'=>time(),'mobile'=>$mobile,'inviterid'=>(isset($data['inviter_id']) ? $data['inviter_id'] : 0)];// 4.将该任务推送到消息队列,等待对应的消费者去执行$isPushed = Queue::push($jobHandlerClassName , $jobData , $jobQueueName);// database 驱动时,返回值为 1|false; redis 驱动时,返回值为 随机字符串|falseif($isPushed !== false) { var_dump('加入队列成功');die;//Log::write('-----------加入消息队列成功-----------');//echo date('Y-m-d H:i:s') . " a new Hello Job is Pushed to the MQ"."";}else{var_dump('加入消息队列');die;//Log::write('-----------加入消息队列失败-----------');//echo 'Oops, something went wrong.';}/******************加入消息队列异步处理后续操作*******************/$res['id'] = $userid;$res['no'] = $data['no'];// // token处理类// $accessToken = new AccessToken();// $accessToken = $accessToken->getToken($userid);// if (empty($accessToken)) {// //Log::write('---压力测试'.date("Y-m-d h:i:s").'---秘钥生成失败');// var_dump('秘钥生成失败');// } else {// $res['user_token'] = $accessToken;// }// if (method_exists(chatUser::class, 'getToken')) {// $chat_token = chatUser::getToken($res['id'], $data['nickname'], $data['avatar']);// if (!$chat_token) {// //Log::write('---压力测试'.date("Y-m-d h:i:s").'---聊天秘钥生成失败');// var_dump('聊天秘钥生成失败');// } else {// $res['chat_token'] = $chat_token;// }// } else {// $res['chat_token'] = '';// }//Log::write('---压力测试'.date("Y-m-d h:i:s").'---注册成功');var_dump($res);die;} else {//Log::write('---压力测试'.date("Y-m-d h:i:s").'---数据库错误');$this->handler->sRem("register:mobile",$mobile);var_dump('数据库错误');die;}}public function hello($name = 'ThinkPHP5'){return 'hello,' . $name;}}
创建消费者(job),对执行队列中的任务。
(1). 在同一模块下新建job文件夹和一个执行类(JobUser), 需要对应生产者中jobHandlerClassName。
(2). 前面执行完队列加入成功后,可以本地使用redis客户端通过lrange queues:userJobQueue 0 -1 查看队列成员
(queues:userJobQueue中,userJobQueue是自己在加入队列前自己起的队列名称,与queues: 拼接就是redis的list的键名,所以可以直接查看 )。
(3).队列中的data就是自己传递的数据,后面需要在消费者中通过该数据进行注册功能后的业务操作: 送奖励,存储邀请记录,发动态,发短信,发邮件等等。
<?phpnamespace appindexjob;use thinkqueueJob;use thinkDb;use thinkException;use thinkfacadeCache;use thinkfacadeEnv;class JobUser {private$cache;private$handler;publicfunction__construct(){$this->cache = Cache::init();$this->handler = $this->cache->handler();}/** * fire方法是消息队列默认调用的方法 * @param Job$job当前的任务对象 * @param array|mixed$data 发布任务时自定义的数据 */public function fire(Job $job,$data) {$job->delete();//print("hahahn");// print("<info>The user already exists "."</info>n");// exit();if(empty($data) || empty($data['userid']) || empty($data['mobile'])) {$job->delete();print("canshu buzun");return;}// 如有必要,可以根据业务需求和数据库中的最新数据,判断该任务是否仍有必要执行.$isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data);if(!$isJobStillNeedToBeDone) {print("hahahn");$job->delete();return;}$isJobDone = $this->doHelloJob($data);if ($isJobDone) {//如果任务执行成功, 记得删除任务$job->delete();print("<info>Hello Job has been done and deleted"."</info>n");}else{if ($job->attempts() > 3) {//通过这个方法可以检查这个任务已经重试了几次了print("<warn>Hello Job has been retried more than 3 times!"."</warn>n");//$job->delete();// 也可以重新发布这个任务//print("<info>Hello Job will be availabe again after 2s."."</info>n");//$job->release(2); //$delay为延迟时间,表示该任务延迟2秒后再执行}}}/** * 有些消息在到达消费者时,可能已经不再需要执行了 * @param array|mixed$data 发布任务时自定义的数据 * @return boolean 任务执行的结果 */private function checkDatabaseToSeeIfJobNeedToBeDone($data) {// 判断手机缓存集合中是否存在// $is_existe = $this->handler->sIsMember("register:mobile",$data['mobile']);// if($is_existe) {// return false;// } // // 查询当前用户是否在数据库中存在// $userinfo = Db::name('user')->field('id')->where('id',$data['userid'])->find();// if($userinfo) {// return false;// } return true;}/** * 根据消息中的数据进行实际的业务处理 * @param array|mixed$data 发布任务时自定义的数据 * @return boolean 任务执行的结果*/private function doHelloJob($data) {try{if(isset($data['inviterid']) && !empty($data['inviterid'])) {// 添加邀请记录$res_record = Db::name('user_inviter')->insert(['inviterid' => $data['inviterid'],'userid'=> $data['userid'],'code'=> $data['inviterid'] . 'T' . $data['userid'],'create_time' => $data['time'],]);// 给邀请人赠送300步币Db::name('user_credit')->insert(['userid'=> $data['inviterid'],'type'=> 1,'credit'=> 300,'source'=> $res_record,'create_time' => $data['time']]);// 更新邀请人步币(用户表)Db::name('user')->where('id', $data['inviterid'])->setInc('credit', 300);}{ // 注册成功发表动态$dynamic_data['userid'] = $data['userid'];$dynamic_data['dynamic'] = base64_encode('号外!号外!我加入跑步钱进了,大家一起走路领红包吧!');$dynamic_data['images'][] = 'https://rumcdn-1255484416.*co*s.ap-chengdu.myqclo*ud.com/img/d_d.png';$dynamic_data['images'] = serialize($dynamic_data['images']);$dynamic_data['create_time'] = $data['time'];$result = Db::name('dynamic')->insert($dynamic_data);}}catch(Exception $e) {Log::write('---执行消息队列出错---'.$e->getMessage());return false;}return true;// 根据消息中的数据进行实际的业务处理...//var_dump($data);//print("<info>Hello Job Started. job Data is: ".var_export($data,true)."</info> n");//print("<info>Hello Job is Fired at " . date('Y-m-d H:i:s') ."</info> n");//print("<info>Hello Job is Done!"."</info> n");//return true;}/** * 该方法用于接收任务执行失败的通知,你可以发送邮件给相应的负责人员 * @param $jobDatastring|array|...//发布任务时传递的 jobData 数据*/public function failed($jobData) {//send_mail_to_somebody() ;print("Warning: Job failed after max retries. job data is :".var_export($jobData,true)."n");}}
(4). 设置任务执行失败后的处理,比如记录日志或发邮件给开发者。
a. 在tags.php中配置失败后执行了类。
<?php// 应用行为扩展定义文件return [// 应用初始化'app_init' => [],// 应用开始'app_begin'=> [],// 模块初始化'module_init'=> [],// 操作开始执行'action_begin' => [],// 视图内容过滤'view_filter'=> [],// 日志写入'log_write'=> [],// 应用结束'app_end'=> [],'queue_failed' => [// 数组形式,[ 'ClassName' , 'methodName']['application\behavior\MyQueueFailedLogger', 'logAllFailedQueues']// 字符串(静态方法),'StaicClassName::methodName'// 'MyQueueFailedLogger::logAllFailedQueues'// 字符串(对象方法),'ClassName',此时需在对应的ClassName类中添加一个名为 queueFailed 的方法// 'application\behavior\MyQueueFailedLogger'// 闭包形式/*function( &$jobObject , $extra){// var_dump($jobObject);return true;}*/],];
b. 在application目录下创建任务错误执行后的处理脚本,根据业务需求自定。
<?phpnamespace appbehavior;use thinkDb;class MyQueueFailedLogger{const should_run_hook_callback = true;/** * @param $jobObject thinkqueueJob //任务对象,保存了该任务的执行情况和业务数据 * @return bool true//是否需要删除任务并触发其failed() 方法*/public function logAllFailedQueues(&$jobObject) {$failedJobLog = ['jobHandlerClassName' => $jobObject->getName(), // 'applicationindexjobHello''queueName' => $jobObject->getQueue(), // 'helloJobQueue''jobData' => $jobObject->getRawBody()['data'],// '{'a': 1 }''attempts'=> $jobObject->attempts(),// 3];var_export(json_encode($failedJobLog,true));$data = ["content" => json_encode($failedJobLog,true),"create_time" => time(),];Db::name('ztest')->insertGetId($data);// $jobObject->release(); //重发任务//$jobObject->delete(); //删除任务//$jobObject->failed();//通知消费者类任务执行失败return self::should_run_hook_callback;}}
结果使用了消息队列后,同样610的并发,使用时间就缩短了