memcache构建简单的内存消息队列

作者：袖梨 2022-06-24

memcache功能太简单了，只能 set get 和delete， 只能保存key-value的数据， 不能保存列表。 当然也可以把一个列表给序列化了之后存进memcache， 但是会存在并发的问题， 每次保存数据（插队或者出队）的时候都要给数据加锁，在高并发的情况下很难保证数据的一致性！
        但是memcache 有一个 increment 的操作，为某一个键对应的值进行加1（实际上是加法运算， 默认加1）， 这个操作是原子性的， 所以我们可以通过这个来维护一个自增的id来保证数据的唯一。 再加上两个指针来维护起始键值， 这样就构建了一个简单的但相队列！！      

memcache queuejquery16206768913723551831="70" /> 

上代码：       

 代码如下 复制代码
/**
 * memcache构建的简单内存队列
 *
 * @author: jeffjing
 */
class memList {
 private $memcache; // memcache类
 
 private $queKeyPrefix; //数据键前缀
 private $startKey; //开始指针键
 private $startKey; //结束指针键
 
 public function __construct($key){
  $this->queKeyPrefix = "MEMQUE_{$key}_";
  $this->startKey = "MEMQUE_SK_{$key}";
  $this->endKey = "MEMQUE_EK_{$key}"; 
 }
 
 /**
  * 获取列表
  *  先拿到开始结束指针， 然后去拿数据
  *
  * @return array
  */
 public function getList(){
  $startP = $this->memcache->get($this->startKey);
  $endP = $this->memcache->get($this->endKey);  
  empty($startP) && $startP = 0;
  empty($endP) && $endP = 0;
 
  $arr = array();
  for($i = $startP ; $i < $endP; ++$i) {
   $key = $this->queKeyPrefix . $i;
   $arr[] = $this->memcache->get($key);
  }
  return $arr;
 }
 
 /**
  * 插入队列
  *   结束指针后移,拿到一个自增的id
  *   再把值存到指针指定的位置
  *  
  *   @return void
  */
 public function in($value){
  $index = $this->memcache->increment($this->endKey);
  $key = $this->queKeyPrefix . $index;
  $this->memcache->set($key, $value);
 }
 
 /**
  * 出队
  *    很简单, 把开始值取出后开始指针后移
  *
  * @return mixed
  */
 public function out(){
  $result = $this->memcache->get($this->startKey);
  $this->memcache->increment($this->startKey);
  return $result;
 }
 
}

关于memcached的一些事情


内存存储方式(slab allocator)

memcached的数据存储方式为slab allocator即数据分片， 在服务启动的时候先把内存分成不同大小的 chunk， 当有数据过来的时候来存储到一个合适大小的chunk当中
之前版本是直接分配内存， 导致内存碎片 随机查找等问题。。。


数据过期删除机制


memcached在数据过期之后，并不会去删除数据， 但是不能访问过期的数据， 过期数据占用的空间会被重复利用
memcached采用lazy expiration.不会去主动扫描一个数据项是否过期， 而是在数据get的时候判断是否已经过期.
删除的算法是LRU(Least Recently Used) ， 优先删除最近使用较少的数据


memcached的分布式机制


虽说memcached是一个分布式的缓存， 但是memcached本身并没有实现任何分布式的机制， 分布式的功能主要是由客户端来实现的。
程序通过addserver增加多个memcahced服务到客户端（memcache扩展）， 在存取数据之前，客户端会先通过hash算法得到存储数据的节点， 然后再去存取数据， 当其中一台memcached服务器挂掉或者新增一台memcached服务器， hash算法得到的存储数据的节点就会变化， 去新的服务器上去存取数据。

相关文章

精彩推荐