Django数据库连接丢失问题的解决方法

作者：袖梨 2022-11-14

问题

在Django中使用mysql偶尔会出现数据库连接丢失的情况，错误通常有如下两种

OperationalError: (2006, 'MySQL server has gone away')
OperationalError: (2013, 'Lost connection to MySQL server during query')

查询mysql全局变量SHOW GLOBAL VARIABLES;可以看到wait_timeout，此变量表示连接空闲时间。如果客户端使用一个连接查询多次数据库，如果连续查询则没有问题，如果查询几次后停顿超过wait_timeout后再次查询就会出现数据库连接丢失。

复现

下面用Django复现下次问题：

将mysql的wait_timeout设置为10秒，然后进入django shell模拟查询（以下错误信息只保留了部分）

In[1]：import time
In[2]：from django.contrib.auth.models import User
In[3]：list(User.objects.filter(id=1))
Out[3]：[]
In[4]：time.sleep(15) # 模拟比较慢的代码（其中没有查询数据库的代码），或者空闲什么都不操作一段时间，此时间要比`wait_timeout`大一些
list(User.objects.filter(id=1))
Traceback (most recent call last):

File "", line 1, in
list(User.objects.filter(id=1))

File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes
CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")
django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')

寻求

那么以上问题就基本说明了是空闲时间过长导致的错误。

django为了减少不必要的数据库连接、关闭，复用了数据库连接，当开始一个请求后建立一个连接池存放连接，之后此次请求都复用一个连接。那猜测就是django保存连接的比wait_timeout长了，如果保存时间短一些就可以重新建立连接避免此错误了。没错，官方文档也已经说明了此问题，设置数据库 CONN_MAX_AGE参数，示例：

DATABASES = {
 "default": {
 'ENGINE': 'django.db.backends.mysql',
 'NAME': '',
 'USER': '',
 'PASSWORD': '',
 'HOST': '',
 'CONN_MAX_AGE': 9 # 比wait_timeout小一些
 }
}

当我们测试后却发现，事情并非想想中那么简单。为何错误依旧出现？这一切的背后，是人性的扭曲还是道德的沦丧?敬请收看下节《突破》。

突破

对django源码中CONN_MAX_AGE进行了一番搜索，顺藤摸瓜发现了django关闭失效连接的方法django.db.close_old_connections()：

# Register an event to reset transaction state and close connections past
# their lifetime.
def close_old_connections(**kwargs):
 for conn in connections.all():
  conn.close_if_unusable_or_obsolete()

signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)

重点在最后两行，通过signal实现特定事件时执行此方法，两个特定事件顾名思义是请求开始和请求结束。而我们报错的是在一次请求中，所以此法通常无效，仅仅是实现每个请求关闭并重新建立连接。

解决

复现问题的django shell不要关闭，继续执行如下代码：