提升Web服务器并发数的关键在于连接管理、线程/协程调度和系统内核协同:长连接需合理配置超时,连接数上限要打通系统限制,线程/协程须受控,最后必须压测验证效果。
提升 Web 服务器并发数,核心不是堆硬件,而是让连接更轻、复用更稳、资源更可控。关键在三块:连接管理、线程/协程调度、系统与内核协同。
HTTP/1.1 默认启用 Keep-Alive,但默认超时往往太短(如 Nginx 默认 75s,Tomcat 默认 20s),导致连接频繁重建;设太长又占着 fd 不放。建议按业务节奏调:
keepalive_timeout 65s(静态资源多可设 60–120s;API 服务建议 15–30s)keepAliveTimeout="30000"(单位毫秒),配合 maxKeepAliveRequests="100" 防止单连接霸占太久http.Server{ReadTimeout: 10 * time.Second, WriteTimeout: 30 * time.Second, IdleTimeout: 60 * time.Second} —— IdleTimeout 就是长连接空闲超时,必须显式设并发数卡在哪一层?常是“木桶短板”:应用层配了 1 万,但系统只允许打开 1024 个文件,或内核队列只有 128 个连接等待位。
ulimit -n(用户级),cat /proc/sys/net/core/somaxconn(内核连接队列长度)sysctl -w net.core.somaxconn=65535,sysctl -w fs.file-max=2097152
worker_rlimit_nofile 65535,events { worker_connections 10240; }(确保 worker_processes × worker_connections ≤ ulimit -n)ulimit -n 100000,代码里用 net.ListenConfig{KeepAlive: 30 * time.Second} 显式启用 TCP keepalive每个请求起一个线程(如旧版 Tomcat BIO)或协程(如 Go 默认 http handler),在万级并发下极易耗尽内存或调度失衡。
<Executor name="tomcatThreadPool" maxThreads="1000" minSpareThreads="200" maxQueueSize="5000"/>
gpool.NewPool(500) 包裹 handler,避免瞬间上万 goroutine;同时用 http.Server{MaxConnsPerHost: 100} 限上游连接#define MG_IO_SIZE 1460 和 #define MG_DATA_SIZE 32,减少单连接内存占用,才能撑更多连接调完不测等于白调。重点看三个数字:
runtime.NumGoroutine() 稳定在 1k–3k 是健康态,若压测中冲到 10w+ 就说明协程失控DB.Stats().WaitCount 持续增长?说明连接池太小,该加大 SetMaxOpenConns
hey -z 30s -c 2000 http://localhost:8080/api 压测,盯住 P99 延迟是否突增、QPS 是否线性上升、内存是否缓涨不崩