TP5.1 项目接入 ClickHouse 做实时数据分析 OLAP

必须手动构建轻量HTTP通道接入ClickHouse，创建受限账号tp51_app并授仅SELECT/INSERT权限，用curl调用9000端口，批量写入需切片5000行且INSERT至_local表，查询须用PREWHERE替代WHERE优化性能。

要在 ThinkPHP 5.1 项目中接入 ClickHouse 实现用户行为日志、订单聚合、实时看板等 OLAP 场景下的秒级响应查询，必须绕过 TP5.1 原生不支持列式数据库的限制，手动构建轻量、可靠、可复用的数据写入与查询通道，不能依赖通用 DB 类自动适配。

确认 ClickHouse 服务可达并创建专用账号

登录 ClickHouse 服务器终端，执行以下命令创建仅用于 TP5.1 应用连接的账号：
CREATE USER tp51_app HOST '192.168.%' IDENTIFIED WITH sha256_password BY 'StrongPassw0rd!2026';

授予最小必要权限：只允许读写指定数据库（如 analytics_db）中的表，禁止 DDL 权限（TP5.1 不需建表逻辑）：
GRANT SELECT, INSERT ON analytics_db.* TO tp51_app;

【tp51_app 账号密码必须严格保管，且 host 限定为应用服务器 IP 段，不可设为 ANY】

执行完后，用 clickhouse-client -u tp51_app --password='StrongPassw0rd!2026' -q "SELECT 1" 测试连通性。失败则检查 user.xml 中是否启用 access_management = true 并已重启服务。

安装并配置 ClickHouse HTTP 接口客户端

TP5.1 不兼容 clickhouse-php 官方 SDK（要求 PHP ≥ 8.0），改用轻量 HTTP 方式通信——ClickHouse 默认开启 HTTP 端口（9000），无需额外安装扩展。

在 application/common.php 中定义快捷函数：

function clickhouse_query($sql, $params = []) {
  $ch = curl_init('http://127.0.0.1:9000/');
  curl_setopt($ch, CURLOPT_POST, 1);
  curl_setopt($ch, CURLOPT_POSTFIELDS, $sql . ($params ? ' FORMAT JSON' : ''));
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_HTTPHEADER, ['X-ClickHouse-User: tp51_app', 'X-ClickHouse-Key: StrongPassw0rd!2026']);
  $res = curl_exec($ch);
  curl_close($ch);
  return json_decode($res, true);
}

注意：若 ClickHouse 部署在远程服务器，请将 127.0.0.1 替换为真实 IP，并确保防火墙放行 9000 端口。

封装写入逻辑：批量插入 + 自动分片键处理

TP5.1 控制器中调用写入时，严禁单条 INSERT —— ClickHouse 对小批量写入极其低效，会迅速堆积未合并 parts 导致查询变慢甚至超时。

第一步：收集待写入数据（例如用户点击日志数组）；
第二步：按每 5000 行一组切分；
第三步：对每组生成 INSERT INTO analytics_db.events (uid, event_type, ts) VALUES (123,'click','2026-07-07 19:05:22'),(...);

关键点：若目标表使用 Distributed 引擎，INSERT 必须发往本地节点（非分布式表名），否则会报错 “Cannot INSERT into Distributed table”。
示例正确写法：
INSERT INTO analytics_db.events_local （不是 events）VALUES (...);

提示：可在模型类中新增 writeBatch() 方法，内部自动完成切片、拼接、HTTP 发送，避免控制器重复写胶水代码。

查询优化：避免 SELECT *，强制使用 PREWHERE

TP5.1 查询层直接调用 clickhouse_query() 时，SQL 必须显式写出 PREWHERE 条件——ClickHouse 会优先过滤 PREWHERE 列（通常为时间分区字段或高频筛选字段），大幅减少后续列扫描量。

错误写法：
SELECT uid, event_type FROM analytics_db.events WHERE toDate(ts) = '2026-07-07';

正确写法：
SELECT uid, event_type FROM analytics_db.events PREFIXWHERE ts >= '2026-07-07 00:00:00' AND ts

PREWHERE 后的 WHERE 用于细粒度过滤，两者不可互换。漏写 PREWHERE 会导致全表扫描，即使表有十亿行也会卡死。

异常处理与重试机制补位

方法一：HTTP 超时后自动重试（最多 2 次）
在 clickhouse_query() 函数内增加 curl_setopt($ch, CURLOPT_TIMEOUT, 15)，捕获 empty($res) 或 json_last_error() !== JSON_ERROR_NONE 时重新发送一次。

方法二：失败写入转存本地文件缓冲
当连续 3 次 HTTP 插入失败，将当前批次数据序列化为 JSON 写入 runtime/ch_log_buffer/ 目录，由定时任务每 5 分钟扫一次重发。

注意：缓冲目录需提前 mkdir -p runtime/ch_log_buffer 并赋予 web 用户写权限，否则 fwrite() 会静默失败。