• clickhouse任务堵塞，导致服务不可用

    calendar 2024-12-23 · 2 分钟 阅读 · clickhouse

    1、问题现状 产品功能逻辑其实比较简单，执行 spark 任务并把 hive 表数据同步写入到 clickhouse 数据库表，每次执行前需删除操作分区下的所有数据并重新插入表，而在 spark 代码中使用的是 alter table 的操作。 2、根因分析 首先我们查看了集群机器状态，发现所有机器的 CPU 负载高居不下。 随后结合 spark 任务与后端接口的报错信息来看，初步推测是 clickhouse 的任务队列存在太多 ddl 操作了，导致连接超时。 登录 clickhouse 数据库后，使用命令查询当前存在哪些 ddl ，真是不查不知道，一查吓一跳，全是 truncate table 语句或者 alter table …


    阅读更多

  • Clickhouse常用查询语句

    calendar 2023-03-09 · 3 分钟 阅读 · Clickhouse

    连接 Clickhouse 1./clickhouse-client -h 9.218.16.160 --port 9000 -u 'yyy' --password 'zzzzz' 查询库表信息 1use databases; 2select * from table; 3show create table; 查询数据库数据量大小 1##按照数据量倒序 2SELECT database, formatReadableSize(on_disk) FROM (SELECT database, sum(bytes_on_disk) AS on_disk FROM system.parts GROUP BY …


    阅读更多

  • Clickhouse常用查询语句

    calendar 2023-03-09 · 1 分钟 阅读 · Clickhouse

    连接 Redis 1./redis-cli -h 1.2.3.6 -p 6379 -a 'xxx' --raw 批量删除 1./redis-cli -h 1.10.8.6 -p 6379 -a 'xxx' scan --pattern 'ad_dimension_analysis:*' | xargs redis-cli -h 1.10.8.6 -p 6379 -a 'xxx' del 2 3redis-cli -h 1.10.8.6 -p 6379 -a 'xxx' -n 0 --scan --pattern …


    阅读更多