性能提升400%，ClickHouse在携程酒店数仓的实践

四、ClickHouse代码优化技巧

1）小表置于join右侧降低内存消耗

2）用in替代join提高执行速度

3）减少数据扫描提高执行速度

通过增加过滤逻辑可以减少数据扫描，达到提高执行速度及降低内存消耗的目的。

五、异常问题处理

    Code: 252, e.displayText() = DB::Exception: Too many parts (301) . Merges are processing significantly slower than inserts.

解决这个问题需要先分析Merge过程，如下图所示：

Merge过程是异步的，插入速度过快会导致以上错误，一般建议速度100w/s。

    Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded

这种错误是请求内存高于系统分配内存导致，解决这类问题可以从两方面入手：

• 在服务器内存充裕的情况下增加内存配额，一般通过max_memory_usage来实现；
• 在服务器内存不充裕的情况下，建议将超出部分内容分配到系统硬盘上，但会降低执行速度；一般通过max_bytes_before_external_group_by 、max_bytes_before_external_sort参数来实现。

如果以上方法仍然无法解决问题，需要检查代码是否合理，从代码角度去优化（参考代码优化技巧部分）。

六、服务器故障处理

故障背景 ：故障演练导致ClickHouse服务器被强行重启，ClickHouse服务无法正常启动。

解决办法 ：根据ClickHouse错误日志 (clickhouse-server.err.log) 定位问题，发现ClickHouse服务启动时无法加载表的元数据，处理方式有两种：

1）删除或移走该表对应数据文件（本次故障使用了该方式，下图为错误日志）。

2）重建该表元数据（此方式更为合理）。

七、小结

截止2020年上半年，携程酒店订单主题以及P1体系报表已经全部实现完毕，大部分性能提升在200%以上，整体性能提升平均在400%左右，基本解决大部分应用场景的问题，后期我们将整合更多主题入仓，充分发挥ClickHouse的性能优势，进一步提升效率。此外，我们也在研究Flink+ClickHouse技术，推进实时数仓建设。

作者介绍：

小琴，携程高级数据经理，负责酒店BI、数仓工作，专注于大数据应用领域多年。

本文转载自公众号携程技术（ID：ctriptech）。

原文链接：

性能提升400%，ClickHouse在携程酒店数仓的实践