@[toc]

​

一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列文章:

[一文快速搞懂Kudu到底是什么](https://blog.csdn.net/xianyu120/article/details/117261771)

一文快速了解Elastic Search 开源搜索引擎（技术选型+启动命令）

[一文快速搞懂系列__一文快速搞懂SuperSet[实战案例]](https://blog.csdn.net/xianyu120/article/details/117882205)

这是一文快速搞懂系列的第三篇:一文快速了解ClickHouse 战斗民族的开源搜索引擎（超详细解读+快速入门）

目前市面上主流的开源OLAP引擎包含不限于：Hive、Presto、Kylin、Impala、SparkSQL、Druid、Clickhouse、Greeplum等，可以说目前没有一个引擎能在数据量，灵活程度和性能上做到完美，用户需要根据自己的需求进行选型。

总结：上面给出了常用的一些OLAP引擎，各自有各自的特点，将其分组：

ClickHouse是一个面向列的数据库管理系统（DBMS），用于在线分析处理查询（OLAP）。 ClickHouse官网：https://clickhouse.tech/ClickHouse中文社区：http://www.clickhouse.com.cn/

1.ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统（DBMS）2.ClickHouse采用 C++ 语言开发，以卓越的查询性能著称，在基准测试中超过了目前很多主流的列式数据库3.ClickHouse集群的每台服务器每秒能处理数亿到十亿多行和数十千兆字节的数据4.ClickHouse会充分利用所有可用的硬件，以尽可能快地处理每个查询

功能丰富、高度可靠、简单易用和支持跨数据中心部署等特性，号称在内存数据库领域是最快的7.ClickHouse提供了丰富的数据类型、数据库引擎和表引擎，它所存储的表类似于关系型数据库中的表，默认情况下使用结构化方式在节点本地存储表的数据，同时支持多种数据压缩方式8.ClickHouse独立于Hadoop生态系统，不依赖Hadoop的HDFS，但可以扩展HDFS进行数据查询，ClickHouse还支持查询Kafka和MySQL中的数据9.ClickHouse目前已经在很多大型企业中得到了充分的生产验证，其在存储PB级别的数据规模时仍能很好的提供稳健的实时OLAP服务。

高性能、线性可扩展、硬件高效容错、高度可靠、简单易用

ClickHouse存储数据是面向列进行存储，类似ORC和Parquet及Kudu数据库存储数据方式。

与行存将每一行的数据连续存储不同，列存将每一列的数据连续存储。针对分析类查询，通常只需要读取表的一小部分列。在列式数据库中你可以只读取你需要的数据。例如，如果只需要读取100列中的5列，这将帮助你最少减少20倍的I/O消耗。由于数据总是打包成批量读取的，所以压缩是非常容易的。同时数据按列分别存储这也更容易压缩。这进一步降低了I/O的体积。由于I/O的降低，这将帮助更多的数据被系统缓存。例如，查询«统计每个广告平台的记录数量»需要读取«广告平台ID»这一列，它在未压缩的情况下需要1个字节进行存储。如果大部分流量不是来自广告平台，那么这一列至少可以以十倍的压缩率被压缩。当采用快速压缩算法，它的解压速度最少在十亿字节(未压缩数据)每秒。换句话说，这个查询可以在单个服务器上以每秒大约几十亿行的速度进行处理。这实际上是当前实现的速度。

缺少高频率，低延迟的修改或删除已存在数据的能力。仅能用于批量删除或修改数据；没有完整的事务支持不支持二级索引有限的SQL支持，join实现与众不同不支持窗口功能元数据管理需要人工干预维护

绝大多数请求都是用于读访问的，数据只是添加到数据库，没有必要修改数据需要以大批量（大于1000行）进行更新，而不是单行更新；或者根本没有更新操作读取数据时，会从数据库中提取出大量的行，但只用到一小部分列表很“宽”，即表中包含大量的列查询频率相对较低（通常每台服务器每秒查询数百次或更少）对于简单查询，允许大约50毫秒的延迟列的值是比较小的数值和短字符串（例如，每个URL只有60个字节）在处理单个查询时需要高吞吐量（每台服务器每秒高达数十亿行）不需要事务，数据一致性要求较低每次查询中只会查询一个大表。除了一个大表，其余都是小表查询结果显著小于数据源。即数据有过滤或聚合。返回结果不超过单个服务器内存大小

ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内社区火热，各个大厂纷纷跟进大规模使用。

我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。

新浪微博APP监控系统采用ClickHouse作为数据存储引擎，使用Kafka存储实时产生的消息， Python消费数据存储到ClickHouse中，然后Superset连接ClickHouse作为可视化工作台。同时还使用Hangout消费Kafka的数据到ElasticSearch中，然后使用Kibana进行问题跟踪和问题排查。

Geniee是日本的一家广告公司，使用ClickHouse作为其RTB实时竞价服务的数据存储引擎。

今日头条最早使用ClickHouse的是用户行为分析系统。该系统在使用 ClickHouse之前，engine（引擎）层已经有两个迭代。尝试过Spark全内存方案还有一些其他的方案，都存在很多问题。主要因为产品需要比较强的交互能力，页面拖拽的方式能够给分析师展示不同的指标，查询模式比较多变，并且有一些查询的DSL 描述，也不好用现成的SQL去表示，这就需要engine有比较好的定制能力。行为分析系统的表可以打成一个大的宽表形式，join的形式相对少一点。系统的数据量比较大， 因为产品要支持头条所有APP的用户行为分析，包含头条全量和抖音全量数据，用户的上报日志分析，面临不少技术挑战。在使用ClickHouse做一些简单的POC测试工作后，综合来看ClickHouse的性能、功能和产品质量来说效果不错，因为开发ClickHouse的公司使用的场景实际上跟头条用户分析是比较类似的，因此有一定的借鉴意义。目前头条 ClickHouse 集群的规模大概有几千个节点，最大的集群规模可能有1200个节点，这是一个单集群的最大集群节点数。数据总量大概是几十PB，日增数据100TB，落地到ClickHouse的日增数据总量大概是它的3倍，原始数据也就 300T 左右，大多数查询的响应时间是在几秒钟。从交互式的用户体验来说，一般希望把所有的响应控制在 30 秒之内返回，ClickHouse基本上能够满足大部分要求。覆盖的用户场景包括产品分析师做精细化运营，开发人员定位问题，也有少量的广告类客户。

2.4.1安 装 ClickHouse安装官方文档：https://clickhouse.tech/#quick-startRPM方式安装：https://github.com/Altinity/clickhouse-rpm-install 离线下载安装：https://packagecloud.io/Altinity/clickhouseDocker 容器安装：https://hub.docker.com/r/yandex/clickhouse-server/

操作步骤 说明1 安装yum-utils工具包

2 添加ClickHouse的yum源

3 安装ClickHouse的服务端和客户端

如果安装时出现warning: rpmts_HdrFromFdno: Header V4 RSA/SHA1 Signature, keyID e0c56bd4: NOKEY错误导致无法安装，需要在安装命令中添加—nogpgcheck来解决。

4 关于安装的说明

默认的日志文件路径是：/var/log/clickhouse-server/

clickhouse的server配置，在/etc/clickhouse-server/config.xml及user.xml，前者是clickhouse 的系统配置，包括日志，服务部署ip，zk等配置。后者是当前节点服务的配置，包括用户名密码， 内存大小限制等。服务配置：config.xml

用户配置：users.xml

5 启动服务

后台服务启动：systemctl start clickhouse-server

6 查看ClickHouse的版本信息

2.4.2命令行 clickhouse-client

ClickHouse安装包中提供了clickhouse-client工具，这个客户端在运行shell环境中，使用TCP 方式连接clickhouse-server服务。要运行该客户端工具可以选择使用交互式与非交互式（批量）两种模式：使用非交互式查询时需要指定--query参数；在交互模式下则需要注意是否使用—mutiline参数来开启多行模式。clickhouse-client提供了很多参数可供使用，常用的参数如下表：参数 介绍--host,-h 服务端的 host 名称, 默认是 'localhost'。 您可以选择使用 host 名称或者 IPv4 或IPv6 地址。

--port 连接服务端的端口，默认值9000--user,-u 访问的用户名，默认default--password 访问用户的密码，默认空字符串--query,-q 非交互模式下的查询语句--database,-d 连接的数据库，默认是default--multiline,-m 使用多行模式，在多行模式下，回车键仅表示换行。默认不使用多行模式。--multiquery,-n 使用”,”分割的多个查询，仅在非交互模式下有效--format, -f 使用指定格式化输出结果--vertical, -E 使用垂直格式输出，即每个值使用一行显示--time, -t 打印查询时间到stderr中--stacktrace 如果出现异常，会打印堆栈跟踪信息--config-file 使用指定配置文件--use_client_time_zone 使用服务端时区quit,exit 表示退出客户端Ctrl+D,Ctrl+C 表示退出客户端登录命令：

航班数据集：https://yadi.sk/d/pOZxpa42sDdgm

2.4.3导入样例数据

操作步骤 说明1 编写下载航班数据脚本

2 下载航班数据

​

3 创建ontime表

4 导入数据

vim import.sh

chmod +x import.sh ./import.sh

查询总条数

查询从2017年到2020年每天的航班数