目前绝大多数企业正在使用的技术，大部分都是基于Apache协议开源框架，因为有些框架有多种分类方式，而且篇幅有限，暂不做详细介绍，仅供参考调研（截止2023目前已总结60多个）。

编程语言：

HQL、Shell、Java、Python、Scala

数据采集：

Flume、Sqoop 、Logstash、Databus、DataX、Canal、Kettle、Maxwell、NIFI、Debezium、SeaTunnel(waterdrop)、FlinkCDC  

消息队列：

Kafka、Pulsar

数据存储：

HDFS、HBase、Kudu、Redis、MongoDB、Elasticsearch、TiDB、IotDB、MySQL、Oracle、Ozone、

数据计算：

Spark、 Flink、Storm、Tez、Hive

集群监控：

Zabbix、Ganglia、Cloudera Manager 、Grafana、Ambari、Prometheus、Nagios、Splunk、Datadog  

OLAP(这里面有些也可以归类到数据存储)：

Presto、Kylin、ClickHouse、Druid、Impala、Hawq、Greenplum、SparkSQL、Doris、DorisDB(StarRocks)

元数据管理：

Atlas

数据可视化与BI：

Superset、QuickBI、DataV、Tableau、Kibana、Metabase、Davinci、Echarts、Zeppelin、FineBI

任务调度：

Azkaban、Oozie、Dolphinscheduler、Airflow、Datax-web

权限管理：

Ranger、Sentry

数据质量管理：

Griffin、Deequ

集群管理：

k8s、docker、yarn、KVM、Xen

数据湖：

Hudi、Iceberg、Delta Lake