数据可视化中的热力图到底是什么

您所在的位置:网站首页 热力图代表什么意思 数据可视化中的热力图到底是什么

数据可视化中的热力图到底是什么

2023-03-17 01:46| 来源: 网络整理| 查看: 265

大家好,我是你们的建哥,一个始终站在技术一线的Leader。又到了一天最惬意的时光,泡上一杯绿茶,跟着我一起回顾平时无法系统梳理的知识。

前面一段时间,某位神秘的狗大户客户提出了一个需求,要将XX的数据按照热力图的形式展示在地图上。有活了,就得赶紧干。

关于热力图,本身其实前端组件开源的非常多比如说heatmap.js,问题其实在数据如何给到前端。因为大多数情况,数据都是离散的,并不是按照热力图本身(x,y,value)的形式。那么,如何将离散的点映射成热力图需要的形式,这个才是重点,也直接决定着热力图的质量好坏。

什么是热力图

“热力图”一词的诞生最早追溯到1991年,由软件设计师Cormac Kinney提出并注册,当时用来实时显示一个2D金融市场的信息。它是在二维空间中以颜色的形式显示一个现象的绝对量一种数据可视化技术。颜色的变化可能是通过色调或强度说明现象是如何在空间上聚集或变化的。热图有两种完全不同的类别:聚集热图和空间热图。聚集热图是一个个的矩形,相比之下,空间热图中某一量级的位置是由该量级在该空间中的位置所决定的,没有单元的概念,现象被认为是连续变化的。

聚集热图:

image.png

空间热力图:

截屏2022-12-02 15.38.14.png

热力图绘制原理

对于空间热力图而言,是由一个个由内向外放射渐变的色圆(如下图所示)组成,其中,中心点的颜色必须最深,并沿着半径向外辐射依次变浅,并且各个色圆聚集在一起的时候就会相互叠加混合,组成了不规则图形:

截屏2022-12-02 15.14.05.png

因此,对于热力图而言,其绘制必须满足如下两个条件:

可叠加:重叠的地方颜色深度可叠加,但叠加的颜色深度不能超过其中心点(可由渐变的效果来控制);

具有色差:色差存在,才能表示梯度变化。如果需要被绘制的数据最大值和最小值之间差距太小,那么整个热力图就是一个颜色,失去了热力图的意义,这个就需要一些算法来保证元数据能被处理成有“差距”的数据。

前端绘制通常会采用像素点的Alpha通道,这是因为Alpha通道是可以叠加的,要获取叠加后的Alpha值也比较简单,在获取到像素的Alpha值以后,再根据Alpha值绘制实际的颜色。

因此,前端要绘制热力图,就必须需要给到如下的参数:

每个色圆的中心点(xy坐标)以及色圆中心点对应的Alpha初始值

*  色圆半径

*  色差范围

当然,还有其他控制热力效果的参数,主要是与渲染效果有关,这里就不再展开了。热力图的开源前端组件有很多,最著名的就是heatmap.js,其具体的使用不在这里描述。

当然,对于后端开发而言,需要给到前端每个色圆的中心点(xy坐标)以及色圆中心点的对应的Alpha初始值,当然这个Alpha初始值可以由前端根据约定自己转换成0到255的灰度值,后端只给业务数据。我们还是用heatmapjs参考,其绘制的data如下面的代码所示:

var data = [ // x、y为色圆中心坐标,value为热力图的色差值 {x: 471, y: 277, value: 25}, {x: 438, y: 375, value: 97}, {x: 373, y: 19, value: 71}, {x: 473, y: 42, value: 63}, {x: 463, y: 95, value: 97}, {x: 590, y: 437, value: 34}, {x: 377, y: 442, value: 66}, {x: 171, y: 254, value: 20}, {x: 6, y: 582, value: 64}, {x: 387, y: 477, value: 14}, {x: 300, y: 300, value: 80} ]; 复制代码 离散的坐标如何转换成热力图?

对于前端绘制原理比较清晰后,对于后端而言,问题就变成了一系列离散的点如何进行聚类,将距离相近的点能落到一个热力色圆中。前面也讲到,如果直接将坐标转换成热力图,那么所有的数据value值都为1,颜色完全一样,很显然效果非常不好。

解救离散坐标聚类-DBSCAN算法

DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合。在DBSCAN,通过在数据集中寻找被低密度区域分离的高密度区域,将分离出的高密度区域作为一个独立的类别。  这种算法不恰巧天然适用于离散的坐标转换成热力图吗?

并且对于java程序员而言,Apache Common Math包还提供了相应的类DBSCANClusterer,使用起来非常方便。因此,我们只需要将离散坐标分簇,同一个簇的就在一个热力色圆中,色圆中心坐标就是在同一个簇中坐标的平均值,value就是簇中坐标的个数,或者个数的加权(以扩大色差)。

DBSCAN 算法原理与参数选择

DBSCAN原理文章已经太多,这里就不赘述。重点是讲解一下其重要两个参数:

image.png

  

  * eps:the distance that defines the ε-neighborhood of a point。如果数据点的相互距离小于或等于指定的epsilon,那么它们将是同一类的。换句话说,它是DBSCAN用来确定两个点是否相似和属于同一类的距离。注意,eps 设置得非常小,则意味着没有点是核心样本,可能会导致所有点被标记为噪声(没有簇), eps 设置得非常大,可能会导致所有点形成单个簇。

  

  * minPoints:the minimum number of density-connected points required to form a cluster。在一个邻域的半径内minPts数的邻域被认为是一个簇。在热力图场景中,一般来说0就够了。因为我们并不需要关心核心点,我们只需要关心点是否在半径内。

Java代码实现 @Data public class Hotmap {     private int x;     private int y;     private int size;     @Override     public String toString() {         return x + "," + y + "," + size;     } } public class HotmapUtils {     public static void main(String[] args) {         List doublePoints = new ArrayList();         Random random = new Random();         // 模拟生成比较分散的点         for (int i = 0; i < 100; i++) {             DoublePoint doublePoint = new DoublePoint(new double[]{500+random.nextInt(500),300+random.nextInt(500)});             doublePoints.add(doublePoint);         }         // 模拟生成比较聚合的点         for (int i = 0; i < 100; i++) {             DoublePoint doublePoint = new DoublePoint(new double[]{500+random.nextInt(500),500+random.nextInt(500)});             doublePoints.add(doublePoint);         }        System.out.println("原始坐标:"+JsonUtils.toJsonString(doublePoints));         DoublePoint[] points = doublePoints.toArray(new DoublePoint[doublePoints.size()]);         // 像素半径10内为1个簇,这个建议在实际工程中灵活可配         final DBSCANClusterer transformer =                 new DBSCANClusterer(10, 0);         final List clusters = transformer.cluster(Arrays.asList(points));         System.out.println("热力图值:");         List hotmaps=new ArrayList();         for (Cluster cluster : clusters) {             hotmaps.add(getGeometricMean(cluster));         }         System.out.println(hotmaps.size());         System.out.println(JsonUtils.toJsonString(hotmaps));     }     private static Hotmap getGeometricMean(Cluster doublePointCluster) {         List xvalues = new ArrayList();         List yvalues = new ArrayList();         for (DoublePoint doublePoint : doublePointCluster.getPoints()) {             double[] point = doublePoint.getPoint();             xvalues.add(point[0]);             yvalues.add(point[1]);         }         Hotmap hotmap = new Hotmap();         //将簇类的X坐标平均,得到色圆的X坐标         hotmap.setX((int) StatUtils.geometricMean(xvalues.stream().mapToDouble(i -> i).toArray()));         //将簇类的Y坐标平均,得到色圆的Y坐标         hotmap.setY((int) StatUtils.geometricMean(yvalues.stream().mapToDouble(i -> i).toArray()));         //簇类坐标的数量,这里做了一个扩大10倍的处理,这样可以扩大色差         hotmap.setSize(doublePointCluster.getPoints().size()*10);         return hotmap;     } } 复制代码

下面是使用DBSCAN算法并前端可视化最终生成的效果:

wecom-temp-381238-e3d8b586fb92b1c864ef9daf7bde8d73.png



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3