1、在达梦云原生大数据平台上搭建所需环境，实现系统功能。

2、数据采集模块负责制定采集规则并采集数据。数据源为mysql数据库、hdfs存储、minio存储。数据文件格式分别为txt、csv、xls等。本次比赛提供物流相关模拟数据，也可以抓取互联网上公开数据，结合物流数据进行分析和数据挖掘，抓取数据可自行完成爬虫脚本的编写。

扩展要求：可动态管理（创建，修改，删除）数据源（灵活的数据源管理功能可作为加分项）。

3、数据治理模块负责制定治理规则，并按规则治理数据。

必做治理规则：

（1）“身份证号治理”，客户身份证必须符合规范。      

（2）物流单规则，物流信息里客户必须在客户数据中。

（3）治理完成数据和异常数据分开存放，异常数据提供处理界面，并能重新治理。

扩展要求：可动态配置治理规则，如数据聚合，数据去重，异常值检测，数据转换等。

4、数据存储共享模块，负责存储治理后数据和对外提供数据服务（接口服务、共享数据库）。

扩展要求：可动态配置接口服务、共享数据。

说明：数据存储，数据服务必须使用DM8数据库。

5、物流平台数据展示：

根据“数据治理”结果，开发一个“物流信息分析系统”，要求系统数据全部来源数据存储共享模块，系统至少包含如下功能模块：

（1）港口的吞吐量分析

（2）港口不同类型货物吞吐趋势

（3）港口货物吞吐同比环比

（4）不同货物吞吐占比

（5）不同货物流向分析

（6）不同类型货物堆场流转周期分析

完成以上内容同时可拓展开，进行港口效率、物流业务查询、集装箱跟踪等分析和查询。

扩展要求：

基于给出的数据集，结合其他数据集以充实数据分析，运用数据思维，发现与解释经济社会现象，探讨与解决社会问题。

例如：根据港口的生产作业数据，如：吞吐量、货物流入流出情况等，利用现有的算法或者自定义算法计算不同港口“物流景气指数”并完成景气指数和相关数据的展现；利用网上公开气象历史数据，结合不同港口数据。分析气候条件对吞吐量，货物流入流出等的影响，并完成相关数据的展现。

说明：“物流信息分析系统”必须在达梦云原生大数据平台或者达梦大数据分析平台上执行。