什么是数据工厂

您所在的位置:网站首页 安全案例范文 什么是数据工厂

什么是数据工厂

2023-05-28 06:30| 来源: 网络整理| 查看: 265

什么是 Microsoft Fabric 中的数据工厂? 项目 05/23/2023

数据工厂使你能够使用新式数据集成体验从一组丰富的数据源中引入、准备和转换数据, (例如数据库、数据仓库、Lakehouse、实时数据等) 。 无论你是公民还是专业开发人员,都可以通过智能转换来转换数据,并利用一组丰富的活动。 借助 Microsoft Fabric 中的数据工厂,我们将快速复制 (数据移动) 功能引入数据流和数据管道。 使用快速复制,可以在喜欢的数据存储之间快速移动数据。 最重要的是,快速复制使你能够将数据引入 Lakehouse,并在 Microsoft Fabric 中Data Warehouse进行分析。

重要

Microsoft Fabric 目前为预览版。 此信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 Microsoft 不对此处提供的信息作任何明示或默示的担保。 有关 Azure 中的服务,请参阅Azure 数据工厂文档。

数据工厂实现的主要高级功能有两个:数据流和管道。

数据流使你能够利用数据流设计器中的 300 多个转换,使你能够比任何其他工具(包括基于 AI 的智能数据转换)更轻松、更灵活地转换数据。 数据管道使你能够利用现成的丰富数据业务流程功能来组合满足企业需求的灵活数据工作流。 数据流

数据流提供了一个低代码接口,用于从数百个数据源引入数据,使用 300 多个数据转换来转换数据。 然后,可以将生成的数据加载到多个目标,例如Azure SQL数据库等。 数据流可以使用手动或计划的刷新重复运行,也可以作为数据管道业务流程的一部分运行。

数据流是使用熟悉的Power Query体验构建的,该体验目前可用于多个 Microsoft 产品和服务,例如 Excel、Power BI、Power Platform Dynamics 365 Insights 应用程序等。 Power Query使所有用户(从公民到专业人士)能够跨其数据资产执行数据引入和数据转换。 通过易于使用、高度可视化、低代码的 UI 执行联接、聚合、数据清理、自定义转换等。

数据管道

数据管道在云规模上实现强大的工作流功能。 借助数据管道,可以生成复杂的工作流,这些工作流可以刷新数据流、移动 PB 大小的数据以及定义复杂的控制流管道。

使用数据管道生成复杂的 ETL 和数据工厂工作流,这些工作流可以大规模执行许多不同的任务。 控制流功能内置于数据管道中,可用于生成提供循环和条件的工作流逻辑。

将配置驱动的复制活动与低代码数据流刷新一起添加到端到端 ETL 数据管道的单个管道中。 甚至可以为 Spark Notebook、SQL 脚本、存储的 procs 等添加代码优先活动。

后续步骤

若要开始使用 Microsoft Fabric,请转到 快速入门:创建第一个数据流 Gen2 以获取和转换数据。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3