使用 Pandas 读取和写入数据

您所在的位置:网站首页 怎样在word中做目录 使用 Pandas 读取和写入数据

使用 Pandas 读取和写入数据

2023-05-29 03:44| 来源: 网络整理| 查看: 265

如何在 Microsoft Fabric 中使用 Pandas 读取和写入数据 项目 05/23/2023

Microsoft Fabric 笔记本支持使用 Pandas(用于数据浏览和处理的最常用 Python 库)与 Lakehouse 数据的无缝交互。 在笔记本中,用户可以以各种文件格式从其 Lakehouse 中快速读取数据并将数据写回。 本指南提供代码示例,帮助你开始使用自己的笔记本。

重要

Microsoft Fabric 目前为预览版。 此信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 Microsoft 不对此处提供的信息作任何明示或默示的担保。

先决条件

Power BI Premium订阅。 如果没有,请参阅如何购买Power BI Premium。

具有分配的高级容量的 Power BI 工作区。 如果没有工作区,请使用 创建工作区 中的步骤创建一个工作区并将其分配给高级容量。

登录到 Microsoft Fabric。

将 Lakehouse 数据加载到笔记本中

将 Lakehouse 附加到 Microsoft Fabric 笔记本后,无需离开页面即可浏览存储的数据,只需单击一下即可将其读入笔记本。 选择任何 Lakehouse 文件会显示“加载数据”到 Spark 或 Pandas 数据帧中的选项。 (还可以复制文件的完整 ABFS 路径或友好的相对路径。)

单击其中一个“加载数据”提示将生成一个代码单元格,用于将该文件加载到笔记本中的数据帧中。

将 Spark 数据帧转换为 Pandas 数据帧

以下命令演示如何将 Spark 数据帧转换为 Pandas 数据帧,以供参考。

# Replace "spark_df" with the name of your own Spark DataFrame pandas_df = spark_df.toPandas() 读取和写入各种文件格式

下面的代码示例记录了用于读取和写入各种文件格式的 Pandas 操作。

注意

必须替换以下示例中的文件路径。 Pandas 支持相对路径(如此处所示)和完整 ABFS 路径。 可以根据上一步从接口中检索和复制任一操作。

从 CSV 文件读取数据 import pandas as pd # Read a CSV file from your Lakehouse into a Pandas DataFrame # Replace LAKEHOUSE_PATH and FILENAME with your own values df = pd.read_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv") display(df) 将数据写入 CSV 文件 import pandas as pd # Write a Pandas DataFrame into a CSV file in your Lakehouse # Replace LAKEHOUSE_PATH and FILENAME with your own values df.to_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv") 从 Parquet 文件读取数据 import pandas as pd # Read a Parquet file from your Lakehouse into a Pandas DataFrame # Replace LAKEHOUSE_PATH and FILENAME with your own values df = pandas.read_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") display(df) 将数据写入 Parquet 文件 import pandas as pd # Write a Pandas DataFrame into a Parquet file in your Lakehouse # Replace LAKEHOUSE_PATH and FILENAME with your own values df.to_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 从 Excel 文件读取数据 import pandas as pd # Read an Excel file from your Lakehouse into a Pandas DataFrame # Replace LAKEHOUSE_PATH and FILENAME with your own values df = pandas.read_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") display(df) 将数据写入 Excel 文件 import pandas as pd # Write a Pandas DataFrame into an Excel file in your Lakehouse # Replace LAKEHOUSE_PATH and FILENAME with your own values df.to_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 从 JSON 文件读取数据 import pandas as pd # Read a JSON file from your Lakehouse into a Pandas DataFrame # Replace LAKEHOUSE_PATH and FILENAME with your own values df = pandas.read_json("/LAKEHOUSE_PATH/Files/FILENAME.json") display(df) 将数据写入 JSON 文件 import pandas as pd # Write a Pandas DataFrame into a JSON file in your Lakehouse # Replace LAKEHOUSE_PATH and FILENAME with your own values df.to_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 后续步骤 使用 Data Wrangler 清理和准备数据 开始 训练 ML 模型


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3