将多个 CSV 文件导入 Pandas 并连接成一个 Dataframe |
您所在的位置:网站首页 › 读取多个csv文件 › 将多个 CSV 文件导入 Pandas 并连接成一个 Dataframe |
文章目录
什么是 Pandas如何使用 Pandas 读取单个 .csv 文件在 Python 中读取多个 CSV 文件glob模块什么是原始字符串os 模块
在 Python 中连接多个 DataFrame
本篇文章介绍如何读取多个 .csv 文件并将所有 DataFrame 连接成一个。 本篇文章将使用 Pandas 读取数据文件并创建和组合 DataFrame。 什么是 Pandas这个包带有广泛的函数来读取各种数据文件以及执行数据操作技术。 要在您的机器上安装 pandas 包,您必须打开命令提示符/终端并运行 pip install pandas。 如何使用 Pandas 读取单个 .csv 文件pandas 包提供了读取 .csv 文件的功能。 >>> import pandas as pd >>> df = pd.read_csv(filepath_or_buffer)给定文件路径,pandas 函数 read_csv() 将读取数据文件并返回对象。 >>> type(df) 在 Python 中读取多个 CSV 文件没有明确的函数可以仅使用 pandas 模块来执行此任务。 但是,我们可以设计一种合理的方法来执行以下操作。 首先,我们需要知道所有数据文件的路径。 如果所有文件都位于一个特定文件夹中,这将很容易。 创建一个列表,其中将存储所有文件的路径和名称。 >>> import pandas as pd >>> import glob >>> import os >>> # This is a raw string containing the path of files >>> path = r'D:\csv files' >>> all_files = glob.glob(os.path.join(path, '*.csv')) >>> all_files ['D:\\csv files\\FILE_1.csv', 'D:\\csv files\\FILE_2.csv']在上面的代码中,创建了一个包含文件路径的列表。 glob模块使用 glob 模块查找与模式匹配的文件或路径名。 glob 遵循标准 Unix 路径扩展规则来匹配模式。 无需在外部安装此模块,因为它已包含在 Python 中。 然而,如果你没有这个包,输入 pip install glob2,你应该可以开始了。 要从目录/文件和子目录/子文件中递归检索路径,我们可以使用 glob 模块的函数 glob.glob() 和 glob.iglob()。 语法: glob.glob(pathname, *, recursive=False) glob.iglob(pathname, *, recursive=False)该函数将返回一个包含所有文件路径的列表。 例如,要从给定路径检索所有文件名,请在路径末尾使用星号 *,将其作为字符串传递给 glob.glob('') 函数。 >>> for files in glob.glob(r'D:\csv files\*'): print(files) D:\csv files\FILE_1.csv D:\csv files\FILE_2.csv D:\csv files\textFile1.txt D:\csv files\textFile2.txt此外,在星号后指定文件扩展名以执行更有针对性的搜索。 >>> for files in glob.glob(r'D:\csv files\*.csv'): print(files) D:\csv files\FILE_1.csv D:\csv files\FILE_2.csv 什么是原始字符串在 Python 中,原始字符串是通过将 r 或 R 添加到文字字符串而形成的。 反斜杠 () 是 Python 原始字符串中的文字字符。 当我们想要一个带有反斜杠的字符串但不希望它被视为转义字符时,这很有用。 例如: 为了表示制表符和换行符等特殊字符,我们使用反斜杠 () 来表示转义序列的开始。 >>> print("This\tis\nnormal\tstring") This is normal string但是,原始字符串将反斜杠 () 视为文字字符。 例如: >>> print(r"This\tis\nnormal\tstring") This\tis\nnormal\tstring os 模块Python 的 os 模块包含处理操作系统的方法。 os 包含在 Python 的基本实用程序模块中。 该模块提供了一种使用依赖于操作系统的功能的可移植方法。 Python 的 os.path 模块是 os 模块的子模块,用于操作通用路径名。 Python 的 os.path.join() 函数智能地连接一个或多个路径组件。 除最后一个路径组件外,此方法通过在每个非空部分之后恰好放置一个目录分隔符(“/”)来连接不同的路径组件。 在最终要链接的路径组件为空的末尾添加目录分隔符(“/”)。 如果路径组件表示绝对路径并且连接移动到表示绝对路径的组件,则删除所有先前连接的组件。 语法: os.path.join(path, *path)要合并不同的路径组件,请使用 os.path.join() 函数。 import os path = 'Users' os.path.join(path, 'Desktop', 'data.csv')输出: 'Users\\Desktop\\data.csv' 在 Python 中连接多个 DataFrame更进一步,使用从 glob.glob() 函数返回的路径来提取数据并创建数据帧。 随后,我们还将 Pandas 数据框对象附加到列表中。 代码: dataframes = list() for dfs in all_files: data = pd.read_csv(dfs) dataframes.append(data)创建 dataframes 列表。 >>> dataframes [dataframe1, dataframe2]连接 dataframes。 pd.concat(dataframes, ignore_index = True)pandas.concat() 方法与 Pandas 对象轴一起处理所有密集的串联操作,并将另一个轴上的索引的集合逻辑操作(并集或交集)作为可选的额外操作。 完整代码: ## importing the required modules import pandas as pd import os import glob ## Path of the files path = r'D:\csv files' ## joining the path and creating list of paths all_files = glob.glob(os.path.join(path, '*.csv')) dataframes = list() ## reading the data and appending the dataframe for dfs in all_files: data = pd.read_csv(dfs) dataframes.append(data) ## Concatenating the dataframes df = pd.concat(dataframes, ignore_index = True) |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |