TFDS provides a collection of ready-to-use datasets for use with TensorFlow, Jax, and other Machine Learning frameworks.

It handles downloading and preparing the data deterministically and constructing a tf.data.Dataset (or np.array).

TFDS 存在于两个软件包中：

此 colab 使用 tfds-nightly：

所有数据集构建器都是 tfds.core.DatasetBuilder 的子类。要获取可用构建器的列表，请使用 tfds.list_builders() 或查看我们的目录。

加载数据集最简单的方法是 tfds.load。它将执行以下操作：

一些常见的参数：

tfds.load 是 tfds.core.DatasetBuilder 的瘦封装容器。您可以使用 tfds.core.DatasetBuilder API 获得相同的输出：

如果您希望生成一个特定的数据集，可以使用 tfds 命令行。例如：

请参阅文档查看可用标志。

默认情况下，tf.data.Dataset 对象包含 tf.Tensor 的 dict：

要找出 dict 键名和结构，请查看我们目录中的数据集文档。例如：mnist 文档。

使用 as_supervised=True，您可以获取 (features, label) 元组作为替代的监督数据集。

使用 tfds.as_numpy 进行以下转换：

使用 batch_size=-1，您可以在单个批次中加载完整的数据集。

这可与 as_supervised=True 和 tfds.as_numpy 结合使用以获取 (np.array, np.array) 形式的数据：

请注意，您的数据集可以放入内存，并且所有样本都具有相同的形状。

对数据集进行基准分析是对任何可迭代对象（例如 tf.data.Dataset、tfds.as_numpy…）的简单 tfds.benchmark 调用。

要想深入一点，您可以查看：

使用 tfds.as_dataframe，可以将 tf.data.Dataset 对象转换为 pandas.DataFrame 以在 Colab 上呈现。

tfds.show_examples 返回 matplotlib.figure.Figure（现在只支持图像数据集）：

所有构建器都包括一个包含数据集元数据的 tfds.core.DatasetInfo 对象。

可以通过以下方式访问：

数据集信息包含有关数据集的附加信息（版本、引用、首页、描述…）。

访问 tfds.features.FeatureDict：

类、标签名的数量：

形状、数据类型：

访问 tfds.core.SplitDict：

可用拆分：

获取有关个别拆分的信息：

它也适用于 subsplit API：

如果由于某种原因下载失败（例如离线…），那么您始终可以自己手动下载数据并将其放置在 manual_dir 中（默认为 ~/tensorflow_datasets/download/manual/）。

要找到下载网址，请查看：

对于新数据集（作为文件夹实现）：tensorflow_datasets///checksums.tsv。例如：tensorflow_datasets/text/bool_q/checksums.tsv。

您可以在我们的目录中找到数据集的源位置。

对于旧数据集：tensorflow_datasets/url_checksums/.txt

TFDS 通过验证下载网址的校验和来确保确定性。如果引发 NonMatchingChecksumError，则可能表示：

注：您也可以检查 ~/tensorflow_datasets/download/ 中的下载文件。

如果您在论文中使用 tensorflow-datasets，除了特定于所用数据集（可以在数据集目录中找到）的任何引用之外，请包含以下引用。