新知榜官方账号
2023-10-30 10:06:16
在训练机器学习模型时,需要先找数据集、下载、装数据集……太麻烦了,比如MNIST这种全世界都在用的数据集,能不能来个一键装载啥的?Google也这么想。今天,TensorFlow推出了一个新的功能,叫做TensorFlowDatasets,可以以tf.data和NumPy的格式将公共数据集装载到TensorFlow里。目前已经有29个数据集可以通过TensorFlowDatasets装载,其中包括音频、图像、文本、视频等多种类型。具体装载方法可以参考以下代码:
import tensorflow_datasets as tfds
# Fetch the dataset directly
mnist = tfds.image.MNIST()
# or by string name
mnist = tfds.builder('mnist')
# Describe the dataset with DatasetInfo
assert mnist.info.features['image'].shape == (28, 28, 1)
assert mnist.info.features['label'].num_classes == 10
assert mnist.info.splits['train'].num_examples == 60000
# Download the data, prepare it, and write it to disk
mnist.download_and_prepare()
# Load data from disk as tf.data.Datasets
datasets = mnist.as_dataset()
train_dataset, test_dataset = datasets['train'], datasets['test']
assert isinstance(train_dataset, tf.data.Dataset)
# And convert the Dataset to NumPy arrays if you'd like
for example in tfds.as_numpy(train_dataset):
image, label = example['image'], example['label']
assert isinstance(image, np.array)
TensorFlow官方明确表示,TensorFlow和TensorFlowDatasets在文本支持方面将会进一步改进。
相关工具
相关文章
相关快讯
推荐
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16
AI绘画是否等于抄袭?AI学画画≠复制粘贴!
2025-02-12 17:02
AI视频爆发年:未解难题与国产AI工具的全链路破局之道
2025-02-12 15:52