from download import download
		  
url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \  "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)

数据集常见操作

• 数据集加载后，一般以迭代方式获取数据
• 访问的数据类型默认为Tensor；若设置output_numpy=True，访问的数w据类型为Numpy。
• shuffle
  • 数据集随机shuffle可以消除数据排列造成的分布不均问题。这是一个打乱顺序的操作
  • train_dataset = train_dataset.shuffle(buffer_size=64)

    visualize(train_dataset)

• map
  • map操作是数据预处理的关键操作，可以针对数据集指定列（column）添加数据变换（Transforms），将数据变换应用于该列数据的每个元素，并返回包含变换后元素的新数据集。
  • map算是一个对列数据整体操作的一个函数（算子）
  • 
• batch
  • 可以看作把数据聚集拆分成固定大小的块的操作
  • 

• 是实现了__getitem__和__len__方法的数据集。表示可以通过索引/键直接访问对应位置的数据样本。
• 例如，当使用dataset[idx]访问这样的数据集时，可以读取dataset内容中第idx个样本或标签。
• 

• 是实现了__iter__和__next__方法的数据集，表示可以通过迭代的方式逐步获取数据样本。这种类型的数据集特别适用于随机访问成本太高或者不可行的情况。
• 例如，当使用iter(dataset)的形式访问数据集时，可以读取从数据库、远程服务器返回的数据流。
• 

• 生成器也属于可迭代的数据集类型，其直接依赖Python的生成器类型generator返回数据，直至生成器抛出StopIteration异常。
• 
•