深圳网站建设公司排行榜seo博客大全

1、CIFAR-10，是一个用于做图像分类研究的数据集。

• 由60000个图片组成
• 6万个图片中，5万张用于训练，1万张用于测试
• 每个图片是32x32像素
• 所有图片可以分成10类
• 每个图片都有一个标签，标记属于哪一个类
• 测试集中一个类对应1000张图
• 训练集中将5万张图分为5份
• 类之间的图片是互斥的，不存在类别重叠的情况

 

下图展示了具体的分类， 

 

2、 数据集加载：

CIFAR-10提供了三个版本的数据格式：python，matlab，二进制 。

这里以python的加载为例，参考http://cs231n.github.io/assignments2018/assignment1/

 

from __future__ import print_functionfrom six.moves import cPickle as pickle
import numpy as np
import os
from scipy.misc import imread
import platform#读取文件
def load_pickle(f):version = platform.python_version_tuple() # 取python版本号if version[0] == '2':return  pickle.load(f) # pickle.load, 反序列化为python的数据类型elif version[0] == '3':return  pickle.load(f, encoding='latin1')raise ValueError("invalid python version: {}".format(version))def load_CIFAR_batch(filename):""" load single batch of cifar """with open(filename, 'rb') as f:datadict = load_pickle(f)   # dict类型X = datadict['data']        # X, ndarray, 像素值Y = datadict['labels']      # Y, list, 标签, 分类# reshape, 一维数组转为矩阵10000行3列。每个entries是32x32# transpose，转置# astype，复制，同时指定类型X = X.reshape(10000, 3, 32, 32).transpose(0,2,3,1).astype("float")Y = np.array(Y)return X, Ydef load_CIFAR10(ROOT):""" load all of cifar """xs = [] # listys = []# 训练集batch 1～5for b in range(1,6):f = os.path.join(ROOT, 'data_batch_%d' % (b, ))X, Y = load_CIFAR_batch(f)xs.append(X) # 在list尾部添加对象X, x = [..., [X]]
    ys.append(Y)    Xtr = np.concatenate(xs) # [ndarray, ndarray] 合并为一个ndarrayYtr = np.concatenate(ys)del X, Y# 测试集Xte, Yte = load_CIFAR_batch(os.path.join(ROOT, 'test_batch'))return Xtr, Ytr, Xte, Yte

batch数据反序列化出来是

{

　　'data': 像素数据,

　   'labels':分类标签

}

 

其中涉及到的python基础：

 1、from __future__ import print_function， __future__是用于在老版本python中使用新版本特性

 2、from six.moves import cPickle as pickle， 是序列化和反序列化库，pickle.load，反序列化为python的数据类型

 3、list的append方法，在list尾部添加对象，不需要和之前的数据类型一致

 4、numpy的concatenate，合并array

 

Reference:

 http://www.cs.toronto.edu/~kriz/cifar.html

 http://cs231n.github.io/assignments2018/assignment1/