深度学习的数据集
使用这些数据集开始深度学习应用程序。
图像数据集
| 数据集 | 描述 | 任务 |
|---|---|---|
数字
|
数字数据集由10,000个手写数字的合成灰度图像组成。每张图像都是28 × 28像素，并有一个相关的标签，表示图像所代表的数字(0-9)。每个图像都被旋转了一定的角度。当以数组形式加载图像时，还可以加载图像的旋转角度。 属性将“数字”数据加载为内存中的数值数组 [XTrain,YTrain,anglesTrain] = digitTrain4DArrayData;[XTest,YTest,anglesTest] = digitTest4DArrayData; 有关显示如何处理此数据用于深度学习的示例，请参见监控深度学习训练进度而且训练卷积神经网络回归． |
图像分类和图像回归 |
方法将数字数据加载为图像数据存储 dataFolder = fullfile(toolboxdir(“nnet”)，“nndemos”，“nndatasets”，“DigitDataset”）;imds = imageDatastore(数据文件夹，.．.“IncludeSubfolders”,真的,“LabelSource”，“foldernames”）; 有关显示如何处理此数据进行深度学习的示例，请参见创建简单的深度学习网络分类． |
图像分类 | |
MNIST
(代表) |
MNIST数据集由70000个手写数字组成，分别分为60000张和10000张图像的训练和测试分区。每张图像都是28 × 28像素，并有一个相关的标签，表示图像所代表的数字(0-9)。 下载MNIST文件http://yann.lecun.com/exdb/mnist/并将数据集加载到工作区中。要将文件中的数据加载为MATLAB数组，请将文件放置在工作目录中，然后使用helper函数 Oldpath = addpath(fullfile(matlabroot，“例子”，“nnet”，“主要”));filenameImagesTrain =“train-images-idx3-ubyte.gz”；filenameLabelsTrain =“train-labels-idx1-ubyte.gz”；filenameImagesTest =“t10k-images-idx3-ubyte.gz”；filenameLabelsTest =“t10k-labels-idx1-ubyte.gz”；XTrain = processImagesMNIST(filenameImagesTrain);YTrain = processLabelsMNIST(filenameLabelsTrain);XTest = processImagesMNIST(filenameImagesTest);YTest = processLabelsMNIST(filenameLabelsTest); 有关显示如何处理此数据进行深度学习的示例，请参见训练变分自动编码器(VAE)生成图像． 若要恢复路径，请使用 路径(媒介); |
图像分类 |
Omniglot
|
Omniglot数据集包含50个字母的字符集，分为30个集用于训练，20个集用于测试[1]．每个字母表都包含一些字符，从Ojibwe(加拿大土著音节)的14个字符到Tifinagh的55个字符。最后，每个角色都有20个手写的观察。 下载并提取Omniglot数据集https://github.com/brendenlake/omniglot．集 downloadFolder = tempdir;url =“https://github.com/brendenlake/omniglot/raw/master/python”；urlTrain = url +“/ images_background.zip”；urlTest = url +“/ images_evaluation.zip”；fileametrain = fullfile(下载文件夹，“images_background.zip”）;filenameTest = fullfile(下载文件夹，“images_evaluation.zip”）;dataFolderTrain = fullfile(下载文件夹，“images_background”）;dataFolderTest = fullfile(下载文件夹，“images_evaluation”）;如果~存在(dataFolderTrain“dir”)流(“下载Omniglot训练数据集(4.5 MB)…”) websave (filenameTrain urlTrain);解压缩(filenameTrain downloadFolder);流(“完成。\ n”）结束如果~存在(dataFolderTest“dir”)流(“下载Omniglot测试数据(3.2 MB)…”) websave (filenameTest urlTest);解压缩(filenameTest downloadFolder);流(“完成。\ n”）结束 要将训练和测试数据加载为图像数据存储，请使用 imdsTrain = imageDatastore(dataFolderTrain，.．.“IncludeSubfolders”,真的,.．.“LabelSource”，“没有”）;files = imdsTrain.Files;Parts = split(files,filesep);标签= join(parts(:，(end-2):(end-1))，“_”）;imdsTrain。标签= categorical(labels); imdsTest = imageDatastore(dataFolderTest,.．.“IncludeSubfolders”,真的,.．.“LabelSource”，“没有”）;files = imdsTest.Files;Parts = split(files,filesep);标签= join(parts(:，(end-2):(end-1))，“_”）;imdsTest。标签= categorical(labels); 有关显示如何处理此数据进行深度学习的示例，请参见训练暹罗网络来比较图像． |
图像相似度 |
花
|
Flowers数据集包含3670张花的图像，属于五个类别(黛西，蒲公英，玫瑰，向日葵,郁金香）[２]． 从。下载并提取Flowers数据集http://download.tensorflow.org/example_images/flower_photos.tgz．数据集大小约为218 MB url =“http://download.tensorflow.org/example_images/flower_photos.tgz”；downloadFolder = tempdir;文件名= fullfile(下载文件夹，“flower_dataset.tgz”）;dataFolder = fullfile(下载文件夹，“flower_photos”）;如果~存在(dataFolder“dir”)流("正在下载Flowers数据集(218 MB)…") websave(文件名,url);解压(文件名,downloadFolder)流(“完成。\ n”）结束 方法将数据加载为映像数据存储 imds = imageDatastore(数据文件夹，.．.“IncludeSubfolders”,真的,.．.“LabelSource”，“foldernames”）; 有关显示如何处理此数据进行深度学习的示例，请参见训练生成对抗网络(GAN)． |
图像分类 |
食物图片
|
示例食物图像数据集包含978张食物照片，分为9类(caesar_salad，caprese_salad，french_fries，greek_salad，汉堡，hot_dog，披萨，生鱼片,寿司)． 方法下载示例食品图像数据集 流(“下载示例食品图像数据集(77 MB)…”) filename = matlab.internal.examples.download金宝appSupportFile(“nnet”，.．.“数据/ ExampleFoodImageDataset.zip”）;流(“完成。\ n”) filepath = fileparts(文件名);dataFolder = fullfile(文件路径，“ExampleFoodImageDataset”）;解压缩(文件名,dataFolder); 有关显示如何处理此数据进行深度学习的示例，请参见使用tsne查看网络行为． |
图像分类 |
CIFAR-10
(代表) |
CIFAR-10数据集包含6万张32 × 32像素的彩色图像，分为10类(飞机，汽车，鸟，猫，鹿，狗，青蛙，马，船,卡车）[7]．每个类有6000张图像。 数据集被分为一个包含50,000张图像的训练集和一个包含10,000张图像的测试集。该数据集是用于测试新的图像分类模型的最广泛使用的数据集之一。 下载并提取CIFAR-10数据集https://www.cs.toronto.edu/%7Ekriz/cifar-10-matlab.tar.gz．数据集大小约为175mb url =“https://www.cs.toronto.edu/ ~ kriz / cifar-10-matlab.tar.gz”；downloadFolder = tempdir;文件名= fullfile(下载文件夹，“cifar-10-matlab.tar.gz”）;dataFolder = fullfile(下载文件夹，“cifar-10-batches-mat”）;如果~存在(dataFolder“dir”)流("下载CIFAR-10数据集(175mb)…"）;websave(文件名、url);解压(文件名,downloadFolder);流(“完成。\ n”）结束 loadCIFARData，即本例中所使用的图像分类残差网络训练．Oldpath = addpath(fullfile(matlabroot，“例子”，“nnet”，“主要”));[XTrain,YTrain,XValidation,YValidation] = loadCIFARData(downloadFolder); 有关显示如何处理此数据进行深度学习的示例，请参见图像分类残差网络训练． 若要恢复路径，请使用 路径(媒介); |
图像分类 |
MathWorks®营销上
|
MathWorks商品数据集是一个包含75张MathWorks商品图像的小数据集，属于五个不同的类(帽，多维数据集，打牌，螺丝刀,火炬)．您可以使用此数据集快速地尝试迁移学习和图像分类。 图像的大小为227 * 227 * 3。 提取MathWorks Merch数据集。 文件名=“MerchData.zip”；dataFolder = fullfile(tempdir，“MerchData”）;如果~存在(dataFolder“dir”解压缩(文件名,tempdir);结束 方法将数据加载为映像数据存储 imds = imageDatastore(数据文件夹，.．.“IncludeSubfolders”,真的,“LabelSource”，“foldernames”）; 有关显示如何处理此数据用于深度学习的示例，请参见开始迁移学习而且训练深度学习网络对新图像进行分类． |
图像分类 |
CamVid
|
CamVid数据集是一个图像集合，包含从正在行驶的汽车中获得的街道视图［８］．该数据集对执行图像语义分割的训练网络有用，并为32个语义类提供像素级标签，包括车，行人,路． 图像的大小为720 * 960 * 3。 下载并提取CamVid数据集http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData/．数据集约为573 MB downloadFolder = tempdir;url =“http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData”urlImages = url +“/文件/ 701 _stillsraw_full.zip”；urlLabels = url +“/数据/ LabeledApproved_full.zip”；dataFolder = fullfile(下载文件夹，“CamVid”）;dataFolderImages = fullfile(数据文件夹，“图片”）;dataFolderLabels = fullfile(数据文件夹，“标签”）;filenameLabels = fullfile(数据文件夹，“labels.zip”）;fileameimages = fullfile(数据文件夹，“images.zip”）;如果~存在(filenameLabels“文件”) || ~exist(imagesZip，“文件”mkdir(dataFolder)“下载CamVid数据集图像(557 MB)…”）;websave (filenameImages urlImages);解压缩(filenameImages dataFolderImages);流(“完成。\ n”)流(“下载CamVid数据集标签(16mb)…”）;websave (filenameLabels urlLabels);解压缩(filenameLabels dataFolderLabels);流(“完成。\ n”）结束 方法将数据加载为像素标签数据存储 Oldpath = addpath(fullfile(matlabroot，“例子”，“deeplearning_shared”，“主要”));imds = imageDatastore(dataFolderImages，“IncludeSubfolders”,真正的);类= [“天空”“建筑”“极”“路”“路面”“树”.．.“SignSymbol”“篱笆”“汽车”“行人”“自行车”];labelIDs = camvidPixelLabelIDs;pxds = pixelLabelDatastore(dataFolderLabels,classes,labelIDs); 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的语义分割． 若要恢复路径，请使用 路径(媒介); |
语义分割 |
车辆
|
Vehicle数据集由295张图像组成，其中包含一个或两个已标记的车辆实例。这个小数据集对于探索YOLO-v2训练过程是有用的，但在实践中，需要更多的标记图像来训练一个健壮的检测器。 图像的大小为720 * 960 * 3。 提取车辆数据集。集 文件名=“vehicleDatasetImages.zip”；dataFolder = fullfile(tempdir，“vehicleImages”）;如果~存在(dataFolder“dir”解压缩(文件名,tempdir);结束 从提取的MAT文件中将数据集加载为文件名和边界框表，并将文件名转换为绝对文件路径。 数据=负载(“vehicleDatasetGroundTruth.mat”）;vehicleDataset = data.vehicleDataset;vehicleDataset。imageFilename = fullfile(tempdir,vehicleDataset.imageFilename);
方法创建包含图像的图像数据存储和包含边界框的框标签数据存储 filenamesImages = vehicleDataset.imageFilename;tblBoxes = vehicleDataset(:，“汽车”）;imds = imageDatastore(filenamesImages);blds = boxLabelDatastore(tblBoxes);CDS = combine(imds,blds);
有关显示如何处理此数据进行深度学习的示例，请参见使用YOLO v2深度学习的目标检测． |
对象检测 |
RIT-18
|
RIT-18数据集包含无人机在纽约州哈姆林海滩州立公园上空捕获的图像数据[9]．数据包含标记的训练集，验证集和测试集，有18个对象类标签，包括路标，树,建筑．数据集大约为3gb。 下载RIT-18数据集https://www.cis.rit.edu/%7Ermk6217/rit18_data.mat．集 downloadFolder = tempdir;url =“http://www.cis.rit.edu/ ~ rmk6217 / rit18_data.mat”；文件名= fullfile(下载文件夹，“rit18_data.mat”）;如果~存在(文件名,“文件”)流(“正在下载哈姆林海滩数据集(3gb)…”）;websave(文件名、url);流(“完成。\ n”）结束 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的多光谱图像语义分割． |
语义分割 |
有钱的孩子
|
BraTS数据集包含脑肿瘤的MRI扫描，即胶质瘤，这是最常见的原发性脑恶性肿瘤[10]． 该数据集包含750个4-D卷，每个卷代表一组3-D图像。每个4-D体的大小为240 × 240 × 155 × 4，其中前三个维度对应3-D体图像的高度、宽度和深度。第四个维度对应不同的扫描方式。数据集分为484个带有体素标签的训练卷和266个测试卷。数据集大约为7gb。 创建一个目录来存储BraTS数据集。 dataFolder = fullfile(tempdir，“小鬼”）;如果~存在(dataFolder“dir”mkdir (dataFolder);结束 从。下载BraTS数据医疗细分十项全能按“下载资料”连结。下载“task01_braintumor .tar”文件。 方法指定的目录中解压TAR文件 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的三维脑肿瘤分割． |
语义分割 |
Camelyon16
|
Camelyon16挑战的数据包含来自两个独立来源的400张淋巴结全幻灯片图像(WSIs)，分为270张训练图像和130张测试图像[11]．数据集大约为451 GB。 训练数据集包括159个正常淋巴结WSIs和111个肿瘤和健康组织淋巴结WSIs。通常，肿瘤组织是健康组织的一小部分。病灶边界的Ground truth坐标伴随肿瘤图像。 创建目录来存储Camelyon16数据集。 dataFolderTrain = fullfile(tempdir，“Camelyon16”，“培训”）;dataFolderNormalTrain = fullfile(dataFolderTrain，“正常”）;dataFolderTumorTrain = fullfile(dataFolderTrain，“肿瘤”）;dataFolderAnnotationsTrain = fullfile(dataFolderTrain，“lesion_annotations”）;如果~存在(dataFolderTrain“dir”mkdir (dataFolderTrain);mkdir (dataFolderNormalTrain);mkdir (dataFolderTumorTrain);mkdir (dataFolderAnnotationsTrain);结束 从。下载Camelyon16数据集Camelyon17点击第一个“CAMELYON16数据集”链接。打开“培训”目录，然后按照以下步骤操作:
有关显示如何处理此数据进行深度学习的示例，请参见训练分类网络的多分辨率图像预处理(图像处理工具箱)． |
图像分类(大图像) |
低剂量CT大挑战
|
低剂量CT大挑战包括对常规剂量CT图像和模拟低剂量CT图像，包括99个头部扫描(标记N为神经)，100个胸部扫描(标记C为胸部)和100个腹部扫描(标记L为肝脏)。[12][13]．完整的数据集约为1.2 TB。 创建一个目录来存储来自低剂量CT大挑战数据集的胸部文件。 dataDir = fullfile(tempdir，“LDCT”，“LDCT-and-Projection-data”）;如果~存在(dataDir“dir”mkdir (dataDir);结束 要下载数据，请转到癌症影像档案的网站。从“Images (DICOM, 952 GB)”数据集中下载箱子文件NBIA数据检索器．指定 有关显示如何处理此数据进行深度学习的示例，请参见基于CycleGAN的无监督医学图像去噪． |
Image-to-image回归 |
上下文中的公共对象(COCO)
(代表) |
COCO 2014列车图像数据集由82,783张图像组成。注释数据包含至少五个对应于每个图像的标题。 创建目录来存储COCO数据集。 dataFolder = fullfile(tempdir，“可可”）;如果~存在(dataFolder“dir”mkdir (dataFolder);结束 下载并提取COCO 2014列车图片和说明文字https://cocodataset.org/#download分别点击“2014年列车图片”和“2014年列车/Val注释”链接。将数据保存在指定的文件夹中 从文件中提取标题 文件名= fullfile(数据文件夹，“annotations_trainval2014”，“注释”，.．.“captions_train2014.json”）;STR = fileread(文件名);数据= jsondecode(str); 的 有关显示如何处理此数据进行深度学习的示例，请参见使用注意力的图像字幕． |
图像字幕 |
IAPR TC-12
(代表) |
IAPR TC-12基准由2万张静止自然图像组成［１４］．数据集包括人物、动物、城市等的照片。数据文件大小约为1.8 GB。 下载IAPR TC-12数据集。 dataDir = fullfile(tempdir，“iaprtc12”）;url =“http://www-i6.informatik.rwth-aachen.de/imageclef/resources/iaprtc12.tgz”；如果~存在(dataDir“dir”)流(“下载IAPR TC-12数据集(1.8 GB)…\n”）;试一试解压(url, dataDir);抓在某些Windows机器上，untar命令会抛出.tgz的错误%的文件。重命名为.tg，然后重试。文件名= fullfile(tempdir，“iaprtc12.tg”）;websave(文件名、url);解压(文件名,dataDir);结束流(“做。\ n \ n”）;结束 方法将数据加载为映像数据存储 imagadir = fullfile(dataDir，“图片”) exts = {“jpg”，bmp格式的，“使用”};imds = imageDatastore(imageDir，.．.“IncludeSubfolders”,真的,“FileExtensions”ext); 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习提高图像分辨率． |
Image-to-image回归 |
苏黎世RAW转RGB
|
苏黎世RAW到RGB数据集包含448,043个空间注册的RAW和RGB训练图像补丁，大小为448 × 448[15]．数据集包含两个独立的测试集。一个测试集包含1204对空间注册的RAW和RGB图像补丁，大小为448 × 448。另一个测试集由未注册的全分辨率RAW和RGB图像组成。数据集为22 GB。 创建一个目录来存储苏黎世RAW到RGB数据集。 imageDir = fullfile(tempdir，“ZurichRAWToRGB”）;如果~存在(imageDir“dir”mkdir (imageDir);结束 imageDir变量。如果提取成功，那么imageDir包含三个目录:full_resolution，测验,火车．< p >有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习开发相机处理管道． |
Image-to-image回归 |
早已应用(SID)
|
See-In-The-Dark (SID)数据集提供了相同场景的注册RAW图像对[16]．在每一对图像中，一张图像曝光时间短，曝光不足，另一张图像曝光时间长，曝光良好。来自SID数据集的Sony相机数据的大小为25 GB。 指定 dataDir = fullfile(tempdir，“席德”）;如果~存在(dataDir“dir”mkdir (dataDir);结束 要下载数据集，请转到此链接:https://storage.googleapis.com/isl-datasets/SID/Sony.zip．方法指定的目录中提取数据 数据集还提供了描述如何将文件划分为训练、验证和测试数据集的文本文件。将“Sony_train_list.txt”、“Sony_val_list.txt”和“Sony_test_list.txt”文件移动到指定的目录 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习点亮极暗的图像． |
Image-to-image回归 |
生活在野外
|
野外生活数据集包括1162张由移动设备拍摄的照片，以及7张额外的训练图像[17]．每张图片平均由175人评分，满分为[1100]。数据集提供了每个图像的主观得分的平均值和标准差。 指定 imageDir = fullfile(tempdir，“LIVEInTheWild”）;如果~存在(imageDir“dir”mkdir (imageDir);结束 按照中列出的说明下载数据集LIVE In Wild图像质量挑战数据库．方法指定的目录中提取数据 有关显示如何处理此数据进行深度学习的示例，请参见使用神经图像评估量化图像质量． |
图像分类 |
用于分类的混凝土裂缝图像
|
用于分类数据集的混凝土裂缝图像包含两类图像:道路上没有裂缝的“负”图像和有裂缝的“正”图像[18]．该数据集提供了每个类的20,000张图像。数据集的大小为235 MB。 指定 dataDir = fullfile(tempdir，“ConcreteCracks”）;如果~存在(dataDir“dir”mkdir (dataDir);结束 要下载数据集，请转到此链接:用于分类的混凝土裂缝图像．解压缩ZIP文件以获得RAR文件，然后将RAR文件的内容解压缩到 有关显示如何处理此数据进行深度学习的示例，请参见使用预训练的ResNet-18特征嵌入检测图像异常． |
图像分类 |
MIR WM-811K(晶圆缺陷图)
|
晶圆缺陷图数据集由811,457张晶圆缺陷图图像组成，其中包括172,950张标记图像[19][20]．每张图像只有三个像素值。0表示背景，1表示正常工作的模具，2表示有缺陷的模具。标记的图像具有基于缺陷空间模式的九个标签之一。数据集的大小为3.5 GB。 指定 dataDir = fullfile(tempdir，“MIR-WM811K”）;dataURL =“http://mirlab.org/dataSet/public/MIR-WM811K.zip”；dataMatFile = fullfile(dataDir，“WM811K.mat”）;如果存在(dataMatFile“文件”) ~= 2 unzip(daturl,dataDir);结束 数据以结构数组的形式存储在MAT文件中。将数据集加载到工作区中。 waferData = load(dataMatFile);waferData = waferData.data; 有关显示如何处理此数据进行深度学习的示例，请参见利用深度学习对晶圆缺陷图上的异常进行分类． |
图像分类 |
药丸质量控制(药丸QC)
|
药丸QC数据集包含三类图像:没有缺陷的“正常”图像，药丸中有芯片缺陷的“芯片”图像，以及有污垢污染的“污垢”图像。该数据集提供了149张正常图像，43张芯片图像和138张污垢图像。数据集的大小为3.57 MB。 指定 dataDir = fullfile(tempdir，“PillDefects”）;imagadir = fullfile(dataDir，“pillQC-main”）;如果~存在(imageDir“dir”)解压缩(“https://github.com/matlab-deep-learning/pillQC/archive/refs/heads/main.zip”, dataDir);结束 方法将数据加载为映像数据存储 imagadir = fullfile(dataDir，“pillQC-main”，“图片”）;imds = imageDatastore(imageDir, inclesubfolders =true,LabelSource=“foldernames”）; 有关显示如何处理此数据进行深度学习的示例，请参见利用可解释的一类分类神经网络检测图像异常． |
图像分类 |
时间序列和信号数据集
| 数据 | 描述 | 任务 |
|---|---|---|
日本的元音
|
日语元音数据集包含预处理序列，表示不同说话人的日语元音发音[21][22]．
方法将日语元音数据集加载为包含数字序列的内存单元格数组 [XTrain,YTrain] =日本evowelstraindata;[XTest,YTest] =日本evowelstestdata; 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习的序列分类． |
Sequence-to-label分类 |
水痘
|
水痘数据集包含一个单一的时间序列，时间步长对应于月份，值对应于病例数。输出是一个单元格数组，其中每个元素都是一个时间步长。 方法将水痘数据加载为单个数字序列 数据= chickenpox_dataset;数据= [Data {:}];
有关显示如何处理此数据进行深度学习的示例，请参见利用深度学习进行时间序列预测． |
时间序列预测 |
人类活动
|
人体活动数据集包含七个时间序列的传感器数据，这些数据来自佩戴在身上的智能手机。每个序列有三个特征，长度不同。这三个特征对应于加速度计在三个不同方向上的读数。 加载Human Activity数据集。 dataTrain = load(“HumanActivityTrain”）;dataTest = load(“HumanActivityTest”）;XTrain = dataTrain.XTrain;YTrain = dataTrain.YTrain;XTest = dataTest.XTest;YTest = dataTest.YTest; 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习的序列到序列分类． |
Sequence-to-sequence分类 |
涡扇发动机退化仿真
|
涡扇发动机退化仿真数据集的每个时间序列代表一个不同的发动机[23]．每台发动机的初始磨损程度和制造变化都是未知的。在每个时间序列开始时，引擎运行正常，但在该时间序列的某个时间点出现故障。在训练集中，故障的大小逐渐增大，直到系统失效。 数据包含一个zip压缩的文本文件，其中有26列数字，用空格分隔。每一行是在单个操作周期中所采集的数据的快照，每列是一个不同的变量。各列对应如下:
创建一个目录来存储涡扇发动机退化仿真数据集。 dataFolder = fullfile(tempdir，“涡扇”）;如果~存在(dataFolder“dir”mkdir (dataFolder);结束 下载并提取涡扇发动机退化仿真数据集https://ti.arc.nasa.gov/tech/dash/groups/pcoe/prognostic-data-repository/． 从文件中解压缩数据 文件名=“CMAPSSData.zip”；解压缩(文件名,dataFolder)
使用helper函数加载训练和测试数据 Oldpath = addpath(fullfile(matlabroot，“例子”，“nnet”，“主要”));fileamepredictors = fullfile(数据文件夹，“train_FD001.txt”）;[XTrain,YTrain] = processTurboFanDataTrain(filenamePredictors);fileamepredictors = fullfile(数据文件夹，“test_FD001.txt”）;fileameresponses = fullfile(数据文件夹，“RUL_FD001.txt”）;[XTest,YTest] = processTurboFanDataTest(filenamePredictors, filenamerresponses); 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习的序列到序列回归． 若要恢复路径，请使用 路径(媒介); |
序列间回归，预测性维护 |
PhysioNet 2017挑战赛
|
PhysioNet 2017挑战赛数据集由一组300hz采样的心电图(ECG)记录组成，并由一组专家分为不同的类别[25]． 下载并提取PhysioNet 2017挑战赛数据集 数据集大约是95 MB。 Oldpath = addpath(fullfile(matlabroot，“例子”，“deeplearning_shared”，“主要”));ReadPhysionetData data = load(“PhysionetData.mat”)信号=数据。信号;labels = data.Labels; 有关显示如何处理此数据进行深度学习的示例，请参见利用长短期记忆网络对心电信号进行分类． 若要恢复路径，请使用 路径(媒介); |
Sequence-to-label分类 |
田纳西伊士曼过程(TEP)模拟
|
该数据集由田纳西伊士曼过程(TEP)模拟数据转换而来的MAT文件组成[24]． 从MathWorks支持文件站点下载Tennessee Eastman Process (TEP)模拟数据集(参见金宝app免责声明)．数据集有四个组成部分:无故障训练、无故障测试、故障训练和故障测试。分别下载每个文件。 数据集为1.7 GB。 流(“正在下载TEP故障训练数据(613 MB)…”) fileamefaultytrain = matlab.internal.examples.downloadS金宝appupportFile(“predmaint”，.．.“chemical-process-fault-detection-data / faultytraining.mat”）;流(“完成。\ n”)流(“正在下载TEP故障测试数据(1gb)…”filenameFaultyTest = matlab.internal.examples.downloadSu金宝apppportFile(“predmaint”，.．.“chemical-process-fault-detection-data / faultytesting.mat”）;流(“完成。\ n”)流(“下载TEP无故障训练数据(36 MB)…”) fileamefaultfreetrain = matlab.internal.examples.downloadS金宝appupportFile(“predmaint”，.．.“chemical-process-fault-detection-data / faultfreetraining.mat”）;流(“完成。\ n”)流(“下载TEP无故障测试数据(69 MB)…”filenameFaultFreeTest = matlab.internal.examples.downloadSu金宝apppportFile(“predmaint”，.．.“chemical-process-fault-detection-data / faultfreetesting.mat”）;流(“完成。\ n”） 将下载的文件加载到MATLAB®工作区。 负载(filenameFaultyTrain);负载(filenameFaultyTest);负载(filenameFaultFreeTrain);负载(filenameFaultFreeTest); 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的化工过程故障检测． |
Sequence-to-label分类 |
PhysioNet心电图分割
|
PhysioNet ECG Segmentation数据集由来自105名患者的大约15分钟的ECG记录组成[25][26]．为了获得每个记录，检查人员将两个电极放在患者胸部的不同位置，从而产生双通道信号。该数据库提供由自动化专家系统生成的信号区域标签。 下载PhysioNet心电分割数据集从https://github.com/mathworks/physionet_ECG_segmentation下载ZIP文件 downloadFolder = tempdir;url =“https://github.com/mathworks/physionet_ECG_segmentation/raw/master/QT_Database-master.zip”；文件名= fullfile(下载文件夹，“QT_Database-master.zip”）;dataFolder = fullfile(下载文件夹，“QT_Database-master”）;如果~存在(dataFolder“dir”)流(下载Physionet心电分割数据集(72 MB)…) websave(文件名,url);解压缩(文件名,downloadFolder);流(“完成。\ n”）结束 解压缩将创建文件夹
负载(fullfile (dataFolder“QTData.mat”）)
有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习的波形分割． |
序列到标签分类，波形分割 |
合成行人、汽车和自行车后散射
|
使用辅助函数生成一个合成的行人、汽车和自行车的后向散射数据集 辅助函数 辅助函数 Oldpath = addpath(fullfile(matlabroot，“例子”，“分阶段”，“主要”));numPed = 1;%行人实现的数量numBic = 1;%自行车运动员实现的数量numCar = 1;%汽车实现的数量[xPedRec,xBicRec,xCarRec,Tsamp] = helpbackscattersignals (numPed,numBic,numCar);[加速，T,F] = helperDopplerSignatures(xPedRec,Tsamp);[SBic，~，~] = helperDopplerSignatures(xBicRec,Tsamp);[SCar，~，~] = helperDopplerSignatures(xCarRec,Tsamp); 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的行人和自行车分类(雷达工具箱)． 若要恢复路径，请使用 路径(媒介); |
Sequence-to-label分类 |
生成的波形
|
使用辅助函数生成矩形，线性调频和相位编码波形 辅助函数 Oldpath = addpath(fullfile(matlabroot，“例子”，“分阶段”，“主要”));[wav, modType] = helpergenerateradarwaves forms; 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的雷达和通信波形分类(雷达工具箱)． 若要恢复路径，请使用 路径(媒介); |
Sequence-to-label分类 |
视频数据集
| 数据 | 描述 | 任务 |
|---|---|---|
HMDB:大型人体运动数据库
(代表) |
HMBD51数据集包含大约2 GB的视频数据，用于51个类的7000个剪辑，例如喝，运行,俯卧撑． 下载并提取HMBD51数据集HMDB:大型人体运动数据库．数据集大约为2 GB。 提取RAR文件后，使用helper函数获取视频的文件名和标签 Oldpath = addpath(fullfile(matlabroot，“例子”，“nnet”，“主要”));dataFolder = fullfile(tempdir，“hmdb51_org”）;[files,labels] = hmdb51Files(dataFolder); 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习分类视频． 若要恢复路径，请使用 路径(媒介); |
视频分类 |
文本数据集
| 数据 | 描述 | 任务 |
|---|---|---|
工厂的报告
|
Factory Reports数据集是一个包含大约500个具有各种属性的报告的表，变量中包括一个纯文本描述 从文件中读取Factory Reports数据 文件名=“factoryReports.csv”；数据= readtable(文件名，“TextType”，“字符串”）;textData = data.Description;labels = data.Category; 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习分类文本数据． |
文本分类，主题建模 |
莎士比亚的十四行诗
|
该文件 阅读文件中的莎士比亚十四行诗数据 文件名=“sonnets.txt”；textData = fileread(文件名);
十四行诗由两个空格字符缩进，并由两个换行字符分隔。删除缩进使用 textData = replace(textData，”“，＂＂）;textData = split(textData，[newline newline]);textData = textData(5:2:end); 有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习生成文本． |
主题建模，文本生成 |
ArXiv的元数据
|
ArXiv API允许您访问提交的科学电子印刷品的元数据https://arxiv.org包括摘要和主题领域。有关更多信息，请参见https://arxiv.org/help/api． 使用arXiV API从数学论文中导入一组摘要和类别标签。 url =“https://export.arxiv.org/oai2?verb=ListRecords”+.．.“集=数学”+.．.“&metadataPrefix = arXiv”；选项= weboptions(“超时”, 160);代码= webread(url,options); 有关显示如何解析返回的XML代码和导入更多记录的示例，请参见基于深度学习的多标签文本分类． |
文本分类，主题建模 |
古登堡计划的书
|
你可以从古登堡计划下载很多书。例如，从刘易斯·卡罗尔的《爱丽丝梦游仙境》中下载文本https://www.gutenberg.org/files/11/11-h/11-h.htm使用 url =“https://www.gutenberg.org/files/11/11-h/11-h.htm”；代码= webread(url);
HTML代码中包含相关文本 tree = htmlTree(code);选择器=“p”；subtrees = findElement(树，选择器);
方法从HTML子树中提取文本数据 textData = extractHTMLText(subtrees);textData (textData = =＂＂) = [];
有关显示如何处理此数据进行深度学习的示例，请参见使用深度学习逐字生成文本． |
主题建模，文本生成 |
周末更新
|
该文件 从文件中提取文本数据 文件名=“weekendUpdates.xlsx”；TBL =可读(文件名，“TextType”，“字符串”）;textData = tbl.TextData; 有关显示如何处理此数据的示例，请参见分析文本中的情感(文本分析工具箱)． |
情绪分析 |
罗马数字
|
CSV文件 从CSV文件中加载小数-罗马数字对 文件名= fullfile(“romanNumerals.csv”）;options = detectImportOptions(文件名，.．.“TextType”，“字符串”，.．.“ReadVariableNames”、假);选项。VariableNames = [“源”“目标”];选项。VariableTypes = [“字符串”“字符串”];数据=可读(文件名，选项); 有关显示如何处理此数据进行深度学习的示例，请参见使用注意力的序列到序列转换． |
Sequence-to-sequence翻译 |
财务报告
|
证券交易委员会(SEC)允许您通过电子数据收集、分析和检索(EDGAR) API访问财务报告。有关更多信息，请参见https://www.sec.gov/os/accessing-edgar-data． 要下载此数据，请使用该函数 年= 2019年;QTR = 4;maxLength = 2e6;textData = financeReports(year,qtr,maxLength); 有关显示如何处理此数据的示例，请参见生成领域特定的情感词汇(文本分析工具箱)． |
情绪分析 |
音频数据集
| 数据 | 描述 | 任务 |
|---|---|---|
语音命令
|
语音命令数据集由大约65,000个音频文件组成，标记为12类中的1类，包括是的，没有，在,从，以及与未知命令和背景噪声对应的类[27]． 下载并提取语音命令数据集https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz．数据集约为1.4 GB。 集 dataFolder = tempdir;ads = audioDatastore(数据文件夹，.．.“IncludeSubfolders”,真的,.．.“FileExtensions”，“wav”，.．.“LabelSource”，“foldernames”）; 有关显示如何处理此数据进行深度学习的示例，请参见基于深度学习的语音指令识别． |
音频分类，语音识别 |
Mozilla Common Voice
|
Mozilla Common Voice数据集由语音录音和相应的文本文件组成。该数据还包括年龄和口音等人口统计元数据。 下载并提取Mozilla Common Voice数据集数据集https://voice.mozilla.org/．数据集是一个开放的数据集，这意味着它可以随着时间的推移而增长。截至2019年10月，数据集约为28 GB。集 dataFolder = tempdir;ads = audioDatastore(fullfile(数据文件夹，“剪辑”));
|
音频分类，语音识别。 |
免费语音数字数据集
|
截至2019年1月29日，自由口语数字数据集由4位演讲者的2000份英语数字0到9的录音组成。在这个版本中，有两个人的母语是美式英语，另两个人的母语是非英语，分别带有比利时、法国和德国口音。采样频率为8000hz。 下载自由语音数字数据集(FSDD)录音https://github.com/Jakobovski/free-spoken-digit-dataset． 集 dataFolder = fullfile(tempdir，“free-spoken-digit-dataset”，“录音”）;ads = audioDatastore(dataFolder); 有关显示如何处理此数据进行深度学习的示例，请参见基于小波散射和深度学习的语音数字识别． |
音频分类，语音识别。 |
柏林情感语言数据库
|
柏林情感语言数据库包含了10位演员的535个表达，旨在表达以下情绪之一:愤怒、无聊、厌恶、焦虑/恐惧、快乐、悲伤或中性[28]．情感与文本无关。 文件名是表示说话人ID、文本语音、情绪和版本的代码。该网站包含一个破译密码的密钥，以及说话人的其他信息，如年龄。 下载柏林情感语言数据库http://emodb.bilderbar.info/index-1280.html．数据集大约为40 MB。 集 dataFolder = tempdir;ads = audioDatastore(fullfile(数据文件夹，“wav”));
有关显示如何处理此数据进行深度学习的示例，请参见语音情感识别． |
音频分类，语音识别。 |
TUT声学场景2017
|
TUT声学场景2017数据集由来自15个声学场景的10秒音频片段组成，包括公共汽车，车,图书馆． 下载并提取TUT声学场景2017数据集图坦卡蒙声学场景2017，开发数据集而且TUT声学场景2017，评估数据集[29]． 有关显示如何处理此数据进行深度学习的示例，请参见基于后期融合的声场景识别． |
声场景分类 |
点云数据集
| 数据 | 描述 | 任务 |
|---|---|---|
WPI激光雷达数据 |
WPI激光雷达数据是使用Ouster OS1传感器收集的。它包含有组织的高速公路场景的激光雷达点云扫描和相应的汽车和卡车物体的地面真相标签。 该数据集有1617个点云存储为 执行此代码下载数据集。 url =“//www.tatmou.com/金宝appsupportfiles/lidar/data/WPI_LidarData.tar.gz”；outputFolder = fullfile(tempdir，批发价格指数的）;lidarDataTarFile = fullfile(输出文件夹，“WPI_LidarData.tar.gz”）;如果~存在(lidarDataTarFile“文件”mkdir (outputFolder);disp (“下载WPI激光雷达驾驶数据(760 MB)……”）;websave (lidarDataTarFile、url);解压(lidarDataTarFile outputFolder);结束lidarData = load(fullfile(outputFolder)“WPI_LidarData.mat”)); WPI_LidarData文件夹中。如果这样做，请更改outputFolder变量中指定下载文件的位置。< p >有关显示如何处理此数据进行深度学习的示例，请参见基于PointSeg深度学习网络的激光雷达点云语义分割． |
语义分割 |
PandaSet数据 |
PandaSet包含2560个使用Pandar 64传感器捕获的各种城市场景的有组织的激光雷达点云扫描。该数据集提供了12个不同类别的语义分割标签和汽车、卡车和行人三个类别的三维包围框信息。数据集的大小为5.2 GB。 执行此代码下载数据集。 url =“https://ssd.mathworks.com/金宝appsupportfiles/lidar/data/Pandaset_LidarData.tar.gz”；outputFolder = fullfile(tempdir，“Pandaset”）;lidarDataTarFile = fullfile(输出文件夹，“Pandaset_LidarData.tar.gz”）;如果~存在(lidarDataTarFile“文件”mkdir (outputFolder);disp (“正在下载熊猫激光雷达驾驶数据(5.2 GB)……”）;websave (lidarDataTarFile、url);解压(lidarDataTarFile outputFolder);结束lidarData = fullfile(输出文件夹，激光雷达的）;labelsFolder = fullfile(输出文件夹，“semanticLabels”）; 根据您的互联网连接，下载过程可能需要一些时间。或者，您可以使用URL从web浏览器将数据集下载到本地磁盘，然后提取 有关显示如何处理此数据用于深度学习的示例，请参见基于SqueezeSegV2深度学习网络的激光雷达点云语义分割而且利用PointPillars深度学习的激光雷达三维目标检测． |
目标检测，语义分割 |
参考文献
[1] Lake, Brenden M.， Ruslan Salakhutdinov, Joshua B. Tenenbaum。“通过概率程序归纳的人类水平概念学习”科学350年,没有。6266(2015年12月11日):1332-38。https://doi.org/10.1126/science.aab3050。
TensorFlow团队。“花”https://www.tensorflow.org/datasets/catalog/tf_flowers．
[3] Kat,郁金香、图像、https://www.flickr.com/photos/swimparallel/3455026124．创作共用许可证(CC BY)。
罗伯·伯索夫，向日葵、图像、https://www.flickr.com/photos/robbertholf/20777358950．创作共用2.0通用许可。
[5]帕文,玫瑰、图像、https://www.flickr.com/photos/55948751@N00．创作共用2.0通用许可。
约翰·哈斯拉姆，蒲公英、图像、https://www.flickr.com/photos/foxypar4/645330051．创作共用2.0通用许可。
[7]克里哲夫斯基，亚历克斯。“从微小图像中学习多层特征。”硕士论文，多伦多大学，2009年。https://www.cs.toronto.edu/%7Ekriz/learning-features-2009-TR.pdf．
[8] Brostow, Gabriel J.， Julien Fauqueur和Roberto Cipolla。视频中的语义对象类:一个高清地面真相数据库。模式识别信30日,没有。2(2009年1月):88-97。https://doi.org/10.1016/j.patrec.2008.04.005．
Kemker, Ronald, Carl Salvaggio和Christopher Kanan。用于语义分割的高分辨率多光谱数据集ArXiv: 1703.01918 (Cs)2017年3月6日。https://arxiv.org/abs/1703.01918．
Isensee, Fabian, Philipp Kickingereder, Wolfgang Wick, Martin Bendszus和Klaus H. Maier-Hein。“脑肿瘤分割和放射组学生存预测:对BRATS 2017挑战的贡献。”在脑损伤:胶质瘤，多发性硬化症，中风和创伤性脑损伤，由Alessandro Crimi, Spyridon Bakas, Hugo Kuijf, Bjoern Menze和Mauricio Reyes编辑，10670:287-97。瑞士湛:施普林格国际出版社，2018年。https://doi.org/10.1007/978-3-319-75238-9_25．
[11] Ehteshami Bejnordi, Babak, Mitko Veta, Paul Johannes van Diest, Bram van Ginneken, Nico Karssemeijer, Geert Litjens, Jeroen A. W. M. van der Laak等，“深度学习算法用于检测乳腺癌女性淋巴结转移的诊断评估。”《美国医学会杂志》318年,没有。22(2017年12月12日):2199。https://doi.org/10.1001/jama.2017.14585．
[12] McCollough, C.H.， Chen, B.， Holmes, D.， III .，段晓霞，Yu, Z.， Yu, L.，冷，S.， Fletcher, J.(2020)。数据来自低剂量CT图像和投影数据[数据集]。癌症成像档案。https://doi.org/10.7937/9npb - 2637。
[13]资助国家生物医学成像和生物工程研究所EB017095和EB017185 (Cynthia McCollough, PI)。
[14] Grubinger, Michael, Paul Clough, Henning Müller和Thomas Deselaers。IAPR TC-12基准:视觉信息系统的新评估资源基于内容的图像检索语言资源文集．意大利热那亚。第五卷，2006年5月，第10页
Ignatov, Andrey, Luc Van Gool和Radu Timofte。“用单一深度学习模型取代移动相机ISP。”ArXiv:2002.05509 [Cs, Eess]2020年2月13日。https://arxiv.org/abs/2002.05509。项目网站．
[16]陈，陈，陈其峰，徐佳，弗拉德伦·科尔顿。“学会在黑暗中看东西。”ArXiv: 1805.01934 (Cs)2018年5月4日。https://arxiv.org/abs/1805.01934．
[17] LIVE:图像与视频工程实验室。https://live.ece.utexas.edu/research/ChallengeDB/index.html．
[18]利兹涅斯基、菲利普、卢卡斯·拉夫、罗伯特·a·范德穆伦、比利·乔·弗兰克斯、马吕斯·克洛夫特和克劳斯·罗伯特Müller。“可解释的深层单类分类。”ArXiv:2007.01760 [Cs, Stat]2021年3月18日。https://arxiv.org/abs/2007.01760．
[19]吴明珠，张洁成R.，陈瑞龙。大规模数据集的晶圆图失效模式识别与相似度排序。《IEEE半导体制造汇刊》第28期。1(2015年2月):1 - 12。https://doi.org/10.1109/TSM.2014.2364237．
张，罗杰。“MIR语料库”http://mirlab.org/dataset/public/。
[21]工藤，美一，富山俊，新保真。“使用穿过区域的多维曲线分类”模式识别信20日,没有。11-13(1999年11月):1103-11。https://doi.org/10.1016/s0167 - 8655 (99) 00077 - x．
[22]工藤，美一，富山俊，新保真。日语元音数据集．由UCI机器学习库分发。https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels
Saxena, Abhinav, Kai Goebel。涡扇发动机退化仿真数据集NASA艾姆斯预测数据仓库https://ti.arc.nasa.gov/tech/dash/groups/pcoe/prognostic-data-repository/美国宇航局艾姆斯研究中心，莫菲特场，加利福尼亚州。
Rieth, Cory A.， Ben D. Amsel, Randy Tran和Maia B. Cook。附加田纳西伊士曼过程模拟数据异常检测评估。哈佛Dataverse， 2017年第一版。https://doi.org/10.7910/DVN/6C3JR1．
Goldberger, Ary L.， Luis A. N. Amaral, Leon Glass, Jeffrey M. Hausdorff, Plamen Ch. Ivanov, Roger G. Mark, Joseph E. Mietus, George B. Moody，彭仲康和H. Eugene Stanley。“PhysioBank, PhysioToolkit，和PhysioNet:复杂生理信号新研究资源的组成部分。”循环101, No. 23, 2000，第e215-e220页。https://circ.ahajournals.org/content/101/23/e215.full．
[26]拉古纳、巴勃罗、罗杰·g·马克、阿里·l·戈德伯格和乔治·b·穆迪。心电图QT和其他波形间隔测量算法评估数据库心脏病学计算机24, 1997，第673-676页。
监狱长，皮特。“语音命令:用于单词语音识别的公共数据集”，2017年。可以从http://download.tensorflow.org/data/speech_commands_v0.01.tar.gz．版权所有谷歌2017。语音命令数据集是在创作共用属性4.0许可下授权的，可在这里获得:https://creativecommons.org/licenses/by/4.0/legalcode．
[28] Burkhardt, Felix, Astrid Paeschke, Melissa A. Rolfes, Walter F. Sendlmeier和Benjamin Weiss。"德语情感语言数据库"2005年国际语言会议论文集．里斯本，葡萄牙:国际语音交流协会，2005年。
Mesaros, Annamaria, Toni Heittola和Tuomas Virtanen。声场景分类:DCASE 2017挑战赛参赛作品概述在2018第16届国际声信号增强研讨会(IWAENC)第411-415页。IEEE 2018。
Hesai和Scale。PandaSet。https://scale.com/open-datasets/pandaset
另请参阅
相关的话题
您也可以从以下列表中选择一个网站: