工控智汇

工控智汇

这是一份非常全面的开源数据集,你,真的不想要吗?

admin 133 166

选自Medium,作者:BharathRaj,机器之心编译,参与:高璇、王淑婷。

最近新增数据集

开源生物识别数据:

地址:

Uber2Btripdata:首次展示2百万公里的出行数据。

地址:

地址:

Core50:用于连续目标识别的新数据集和基准。

地址:

Kaggle数据集:

DataPortal:

OpenDataMonitor:

QuandlDataPortal:

Mut1ny头部/面部分割数据集:

Github上的优秀公共数据集:

头部CT扫描数据集:491次扫描的CQ500数据集。

地址:


自然图像数据集

MNIST:手写数字图像。最常用的可用性检查。格式25x25、居中、黑白手写数字。这是一项简单的任务——仅某部分适用于MNIST,不意味着它有效。

地址:

CIFAR10/CIFAR100:32x32彩色图像,10/100类。虽然仍有趣却不再常用的可用性检查。

地址:

Caltech101:101类物体的图片。

地址:

Caltech256:256类物体的图片。

地址:

STL-10数据集:用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的CIFAR-10。

地址:

TheStreetViewHouseNumbers(SVHN):Google街景中的门牌号码。可以把它想象成复现的户外MNIST。

地址:

NORB:玩具摆件在各种照明和姿势下的双目图像。

地址:

PascalVOC:通用图像分割/分类——对于构建真实世界图像注释不是非常有用,但对基线很有用。

地址:

Labelme:带注释图像的大型数据集。

地址:

ImageNet:新算法的客观图像数据集(de-factoimagedataset)。许多图像API公司都有来自其REST接口的标签,这些标签近1000类;WordNet;ImageNet的层次结构。

地址:

LSUN:具有很多辅助任务的场景理解(房间布局估计,显著性预测(saliencyprediction)等),有关联竞赛。(associatedcompetition)。

地址:

MSCOCO:通用图像理解/说明,有关联竞赛。

地址:

COIL20:不同物体在360度旋转中以每个角度成像。

地址:

COIL100:不同物体在360度旋转中以每个角度成像。

地址:

Google开源图像:有900万张图像的网址集合,这些图像通过知识共享(CreativeCommons)被标注成6000多个类别。

地址:

地理空间数据

OpenStreetMap:免费提供整个星球的矢量数据。它包含(旧版)美国人口普查局的数据。

地址:

Landsat8:整个地球表面的卫星视角图,每隔几周更新一次。

地址:

NEXRAD:美国大气层的多普勒雷达扫描图。

地址:

————————我是深度学习图像的分割线————————

人工数据集

ArcadeUniverse:一个人工数据集生成器,图像包含街机游戏sprite,如tetrispentomino/tetromino。该生成器基于的bugland数据集生成器。

地址:

以BabyAISchool为灵感的数据集集合。

地址:

BabyAIShapesDataset:区分3种简单形状。

地址:

BabyAIImageAndQuestionDataset:一个问题-图像-答案数据集。

地址:

DeepVsShallowComparisonICML2007:为实证评估深层架构而生成的数据集。

地址:

MnistVariations:在MNIST中引入受控变化。

地址:

RectanglesData:区分宽矩形和垂直矩形。

地址:

ConvexNonConvex:区分凸形和非凸形状。

地址:

BackgroundCorrelation:嘈杂MNIST背景下相关度的控制

地址:

人脸数据集

LabelledFacesintheWild:13000个经过裁剪的人脸区域(使用已经用名称标识符标记过的Viola-Jones)。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统。

地址:

UMDFaces:有8501个主题的367,920个面孔的带注释数据集。

地址:

CASIAWebFace:超过10,575个人经面部检测的453,453张图像的面部数据集。需要一些质量过滤。

地址:

MS-Celeb-1M:100万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果。

地址:

Olivetti:一些人类的不同图像。

地址:

Multi-Pie:TheCMUMulti-PIEFace数据库。

地址:

Face-in-Action:

JACFEE:日本和白种人面部情绪表达的图像。

地址:

FERET:面部识别技术数据库。

地址:

mmifacedb:MMI面部表情数据库。

地址:

IndianFaceDatabase:

耶鲁人脸数据库:

耶鲁人脸数据库B:

Mut1ny头部/面部分割数据集:像素超过16K的面部/头部分割图像

地址:

地址:

文本数据集

20newsgroups:分类任务,将出现的单词映射到新闻组ID。用于文本分类的经典数据集之一,通常可用作纯分类的基准或任何IR/索引算法的验证。

地址:

路透社新闻数据集:(较旧)纯粹基于分类的数据集,包含来自新闻专线的文本。常用于教程。

地址:

宾州树库:用于下一个单词或字符预测。

地址:

UCI‘sSpambase:来自著名的UCI机器学习库的(旧版)经典垃圾邮件数据集。根据数据集的组织细节,可以将它作为学习私人垃圾邮件过滤的基线。

地址:

BroadcastNews:大型文本数据集,通常用于下一个单词预测。

地址:

文本分类数据集:来自Zhangetal.,2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从120K至3.6M不等,范围从二进制到14个分类问题。数据集来自DBPedia、亚马逊、Yelp、Yahoo!和AG。

地址:

WikiText:来自维基百科高质量文章的大型语言建模语料库,由SalesforceMetaMind策划。

地址:

SQuAD:斯坦福问答数据集——应用广泛的问答和阅读理解数据集,其中每个问题的答案都以文本形式呈现。

地址:

BillionWords数据集:一种大型通用语言建模数据集。通常用于训练分布式单词表征,如word2vec。

地址:

CommonCrawl:网络的字节级抓取——最常用于学习单词嵌入。可从AmazonS3上免费获取。也可以用作网络数据集,因为它可在万维网进行抓取。

地址:

GoogleBooksNgrams:来自Googlebook的连续字符。当单词首次被广泛使用时,提供一种简单的方法来探索。

地址:

地址:

————————我是深度学习文本的分割线————————

问答数据集

MaluubaNewsQA数据集:CNN新闻文章中的12万个问答对。

地址:

Quora问答对:Quora发布的第一个数据集,包含重复/语义相似性标签。

地址:

CMUQ/A数据集:手动生成的仿真问/答对,维基百科文章对其难度评分很高。

地址:

Maluuba面向目标的对话:程序性对话数据集,对话旨在完成任务或做出决定。常用于聊天机器人。

地址:

bAbi:来自FacebookAIResearch(FAIR)的综合阅读理解和问答数据集。

地址:

TheChildren’sBookTest:ProjectGutenberg提供的儿童图书中提取的(问题+背景、答案)对的基线。用于问答(阅读理解)和仿真查找。

地址:

情感数据集

多领域情绪分析数据集:较旧的学术数据集。

地址:

IMDB:用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。

地址:

StanfordSentimentTreebank:标准情感数据集,在每个句子解析树的每个节点都有细粒度的情感注释。

地址:

推荐和排名系统

Movielens:来自Movielens网站的电影评分数据集,各类大小都有。

地址:

MillionSong数据集:Kaggle上元数据丰富的大型开源数据集,可以帮助人们使用混合推荐系统。

地址:

:音乐推荐数据集,可访问深层社交网络和其它可用于混合系统的元数据。

地址:

Book-Crossing数据集:来自Book-Crossing社区。包含278,858位用户提供的约271,379本书的1,149,780个评分。

地址:

Jester:来自73,421名用户对100个笑话的410万个连续评分(分数从-10至10)。

地址:

NetflixPrize:Netflix发布了他们的电影评级数据集的匿名版;包含480,000名用户对17,770部电影的1亿个评分。首个主要的Kaggle风格数据挑战。随着隐私问题的出现,只能提供非正式版。

地址:

————————我是深度学习图表的分割线————————

网络和图形

地址:

Frister社交网络数据集:在变成游戏网站之前,Frister以朋友列表的形式为103,750,348名用户发布了匿名数据。

地址:

语音数据集

2000HUB5English:最近在DeepSpeech论文中使用的英语语音数据,从百度获取。

地址:

LibriSpeech:包含文本和语音的有声读物数据集。由多个朗读者阅读的近500小时的各种有声读物演讲内容组成,包含带有文本和语音的章节。

地址:

VoxForge:带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。

地址:

TIMIT:英语语音识别数据集。

地址:

CHIME:嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由4个扬声器在4个嘈杂位置的近9000个录音构成,仿真录音由多个语音环境和清晰的无噪声录音结合而成。

地址:

TED-LIUM:TED演讲的音频转录。1495个TED演讲录音以及这些录音的文字转录。

地址:

————————我是深度学习音频的分割线————————

音符音乐数据集

:古典钢琴曲

地址:

Nottingham:超过1000首民谣

地址:

MuseData:古典音乐评分的电子图书馆

地址:

JSBChorales:四部协奏曲

地址:

其它数据集

CMU动作抓取数据集:

Brodatzdataset:纹理建模。

地址:

来自欧洲核子研究中心的大型强子对撞机(LHC)的300TB高质量数据。

地址:;p=Run2011A+AND+collection:CMS-Primary-Datasets+OR+collection:CMS-Simulated-Datasets+OR+collection:CMS-Derived-Datasets

纽约出租车数据集:由FOIA请求而获得的纽约出租车数据,导致隐私问题。

地址:

UberFOIL数据集:来自UberFOIL请求的纽约4.5M拾取数据。

地址:

地址:

健康生物数据

欧盟传染病监测图集:

默克分子活动挑战:

Muskdataset:Muskdataset描述了以不同构造出现的分子。每个分子都是musk或non-musk,且其中一个构造决定了这一特性。

地址:(Version+2)

政府统计数据

DataUSA:最全面的可视化美国公共数据。

地址:

欧盟性别统计数据库:

荷兰国家地质研究数据:;from=1to=50any_OR_geokeyword_OR_title_OR_keyword=landinrichting*relation=within

联合国开发计划署项目: