主要内容

La traducción de esta página está obsoleta。Haga clic aquí para ver la última versión en inglés。

雷莫托斯酒店

普雷德·莱尔(Puede leer)描述了MATLAB功能和目标的重建数据®,我们的文件E/S的功能和almacén是一样的。我们可以在cómo的配置中,把它描述为在我们的平台上和在我们的平台上:

  • 亚马逊S3™ (简单存储服务)

  • 蔚蓝色的®Blob Storage (Windows Azure的前身®存储Blob (WASB))

  • Hadoop分布式系统®(HDFS™)

Amazon S3

MATLAB允许您使用Amazon S3 como servicio web de almacenamiento de archivos online ofrecido por Amazon web Services。既要明确ubicación de los datos,又要明确la ruta complete a los archivos o las carpetas mediante un localizador unime de recursos (URL) con el formato

s3: / /bucketname/到文件的路径

bucketname这是被竞争者y的数到文件的路径这是一张地毯。

Amazon S3网络服务界面设计图。实用程序在Amazon S3中,como contenedor para almacenar objects。

配置器附件

亚马逊S3中的远程数据,配置为:

  1. Regístrese para obtener una cuenta raíz de Amazon Web Services (AWS)。Consulte亚马逊Web服务:cuenta

  2. Con su cuenta raíz de AWS, cree un usuario de IAM (Administración de identidades y accesos)。Consulte美国法律协会的会员资格

  3. 一般来说,一个人应该是一个人,一个人应该是一个人,一个人应该是一个人。Consulte国际原子能机构使用许可证管理局

  4. 在AWS的接入处配置设备,在AWS的接入处región的中间接口línea的接入处https://aws.amazon.com/cli/.De forma alternativa,配置中间变量的方向环境变量

    • AWS\u访问\u密钥\u IDyAWS\u密码\u访问\u密钥AutoType Pymia El de Os de SOS Services de Amazon S3(Geer-E.E.E.TE de de CelvE de Accoo EN埃尔帕索3)。

    • AWS_DEFAULT_REGION(可选):选择桶的地理区域。根据自动确定的环境变量,桶的配置手册。

    • AWS_会话_令牌(可选):sesión在时间方面的特殊凭证,可以在AWS的autenticación联邦上使用®

如果你使用并行计算工具箱™,那么你就可以使用它来配置S3的服务。把客户端上的变量和建立集群的工作人员联系起来EnvironmentVariablesparpool批处理createJob我是集群文件管理员。

送秋波拿督德Amazon S3

他说:“我们反对。ImageDatastore亚马逊河流域S3和pantalla流域的图像。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles',…' inclesubfolders ', true, 'LabelSource', 'foldernames');img = ds.readimage (1);imshow (img)

曼陀罗Amazon S3

他说:“我们反对。表格数据存储在arreglo alto的亚马逊S3表格中,加工前的eliminando las Entrades ausentes y clasificándolos,y luego volver是亚马逊S3中的一个描述。

setenv('AWS_ACCESS_KEY_ID'、'YOUR_AWS_ACCESS_KEY_ID');setenv('AWS_SECRET_ACCESS_KEY','YOUR_AWS_SECRET_ACCESS_KEY');ds=tablertextdatastore('s3://bucketname/dataset/airlinesmall.csv',…'TreatAsMissing','NA','SelectedVariableNames',{'ArrDelay'});tt=高(ds);tt=sortrows(rmmissing(tt));写入('s3://bucketname/preprocessedData/',tt);

在功能实用的情况下,提供更多的数据数据存储

ds =数据存储(s3: / / bucketname / preprocessedData / ');tt =高(ds);

蔚蓝色的水滴存储

MATLAB le permite Utizar Azure Blob Storage para el Almacenaminto de archivos online.特别是datos的ubicación,特别是ruta completa,它是一个专门的建筑群,用于地毯的中间层,用于本地或统一的递归(URL)格式

wasbs: / /container@account/到文件的路径/file.ext

container@account这是被竞争者y的数到文件的路径这是一张地毯。

蔚蓝色的网络服务界面设计图。实用程序斑点天蓝的达托斯档案馆。领事馆导言蔚蓝色的Para obtener más información。

配置器附件

我们可以在Azure上进行操作,可以配置为最基本的:

  1. Regístrese para obtener una cuenta de Microsoft Azure y consultCuenta de Microsoft Azure

  2. 定义我们的证书autenticación建立精确的变量的中间值环境变量

    • MW_WASB_SAS_代币:保险公司保险公司(SAS)

      作为一个信息获取者,领事馆“为所有人提供信息”Administración de recursos de Azure Blob Storage con el el Explorador de Storage

      MATLAB, establezcaMW_WASB_SAS_代币西班牙领事馆:

      setenv MW_WASB_SAS_TOKEN”?圣= 2017 - 04 - 11 - t09 % 3 a45 % 3 a00z&se = 2017 - 05 - 12 - t09 % 3 a45 % 3 a00z&sp = rl&sv = 2015 - 12 - 11 - sr = c&sig = E12eH4cRCLilp3Tw % 2 bardyyr8rrumw45wbxhwpmzsrce % 3 d '

      我们应该在Azure存储的浏览器上建立SAS válido的通用网络。

    • MW_WASB_SECRET_KEY: autenticación在上面的中间有一个分泌

      存储设备的存储设备应具有管理权限。在存储设备的存储设备中,应提供一个用于存储设备变量的数据库MW_WASB_SECRET_KEY.Por Ejempo:

      setenv MW_WASB_SECRET_KEY“1234567890 abcdef1234567890abcdef1234567890abcdef”

当使用并行计算工具箱时,可以将客户端上的变量与集群建立的工作人员进行比较EnvironmentVariablesparpool批处理createJob我是集群文件管理员。

Para obtener más información领事馆Uso de Azure Storage con cluster de Azure HDInsight

送秋波拿督德蔚蓝色的

在Azure Blob Storage中查看ubicación的数据,具体为ubicación con la siguiente sintaxis:

wasbs: / /container@account/到文件的路径/file.ext

container@account这是被竞争者y的数到文件的路径这是一张地毯。

请给我一份档案airlinesmall.csven una carpeta/航空公司你可以用你的眼睛看你的眼睛wasbs://blobContainer@storageAccount.blob.core.windows.net/,你可以在UN almacén de datos mediante:

位置=“wasbs: / / blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv”;
ds = tabularTextDatastore(location, 'TreatAsMissing', 'NA',…)SelectedVariableNames, {' ArrDelay '});

请大家用蓝色来做我们的cálculos请大家承认,直接讲课,地图还原这就是深度学习。请原谅,我反对ImageDatastore, lea una imagen específica del almacén de datos y luego muestre la imagen en en pantalla。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/',…' inclesubfolders ', true, 'LabelSource', 'foldernames');img = ds.readimage (1);imshow (img)

曼陀罗蔚蓝色的

我希望大家都能看到我们的图表,我们不反对表格数据存储在这里,我们可以先把它去掉,然后在clasificándolos,然后把它去掉。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/, tt);

在功能实用的情况下,提供更多的数据数据存储

ds=数据存储('wasbs://YourContainer@yourcount.blob.core.windows.net/preprocessedData/');tt=tall(ds);

分布档案系统Hadoop

特别是la ubicación de los datos

MATLAB允许利用Hadoop (HDFS)文件系统在线归档。我们可以在ubicación de los datos上详细说明,也可以在URL上详细说明完整的la la carpetas mediante un localizador uniform de recursos的los archivos o la localizador uniform de recursos上详细说明格式:

hdfs: /到文件的路径
hdfs:///到文件的路径
hdfs://主机名/到文件的路径

主机名这是主机和服务器的编号到文件的路径这是一张地毯。特殊的主机名这是选项。没有特别的选项主机名,Hadoop utiliza el nombre de host predeterminado asociado a la instalación del archivos Distributibuido Hadoop(HDFS)在MATLAB中。

请大家把我们的名字写进almacén的档案里,file1.txt在拉马达的地毯上数据这是一个很好的例子myserver

  • ds = tabularTextDatastore (“hdfs: / / /数据/中”
  • ds = tabularTextDatastore (hdfs: / / myserver /数据/中

特别是主机名,与通讯员联系,以确定通讯地址fs.default.nameen los archivos de configuración XML de Hadoop del cluster de Hadoop。

形式可选,请包括número。请原谅我,特别是一个主教派myserver反对el波7867,这是一个很好的例子file1.txt我们的地毯很小数据

'hdfs://myserver:7867/data/file1.txt'

El número de puerto especificado debe concidir con El número de puerto establecido en la configuración de HDFS。

建立一个变量Hadoop

高密度燃料电池,功能实用环境变量建立一个对应的变量,然后安装Hadoop。我们必须要有一张实际的地毯。

  • Hadoop v1 solo:establezca la variable de entornoHADOOP_HOME

  • Hadoop v2单独:建立变量HADOOP_前缀

  • 如果我们能在Hadoop v1和Hadoop v2中建立变量,那么我们就能在Hadoop v2中建立变量HADOOP_HOMEyHADOOP_前缀,establezca el entorno de variableMATLAB_HADOOP_INSTALL

因此,我们可以用这个函数来建立变量HADOOP_HOMEhadoop-folder把地毯放在安装Hadoop的地方/ mypath /这是一张地毯。

setenv(“HADOOP_HOME”、“/ mypath /hadoop-folder');

拿督HDFSen Hortonworks oCloudera

在霍顿和克劳代拉的霍顿作品中,实际设备的安装®,不存在确定变量的方法HADOOP_HOMEoHADOOP_前缀.MATLAB asigna automáticamente estas variables de entrorno al utilizar lodos perimetrales de Hortonworks o Cloudera的应用。

Evitar la eliminación de código de la memoria

Al leer desde HDFS o leer archivos de secuencia localmente, la función数据存储骆驼al第一javaaddpath.我的朋友有以下几点:

  • 最后定义了Java的所有类别®文件的定义为dinámica

  • Elimina todas las variables y variables globales del espacio de trabajo base

  • 你可以把所有的脚本都写下来,你可以把所有的脚本都写下来

如果我们要消除这些变量,los archivos de código或者los archivos MEX persistentes, utilice la funciónmlock

曼陀罗HDFS

这是一个很好的例子表格数据存储在ubicación de HDFS中描述数据。Utilice脂肪酸的请在Hadoop分布式档案系统中描述您的分布式文件。Al llamar a esta función en un arreglo to o distribuido, debe espectla ruta complete a una carpet HDFS。El siguiente ejemplo muestra cómo leer datos tabulares de HDFS en un arereglo alto, preprocesarlos eliminando las entradas ausentes y clasificándolos, y luego volver a escribirlos en HDFS。

ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/ airlinessmall .csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“hdfs: / / myserver /一些/道路/ preprocessedData / ', tt);

在功能实用的情况下,提供更多的数据数据存储

ds =数据存储(hdfs: / / myserver /一些/道路/ preprocessedData / ');tt =高(ds);

坦比恩领事馆

||||||||

特马斯关系酒店