Carga de datos de un archivo en Amazon S3

Puede cargar datos en la base de datos de la nube desde un archivo de datos en Amazon S3 que haya cargado previamente ahí. El archivo de datos no puede ser mayor que el 80 % del espacio libre del directorio de inicio.

Siga estos pasos para cargar datos en la base de datos de la nube desde un archivo de datos local:

Creación de un archivo de datos

Para poder cargar datos, debe guardar los datos en un archivo delimitado como, por ejemplo, un archivo de valor separado por coma (CSV).

Para crear un archivo de formato delimitado, utilice un programa de utilidad de base de datos para extraer datos del almacén de datos o DBMS en un archivo. Cada archivo de datos debe contener datos solo de una tabla.

Consejo: Si está creando varios archivos de datos, utilice el formato esquema.tabla para los nombres de archivo si desea correlacionar automáticamente archivos con tablas de destino en la base de datos. Por ejemplo, si crea un archivo llamado FRUIT.GRAPES.gz, posteriormente, durante el proceso de carga, el archivo se correlacionará automáticamente con la tabla GRAPES en el esquema FRUIT de la base de datos.
DBMS Detalles Más información
Oracle Descargue los datos de Oracle utilizando un programa de utilidad como, por ejemplo, Oracle Application Express. Documentación de Oracle sobre el proceso de descarga: Utilización de programas de utilidad de Oracle Application Express
MySQL Exporte los datos desde MySQL utilizando un programa de utilidad como, por ejemplo, MySQL Workbench o phpMyAdmin. Documentación de MySQL sobre el proceso de exportación:Exportación de datos
Db2 Exporte los datos desde Db2 utilizando el programa de utilidad de línea de mandatos. Documentación de Db2 sobre el proceso de exportación: Exportación de datos

Mover un archivo a Amazon S3

Para mover un archivo de datos a Amazon S3, utilice el navegador S3 (disponible en http://s3browser.com/download.php y https://s3browser.com/buypro.php). Debe crear un grupo en el navegador S3 para que contenga el archivo. Puede mover varios archivos o una carpeta de archivos del sistema de archivos a Amazon S3. Si tiene una gran cantidad de datos, Amazon S3 ofrece la opción de enviar los datos y permitir que Amazon cargue los datos en Amazon S3.

Más información:

Documentación de Amazon S3: Iniciación a Amazon Simple Storage Service

Utilización de DataStage con Amazon S3

También puede utilizar IBM® InfoSphere DataStage para extraer datos de una base de datos y moverlos a una plataforma como, por ejemplo, Amazon S3. El cliente de DataStage Designer tiene una paleta que contiene las herramientas que forman los bloques de creación básicos de un trabajo de gestión de datos.

Proceso DataStage paralelo

Con DataStage, puede diseñar y ejecutar trabajos que incluyen un objeto de datos de origen y un objeto de datos de destino. El objeto de datos de origen está asociado a una base de datos y especifica el nombre de tabla y los metadatos para extraer. El objeto de datos de destino está asociado a Amazon S3 y especifica el nombre y la ubicación del archivo de datos que contendrá los datos de destino.

Más información:

Documentación de DataStage: Diseño de trabajos DataStage y QualityStage

Creación de una tabla de destino

Antes de cargar datos en la base de datos, debe crear una tabla de destino para los datos. La definición de tabla de destino debe coincidir con la estructura y los tipos de datos del archivo de datos.

Puede crear una tabla de destino utilizando uno de los métodos siguientes:
  • Permita a Db2 generar la sentencia DDL de SQL para crear la tabla, basándose en un archivo texto delimitado que contiene los datos.
  • Escriba su propia sentencia DDL de SQL para crear la tabla. Si no utiliza una aplicación específica para crear sentencias DDL, puede utilizar IBM InfoSphere Data Architect. Consulte Generación de scripts DDL en el InfoSphere Data Architect Knowledge Center si desea más información.

Carga de datos de Amazon S3

Para cargar datos de Amazon S3, seleccione uno de los métodos siguientes:
  • Desde la consola web. Cargar > Amazon S3. Para cargar datos desde Amazon S3 utilizando consola web , seleccione Amazon S3 como origen. Si está cargando archivos segmentados, seleccione el archivo de manifiesto asociado cuando seleccione los archivos para cargar.
  • Tablas externas directamente. A continuación aparece una sentencia SQL de ejemplo: 
    INSERT INTO <table-name> SELECT * FROM EXTERNAL '<mys3file.txt>' USING
  (CCSID 1208 s3('s3.amazonaws.com',
  '<S3-access-key-ID>',
  '<S3-secret-access-key>',
  '<my_bucket>'
     )
  )
  • Para obtener un mejor rendimiento, el mandato de Db2 LOAD también se puede utilizar para cargar datos desde Amazon S3 utilizando el mandato de ejemplo siguiente: 
    CALL SYSPROC.ADMIN_CMD('LOAD FROM "S3::<amazon-s3-URL>::<s3-access-key-id>::<s3-secret-access-key>:
:<s3-bucket-name>::<path-to-data-file>" OF <filetype> <additional-load-options> INTO <table-name>)
    A continuación aparece un uso de ejemplo del mandato de Db2 LOAD: 
    CALL SYSPROC.ADMIN_CMD('load from "S3::s3-us-west-2.amazonaws.com::<s3-access-key-id>:
:<s3-secret-access-key>::ibm-state-store::bdidata2TB/web_site.dat" of DEL modified by codepage=1208
coldel0x7c WARNINGCOUNT 1000 MESSAGES ON SERVER INSERT into BDINSIGHTS2.web_site ');

    Para las opciones de mandato soportadas, consulte: Mandato LOAD.