Guía de instalación y administración · Hadoop Application Agent Versión 1.0 Guía de instalación y administración 302-003-054 REV 01

Hadoop Application AgentVersión 1.0

Guía de instalación y administración302-003-054

REV 01

Copyright © 2016 EMC Corporation Todos los derechos reservados.

Publicado en Septiembre de 2016

Dell considera que la información de este documento es precisa en el momento de su publicación. La información está sujeta a cambios sin previo

aviso.

LA INFORMACIÓN DE ESTA PUBLICACIÓN SE PROPORCIONA “TAL CUAL”. DELL NO SE HACE RESPONSABLE NI OFRECE GARANTÍA DE

NINGÚN TIPO CON RESPECTO A LA INFORMACIÓN DE ESTA PUBLICACIÓN Y, ESPECÍFICAMENTE, RENUNCIA A TODA GARANTÍA

IMPLÍCITA DE COMERCIABILIDAD O CAPACIDAD PARA UN PROPÓSITO DETERMINADO. EL USO, LA COPIA Y LA DISTRIBUCIÓN DE

CUALQUIER SOFTWARE DE DELL DESCRITO EN ESTA PUBLICACIÓN REQUIEREN LA LICENCIA DE SOFTWARE CORRESPONDIENTE.

Dell, EMC y otras marcas comerciales pertenecen a Dell Inc. o sus filiales. Las demás marcas comerciales pueden ser propiedad de sus respectivos

dueños. Publicado en México.

Dirección local de EMCEMC Argentina (Cono Sur) Tel. +54-11-4021-3622 http://www.emc.com/es-ar/index.htmEMC México Tel. +52-55-5080-3700 http://www.emc.com/es-mx/index.htmEMC Venezuela (Norte de Latinoamérica) Tel. +58-212-206-6911 http://www.emc.com/es-ve/index.htm

2 Hadoop Application Agent 1.0 Guía de instalación y administración

5

7

Descripción general del agente de aplicación de Hadoop 9Descripción general del agente de aplicación de Hadoop.............................10

Funcionalidades del agente de aplicación de Hadoop......................10Restauraciones y respaldos de DD Boost.................................................... 10Ambientes compatibles............................................................................... 10Compatibilidad de software......................................................................... 11

Instalación del agente de aplicación de Hadoop 13Descripción general de la instalación........................................................... 14Instalar el agente de aplicación de Hadoop.................................................. 14

Configuración de Data Domain 17Licencias del sistema Data Domain..............................................................18Configuración de la frase de contraseña del sistema................................... 18Activación de DD Boost en un sistema Data Domain................................... 18Cambio de los derechos de acceso de DD Boost......................................... 19Habilitar el cifrado mediante una conexión WAN........................................ 20Activación de las operaciones de DD Boost por medio de un firewall...........21Configuración de las unidades de almacenamiento......................................21Activación del procesamiento distribuido de segmentos............................. 22Activación del balanceo de carga avanzado y failover de vínculos...............23Validación de la conexión de la del sistema Data Domain............................ 24

Configuración del agente de aplicación de Hadoop 25Descripción general de la configuración......................................................26Completar la configuración del agente de aplicación de Hadoop.................26Conexión del agente de aplicación de Hadoop al ambiente Hadoop............. 31Conexión de Hadoop al sistema Data Domain............................................. 32Configuración de múltiples sistemas Data Domain...................................... 33Configurar la replicación............................................................................. 34Configuración de Kerberos......................................................................... 34Parámetro Maps.........................................................................................35

Administración del agente de aplicación de Hadoop 37Descripción general del respaldo................................................................ 38Descripción general del flujo de datos.........................................................40Respaldo de datos de HBase en un sistema Data Domain............................41Respaldo de datos HBase en un sistema Data Domain.................................41Descripción general de la restauración........................................................42Restaurar un respaldo de HDFS..................................................................43Restauración de un respaldo de HBase....................................................... 43Restauración de un respaldo replicado........................................................44

Figuras

Tablas

Capítulo 1

Capítulo 2

Capítulo 3

Capítulo 4

Capítulo 5

CONTENIDO

Hadoop Application Agent 1.0 Guía de instalación y administración 3

Restaurar un respaldo replicado con un reemplazo de ID dedispositivo..................................................................................... 44Restaurar un respaldo replicado con un reemplazo de dispositivo....45

Enumerar configuraciones de respaldo....................................................... 46Enumerar respaldos....................................................................................46Búsqueda de respaldos............................................................................... 46Limpieza de respaldos.................................................................................47Eliminación de respaldos.............................................................................47Actualización de la caché de credenciales de Kerberos...............................48Probar la conexión al sistema Data Domain.................................................48Cambio de fechas de retención.................................................................. 49Borrar la configuración de respaldo............................................................ 50Restaurar la configuración..........................................................................50Mostrar versión de software...................................................................... 50

Solución de problemas del agente de aplicación de Hadoop 51Descripción general de la solución de problemas........................................ 52Información de registro.............................................................................. 52

Referencia de comandos del agente de aplicación de Hadoop 53Descripción general de comandos del agente de aplicación de Hadoop...... 54hdboost --addconfig...................................................................................54hdboost --backup.......................................................................................55hdboost --delete.........................................................................................57hdboost --eraseconfig................................................................................ 57hdboost --expire.........................................................................................58hdboost --kerberos.....................................................................................58hdboost --list..............................................................................................58hdboost --listconfig....................................................................................59hdboost --restore.......................................................................................59hdboost --retention....................................................................................60hdboost --search........................................................................................ 61hdboost --test............................................................................................ 62hdboost --version....................................................................................... 62

Capítulo 6

Capítulo 7

CONTENIDO


Flujo de datos............................................................................................................. 401

FIGURAS


FIGURAS


Estructura de subdirectorios del agente de aplicación de Hadoop............................... 151

TABLAS


TABLAS


CAPÍTULO 1

Descripción general del agente de aplicación deHadoop

Este capítulo contiene los siguientes temas:

l Descripción general del agente de aplicación de Hadoop.................................... 10l Restauraciones y respaldos de DD Boost............................................................ 10l Ambientes compatibles.......................................................................................10l Compatibilidad de software................................................................................. 11

Descripción general del agente de aplicación de Hadoop 9

Descripción general del agente de aplicación de HadoopEl agente de aplicación de Hadoop proporciona respaldo y recuperación de sistemasde archivos distribuidos Hadoop (HDFS) y tablas de HBase en un sistema dealmacenamiento Data Domain. El agente de aplicación de Hadoop utiliza lafuncionalidad de copia distribuida (DistCP) nativa de Hadoop para realizar operacionesde respaldo y restauración sin la necesidad de crear o administrar los puntos demontaje.

Funcionalidades del agente de aplicación de HadoopEl agente de aplicación de Hadoop proporciona una interfaz CLI para realizar lassiguientes tareas:

l Configurar respaldos

l Ejecutar respaldos de archivos o directorios de Hadoop

l Ejecutar respaldos en línea u offline de tablas de HBase

l Restaurar un respaldo completo o un subconjunto de objetos de respaldo

l Restaurar en una ubicación original o alternativa

l Enumerar los respaldos que residen en el sistema Data Domain

l Eliminar respaldos

l Especificar el vencimiento de respaldos

l Habilitar y deshabilitar la autenticación Kerberos

Restauraciones y respaldos de DD BoostUn respaldo de DD Boost en un sistema Data Domain aprovecha las funciones de DDBoost mediante el uso de tres componentes principales.

l El conector del sistema de archivos de DD Boost proporciona la interfaz de sistemade archivos a la biblioteca de DD Boost.

l La API de la biblioteca de DD Boost permite al software de respaldo comunicarsecon el sistema Data Domain.

l El componente de procesamiento distribuido de segmentos (DSP) analiza losdatos que ya están almacenados en el sistema Data Domain y envía solo datosúnicos del host Hadoop al sistema Data Domain para su almacenamiento.El procesamiento distribuido de segmentos (DSP) compara los datos que ya estánalmacenados en el sistema Data Domain con los datos de respaldo escritos y envíasolo datos únicos del host Hadoop al sistema Data Domain para sualmacenamiento.

Durante las operaciones de restauración, el sistema Data Domain devuelve todoslos datos almacenados a su estado original antes de enviar los datos por medio dela red.

Ambientes compatiblesLos clústeres de Hadoop pueden tener recursos de procesamiento y almacenamientointegrados, o los clústeres pueden utilizar almacenamiento compartido.

El agente de aplicación de Hadoop requiere lo siguiente:

Descripción general del agente de aplicación de Hadoop


l Java 1.7.0 o posterior

l Versión del sistema operativo Data Domain 6.0 o posterior

Se admiten las siguientes distribuciones de Hadoop:

l Linux de 64 bits

n CENTOS 6.6 y posterior

n Red Hat Enterprise Linux 6.6 y posterior

n SUSE Enterprise Linux Server 11 SP3 y posterior

l Cloudera Hadoop (CDH) 5.4 o posterior

l Hortonworks Data Platform (HDP) versión 2.2 y posterior

El agente de aplicación de Hadoop puede instalarse en ambientes virtualizados,siempre y cuando el nodo de nombre virtual esté ejecutando una distribución de Linuxcompatible.

La replicación a un sistema Data Domain secundario es opcional. Para usar lafuncionalidad de replicación, se requiere una licencia de replicación de Data Domain.

Compatibilidad de softwarePara obtener más información, consulte la Guía de compatibilidad de software.


Compatibilidad de software 11

http://wcu-sjcldapdv1.isus.emc.com:8080/CompGuideApp/getDDbeaCompGuidePage.do



CAPÍTULO 2

Instalación del agente de aplicación de Hadoop


l Descripción general de la instalación...................................................................14l Instalar el agente de aplicación de Hadoop......................................................... 14

Instalación del agente de aplicación de Hadoop 13

Descripción general de la instalaciónEl agente de aplicación de Hadoop consta de un solo paquete de software Linux(archivo .rpm) para instalar en el sistema de destino.

Instale el agente de aplicación de Hadoop de la cuenta raíz en el nodo de nombreprincipal del clúster de Hadoop y en todos los nodos de conmutación por error queasumen el control si el nodo de nombre principal queda offline.

Nota

El agente de aplicación de Hadoop puede instalarse en ambientes virtualizados,siempre y cuando el nodo de nombre virtual esté ejecutando una distribución de Linuxcompatible.

El paquete del agente de aplicación de Hadoop instala los siguientes componentes:

Componente Descripción

hdboost Archivo ejecutable del agente de aplicación deHadoop para realizar operaciones deproductos.

ddhcfs-<software-version>.jar Interfaz de Data Domain Hadoop CompatibleFile System (DDHCFS)

libbfswrap.so Conector entre ddhcfs.jar y libDDBoostFS.so.

libDDBoost.so Biblioteca de DD Boost.

libDDBoostFS.so Biblioteca de DD BoostFS.

Instalar el agente de aplicación de HadoopRealice los siguientes pasos para instalar el agente de aplicación de Hadoop.

Procedimiento

1. Ejecute el siguiente comando para instalar el agente de aplicación de Hadoop:

rpm -ivh emchdappagent *.rpm

Nota

Use la opción --nodeps si los archivos libhdfs.so o ibjvm.so no están enla ruta de instalación y no se pueden encontrar en el sistema de destino. Elagente de aplicación de Hadoop intenta detectar y solicitar la ubicación de estosarchivos como parte del script de configuración como se describe en Conexióndel agente de aplicación de Hadoop al ambiente Hadoop en la página 31.

En esta ruta de instalación de nivel superior, se creará el siguiente diseño dedirectorio:



Nota

Se crearán vínculos simbólicos en los registros <install path>/tmp y<install path>/ para hacer referencia fácilmente a estos directorios detrabajo. La práctica de almacenar información de variables en /var cumple conlos estándares de jerarquía de sistemas de archivos que emplea Linux.

Tabla 1 Estructura de subdirectorios del agente de aplicación de Hadoop

Subdirectorio Descripción

install-path>/backup-history Aquí se guardará el archivo de índice.

<install-path>/bin Todos los archivos binarios ejecutables se instalarán en estaruta.

<install-path>/config Todas las plantillas de archivos de configuración se almacenaránen esta ruta.

<install-path>/credentials Aquí se almacenará el archivo de credenciales cifrado.

<install-path>/java El archivo ddhcfs-<software-version>.jar reside en

este directorio.

<install-path>/logs (symlink to /var/opt/dlp/logs)

Todos los registros del agente de aplicación de Hadoop residenen esta ruta en el nodo de nombre. Si los comandos de respaldoo restauración se invocan con la opción -D, el agente de

aplicación de Hadoop generará registros de depuracióndetallados adicionales en los nodos de datos, además de losregistros básicos.

<install-path>/tmp (symlink to /var/opt/dlp/tmp) Ruta que utiliza el agente de aplicación de Hadoop paraalmacenar los archivos temporales utilizados durante lasoperaciones de respaldo y recuperación.

/usr/lib/dlp/lib64 Se instalarán todas las librerías .so en esta ruta.


Instalar el agente de aplicación de Hadoop 15



CAPÍTULO 3

Configuración de Data Domain


l Licencias del sistema Data Domain..................................................................... 18l Configuración de la frase de contraseña del sistema...........................................18l Activación de DD Boost en un sistema Data Domain........................................... 18l Cambio de los derechos de acceso de DD Boost.................................................19l Habilitar el cifrado mediante una conexión WAN................................................ 20l Activación de las operaciones de DD Boost por medio de un firewall.................. 21l Configuración de las unidades de almacenamiento..............................................21l Activación del procesamiento distribuido de segmentos.....................................22l Activación del balanceo de carga avanzado y failover de vínculos...................... 23l Validación de la conexión de la del sistema Data Domain.................................... 24

Configuración de Data Domain 17

Licencias del sistema Data Domain

Nota

El administrador de Data Domain debe configurar el sistema Data Domain para lasoperaciones de DD Boost. Este capítulo proporciona ejemplos de configuracionesbásicas. La documentación de Data Domain proporciona detalles sobre lasconfiguraciones del sistema Data Domain.

Requiere la licencia de EMC Data Domain Boost para utilizar el software del agente deaplicación de Hadoop.

También necesita una licencia de replicación de los sistemas Data Domain de origen ydestino para usar la función de replicación.

Comuníquese con su representante de EMC Data Domain para obtener másinformación y comprar funciones con licencia.

La Guía de administración de EMC Data Domain Operating System proporciona detallessobre todas las funciones con licencia y cómo visualizar y activar licencias de DataDomain.

Configuración de la frase de contraseña del sistemaSi el agente de aplicación de Hadoop no está configurado para utilizar Kerberos, elmétodo de autenticación alternativo requiere que se configure una contraseña delsistema Data Domain.

Para obtener información sobre cómo configurar el agente de aplicación de Hadooppara Kerberos, consulte Configuración de Kerberos en la página 34.

Procedimiento

1. En el sistema Data Domain, escriba el siguiente comando: system passphraseset

Nota

Si ya se ha establecido la frase de contraseña, el comando devuelve una cadenaque indica esto y que no tiene que restablecer ni cambiar ningún valor existente.

Activación de DD Boost en un sistema Data DomainPuede habilitar DD Boost en un sistema Data Domain mediante el comando ddboostenable o desde EMC Data Domain System Manager en la página DataManagement > DD Boost, como se describe en la Guía de administración de EMC DataDomain Operating System.

Nota

DD Boost requiere una licencia independiente.

Use la interfaz de línea de comandos de Data Domain para completar las tareas deadministración requeridas. La Guía de referencia de comandos del sistema operativo deEMC Data Domain proporciona detalles sobre los comandos.



Procedimiento

1. En el sistema Data Domain, inicie sesión como usuario administrativo.

2. Ejecute los siguientes comandos para verificar que el sistema de archivos estáhabilitado y se está ejecutando:

# filesys status

The file system is enabled and running.

Si el sistema de archivos está deshabilitado, ejecute el siguiente comando parahabilitar el sistema de archivos:

# filesys enable

3. Verifique que la licencia de DD Boost esté habilitada.

Consulte las Notas de la versión de EMC Data Domain Operating Systemcorrespondientes para obtener la información más actualizada sobre licencias yservicio de EMC.

4. Establezca el nombre de usuario y la contraseña de DD Boost para el sistemaData Domain.

Nota

El nombre de usuario, la contraseña y la función se deben configurar en elsistema Data Domain como se describe en la Guía de administración de EMC DataDomain Operating System.

Ejecute los siguientes comandos para establecer el nombre de usuario y lacontraseña:

# user add <username> password <password># ddboost set user-name <username>

Cambio de los derechos de acceso de DD Boost en la página 19 proporcionainformación sobre cómo el cambio del nombre de usuario y los derechos deacceso afecta las operaciones en un sistema Data Domain.

5. Ejecute el siguiente comando para habilitar DD Boost:

# ddboost enable

DD Boost enabled6. Utilice el siguiente comando para verificar si DD Boost está habilitado:

# ddboost status

Cambio de los derechos de acceso de DD BoostDe forma predeterminada, cuando el servicio de DD Boost se activa por primera vez enun sistema Data Domain, el servicio está accesible para todos los hosts de cliente.


Cambio de los derechos de acceso de DD Boost 19

Puede usar el comando ddboost access para reemplazar este valor predeterminadoy restringir el acceso a los hosts de cliente específicos.

Por ejemplo, el administrador de Data Domain puede ejecutar los siguientes comandospara quitar el permiso de acceso predeterminado para todos los hosts y agregarpermisos de acceso nuevos para dos hosts de clientes específicos,dbserver1.datadomain.com y dbserver2.datadomain.com. La Guía de referencia decomandos del sistema operativo de EMC Data Domain proporciona detalles sobre loscomandos.

# ddboost disable# ddboost access del clients *# ddboost access add clients dbserver1.datadomain.com dbserver2.datadomain.com# ddboost enable

Estos comandos establecen un conjunto de controles de acceso que permiten elacceso de DD Boost solo a los dos hosts de cliente, dbserver1.datadomain.com ydbserver2.datadomain.com.

Tenga en cuenta las siguientes pautas cuando cambie los derechos de acceso de DDBoost:

l Asegúrese de que no se esté ejecutando ninguna operación de respaldo del sistemaData Domain cuando cambia cualquier derecho de acceso. Puede ejecutar elcomando ddboost disable para impedir operaciones cuando se cambia elacceso.

l Especifique solo un nombre de dominio calificado, una dirección IP o un nombreDNS que se pueda resolver para el cliente cuando se modifica la lista de control deacceso de cliente.

l Después de que se modifican los derechos de acceso, puede ejecutar el comandoddboost enable para habilitar DD Boost, y los derechos de acceso tendránefecto.

Puede ejecutar el comando ddboost clients show para verificar qué hosts tienenlos derechos de acceso de DD Boost. Si la salida del comando es simplemente *, todoslos hosts de cliente tienen los derechos de acceso. Por ejemplo:

# ddboost clients show

DD Boost access allowed from the following clients*

# ddboost clients show

DD Boost access allowed from the following clients:dbserver1.datadomain.comdbserver2.datadomain.com

Habilitar el cifrado mediante una conexión WANEl agente de aplicación de Hadoop proporciona soporte para que los clientes de DDBoost tengan cifrado de datos en transferencia con un sistema operativo DataDomain 5.5 o posterior mediante una conexión WAN.

Para habilitar el cifrado de datos en transferencia mediante una conexión WAN, puedeconfigurar el cifrado del protocolo TLS con seguridad media o alta en el sistema Data



Domain. Por ejemplo, ejecute el siguiente comando ddboost para establecer elcifrado del protocolo TLS necesario para los sistemas cliente:

ddboost clients add <client_list> [encryption-strength {medium | high}authentication-mode {one-way | two-way | anonymous}] | [authentication-mode kerberos]

La configuración es transparente para el agente de aplicación. Encontrará informacióndetallada en la versión más reciente del documento EMC Data Domain BoostAdministration Guide.

Activación de las operaciones de DD Boost por medio de unfirewall

El sistema Data Domain, como está inicialmente configurado, no opera mediante unfirewall; tampoco lo hace para una conexión de servidor de base de datos a un sistemaData Domain ni para una conexión de un sistema Data Domain a otro. Si necesita queel sistema Data Domain opere mediante un firewall, póngase en contacto con suproveedor de soporte de red.

Los siguientes puertos deben estar abiertos en un firewall para habilitar los respaldos yla deduplicación optimizada de DD Boost:

l TCP 2049 (NFS)

l TCP 2051 (replicación)

l TCP 111 (asignador de puertos de NFS)

l TCP xxx (seleccione un puerto para NFS mountd, donde el puerto MOUNTDpredeterminado es 2052)

Configuración de las unidades de almacenamientoUna o más unidades de almacenamiento deben crearse en cada sistema Data Domainque se usará con el agente de aplicación de Hadoop. Todos los nombres de unidadesde almacenamiento en un solo sistema Data Domain deben ser únicos. Sin embargo,puede usar el mismo nombre de unidad de almacenamiento en sistemas Data Domaindiferentes.

Nota

Los nombres de las unidades de almacenamiento no distinguen mayúsculas deminúsculas.

Debe proporcionar el nombre de la unidad de almacenamiento cuando configura lasoperaciones con el agente de aplicación de Hadoop.

Puede crear una unidad de almacenamiento mediante el comando ddbooststorage-unit o desde EMC Data Domain System Manager en la página DataManagement > DD Boost, como se describe en la Guía de administración de EMC DataDomain Operating System.


Activación de las operaciones de DD Boost por medio de un firewall 21

Por ejemplo, puede ejecutar el siguiente comando en el sistema Data Domain paracada unidad de almacenamiento que desea crear:

# ddboost storage-unit create <storage_unit_name> user <username>

Puede ejecutar el siguiente comando para enumerar el estado de las unidades dealmacenamiento:

# ddboost storage-unit show

Name Pre-Comp (GiB) Status---------- -------------- ------SU_ABCDE03 5.8 RWSU_ABCDE5 9.8 RW/Q---------- -------------- ------ D : Deleted Q : Quota Defined RO : Read Only RW : Read Write

Debe crear al menos una unidad de almacenamiento en cada sistema Data Domain quese va a utilizar con el agente de aplicación de Hadoop.

Activación del procesamiento distribuido de segmentosEl procesamiento distribuido de segmentos es una característica de software de DDBoost que utiliza la biblioteca de DD Boost en el host cliente y el software de DataDomain en el DDR. El agente de aplicación de Hadoop carga la biblioteca de DD Boostdurante las operaciones de respaldo y restauración.

Debe configurar la opción de procesamiento distribuido de segmentos en el sistemaData Domain. La opción de configuración se aplica a todos los host de cliente y a todoel software que usa DD Boost en ese sistema Data Domain.

Puede administrar el procesamiento distribuido de segmentos mediante el comandoddboost option o desde EMC Data Domain System Manager en la página DataManagement > DD Boost, como se describe en la Guía de administración de EMC DataDomain Operating System.

Puede ejecutar el comando ddboost option show para confirmar si DD Boosttiene activado el procesamiento distribuido de segmentos.

Puede ejecutar el siguiente comando para configurar la opción de procesamientodistribuido de segmentos:

# ddboost option set distributed-segment-processing {enabled | disabled}

Activar o desactivar la opción de procesamiento distribuido de segmentos no exige quese reinicie el sistema de archivos de Data Domain.



Activación del balanceo de carga avanzado y failover devínculos

La función de balanceo de carga avanzado y failover de vínculos permite lacombinación de varios vínculos Ethernet en un grupo y el registro de solo una interfazen el sistema Data Domain con el agente de aplicación de Hadoop.

La documentación de Data Domain proporciona detalles sobre las características y losbeneficios del balanceo de carga avanzado y el failover de vínculos.

Si se configura un grupo de interfaces, cuando el sistema Data Domain recibe datosdel cliente DD Boost, se realiza un balanceo de carga de la transferencia de datos yesta se distribuye como trabajos separados en la red privada, lo que proporciona unrendimiento mejor, especialmente para los clientes que usan varias conexiones de1 GbE.

Puede administrar el balanceo de carga avanzado y failover de vínculos mediante elcomando ddboost ifgroup o desde EMC Data Domain System Manager en lapágina Data Management > DD Boost, como se describe en la Guía de administraciónde EMC Data Domain Operating System.

Puede realizar los siguientes pasos para crear un grupo de interfaces en el sistemaData Domain mediante la adición de interfaces actuales al grupo y el registro delsistema Data Domain con el agente de aplicación de Hadoop. Una vez que se configuraun grupo de interfaces, puede agregar o eliminar interfaces del grupo.

Procedimiento

1. Ejecute el comando ddboost ifgroup para agregar las interfaces en elgrupo. Las interfaces deben haberse creado con el comando net. Por ejemplo:

# ddboost ifgroup default add interface 192.168.1.1# ddboost ifgroup default add interface 192.168.1.2# ddboost ifgroup default add interface 192.168.1.3# ddboost ifgroup default add interface 192.168.1.4

Este ejemplo supone que no se ha creado ningún otro grupo de interfaz connombre y utiliza el grupo de interfaces predeterminado.

2. Seleccione una interfaz en el sistema Data Domain para registrarla con el agentede aplicación de Hadoop. Cree una interfaz agregada de failover y registre esainterfaz con el agente de aplicación de Hadoop. La Guía de administración deEMC Data Domain Operating System describe cómo crear una interfaz virtualpara agregación de vínculos.

No es obligatorio usar una interfaz del ifgroup para registrarla con el agente deaplicación de Hadoop. También puede utilizarse una interfaz que no sea partedel ifgroup para registrarla con el agente de aplicación de Hadoop. La interfazdebería registrarse con un nombre que se pueda resolver con DNS o cualquierotro mecanismo de resolución de nombres.

3. Ejecute el siguiente comando para habilitar la función en el sistema DataDomain:

# ddboost ifgroup enable


Activación del balanceo de carga avanzado y failover de vínculos 23

4. Ejecute el siguiente comando para verificar la configuración:

# ddboost ifgroup show config interfaces

Group Name Status Interface---------- ------- -----------default enabled 192.168.1.1default enabled 192.168.1.2default enabled 192.168.1.3default enabled 192.168.1.4

Validación de la conexión de la del sistema Data Domainsegún el tipo de conexión de red que se usa, puede ejecutar el comando adecuado paravalidar la comunicación entre el host del cliente y el sistema Data Domain:

l Si tiene un sistema DD Boost mediante IP, puede iniciar sesión en el nodo denombre principal del clúster Hadoop con el agente de aplicación de Hadoopinstalado y ejecutar el comando rpcinfo si el comando está disponible en elsistema. Por ejemplo:

# rpcinfo -p Data_Domain_system_hostname

La salida del comando debe incluir los puertos que se enumeran en Activación delas operaciones de DD Boost por medio de un firewall en la página 21. Por ejemplo:

# rpcinfo -p Data_Domain_system_hostname

program vers proto port service 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 779 status 100024 1 tcp 782 status 537220272 2 tcp 3006 100005 1 tcp 2052 mountd 100005 1 udp 2052 mountd 100005 2 tcp 2052 mountd 100005 2 udp 2052 mountd 100005 3 tcp 2052 mountd 100005 3 udp 2052 mountd 100003 3 tcp 2049 nfs 100003 3 udp 2049 nfs 285824256 1 udp 709 537329792 1 tcp 3007 537220001 2 tcp 2051 537220001 3 tcp 2051 537220439 1 tcp 695 537220017 1 tcp 727



CAPÍTULO 4

Configuración del agente de aplicación deHadoop


l Descripción general de la configuración............................................................. 26l Completar la configuración del agente de aplicación de Hadoop........................ 26l Conexión del agente de aplicación de Hadoop al ambiente Hadoop.....................31l Conexión de Hadoop al sistema Data Domain.....................................................32l Configuración de múltiples sistemas Data Domain..............................................33l Configurar la replicación.....................................................................................34l Configuración de Kerberos.................................................................................34l Parámetro Maps................................................................................................ 35

Configuración del agente de aplicación de Hadoop 25

Descripción general de la configuraciónRealice la configuración del agente de aplicación de Hadoop como un usuario raíz. Elsuperusuario típico de Hadoop es hdfs.

Tenga en cuenta las siguientes consideraciones al configurar el agente de aplicaciónde Hadoop:

l Toda la configuración del agente de aplicación de Hadoop se realiza en el nodo denombre del clúster de Hadoop.

l El agente de aplicación de Hadoop proporciona un script de configuración paraconsultar y configurar las rutas de archivos de la biblioteca y las variables deambiente.

l Los objetos que se deben respaldar (directorios de HDFS y tablas de HBase)deben coincidir con un sistema Data Domain de destino antes de iniciar unaoperación de respaldo o restauración.

l Cuando se invoca el comando hdboost por primera vez con la opción --addconfig --device, se crea el archivo dlp_cfg.json. Este archivo es:

n Persistente en todas las invocaciones del agente de aplicación de Hadoop.

n Administrado por las opciones de comando de configuración del agente deaplicación de Hadoop.

n Respaldado de forma predeterminada.

l Las contraseñas se almacenan en un archivo de credenciales independiente,dlp_cfg.jceks, cuando Kerberos no está en uso. Este archivo utiliza elcomando hadoop credential para almacenar información de la contraseña deforma segura.

Nota

Las credenciales de Data Domain no se requieren cuando Kerberos está en uso.

Completar la configuración del agente de aplicación deHadoop

Los ejemplos en el siguiente procedimiento utilizan el indicador genérico “hadoop-distribution” para mostrar dónde se debe colocar el nombre de la distribución deHadoop específica.

Procedimiento

1. Instale el RPM como usuario raíz.

Debería ver la siguiente salida:

bu-hadoop_distribution-1a-nn:/submittals/Beta_1-3_RC # rpm -i emchdappagent-1.0.0.0-beta-1-3-x86_64.rpm

---------------------------------------------------------------------You have successfully installed the Hadoop Application Agent.

NOTE: To complete configuration execute the following script as theroot user: /opt/emc/dlp/config/dlp_config_hadoop

Configuración del agente de aplicación de Hadoop


---------------------------------------------------------------------

bu-hadoop_distribution-1a-nn:/submittals/Beta_1-3_RC #

*****************************************************************************

2. Ejecute el siguiente script como usuario raíz:

/opt/emc/dlp/config/dlp_config_hadoop

Debería ver la siguiente salida:

bu-hadoop_distribution-1a-nn:/submittals/Beta_1-3_RC # /opt/emc/dlp/config/dlp_config_hadoopSupported versions of Hadoop to select from: 1. Cloudera. 2. Hortonworks.Please specify which distribution of Hadoop you are using: [1]? 1

Searching for libhdfs.so... 1. /opt/hadoop_distribution/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/impala/lib/libhdfs.so 2. /opt/hadoop_distribution/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib64/libhdfs.so 3. Specify location of libhdfs.so to use.Please specify which libhdfs.so to use or specify your own: [1]? 2

Searching for hadoop... 1. /usr/bin/hadoop 2. Specify location of hadoop to use.Please specify which hadoop to use or specify your own: [1]? 1

Searching for libjvm.so... 1. /usr/java/jdk1.6.0_31/jre/lib/amd64/server/libjvm.so 2. /usr/java/jdk1.7.0_67-hadoop_distribution/jre/lib/amd64/server/libjvm.so 3. Specify location of libjvm.so to use.Please specify which libjvm.so to use or specify your own: [1]? 2

Are you going to be using Hadoop Application Agent to backup HBASE [n]? y

Searching for hbase-site.xml... 1. /etc/hbase/conf.hadoop_distribution.hbase/hbase-site.xml 2. Specify location of hbase-site.xml to use.Please specify which hbase-site.xml to use or specify your own: [1]? 1

Would you like to configure dynamic linking for hdboost now?To function properly hdboost needs to find the library pathfor libhdfs.so and libjvm.so. If you do not configure dynamiclinking you will be required to set LD_LIBRARY_PATH beforerunning hdboost. [y]? y

Configuration successful.bu-hadoop-1a-nn:/submittals/Beta_1-3_RC #

*****************************************************************************

3. Cambie el usuario a hdfs:

bu-hadoop_distribution-1a-nn:/submittals/Beta_1-3_RC # su - hdfshdfs@bu-hadoop_distribution-1a-nn:~> whoamihdfs


Completar la configuración del agente de aplicación de Hadoop 27

hdfs@bu-hadoop_distribution-1a-nn:~>

*****************************************************************************

4. Escriba el siguiente comando: hdboost --listconfig:

hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin> ./hdboost --listconfigHadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1

Directories:

Primary Secondary maxDevice ID Device ID maps Source URI========= ========= ==== ====================[Empty]

Devices:

ID Device Kerberos Credential Cache==== ====== ==============================[Empty]

Master Device:

target:secondary-target:

Env:

DDHCFS_KERBEROS: enabledHADOOP_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jarMR2_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jarJAVA_LIBRARY_PATH: /usr/lib/dlp/lib64HADOOP_BIN_PATH: /usr/bin

hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin>

*****************************************************************************

5. Deshabilite Kerberos y luego ejecute el comando hdboost --listconfig:

hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin> ./hdboost -K --disableHadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1

Kerberos is disabled.hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin>hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin>hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin> ./hdboost --listconfigHadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1

Directories:


Devices:

ID Device==== ======[Empty]



Master Device:

target:secondary-target:

Env:

DDHCFS_KERBEROS: disabledHADOOP_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jarMR2_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jarJAVA_LIBRARY_PATH: /usr/lib/dlp/lib64HADOOP_BIN_PATH: /usr/bin


*****************************************************************************

6. Agregue el primer sistema Data Domain y luego ejecute el comando hdboost--listconfig:

hdfs@bu-hadoop-1a-nn:/opt/emc/dlp/bin> ./hdboost -a --device [email protected]:hadoop_distributionHadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1

Are you sure (Y/N)? y

Enter password:Enter password again:

Directories:


Devices:

ID Device==== ====== 1 [email protected]:hadoop

Master Device:

target: 1secondary-target:

Env:


hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin>hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin>hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin> ./hdboost --listconfigHadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1

Directories:

Primary Secondary max


Completar la configuración del agente de aplicación de Hadoop 29

Device ID Device ID maps Source URI========= ========= ==== ====================[Empty]

Devices:

ID Device==== ====== 1 [email protected]:hadoop

Master Device:


Env:


hdfs@bu-hadoop-1a-nn:/opt/emc/dlp/bin>

*****************************************************************************

7. Agregue el URI de HDFS src y luego ejecute el comando hdboost --listconfig:

hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin> ./hdboost -a -o hdfs://nameservice1/test --deviceid 1Hadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1


Directories:

Primary Secondary maxDevice ID Device ID maps Source URI========= ========= ==== ==================== 1 hdfs://nameservice1/test

Devices:

ID Device==== ====== 1 [email protected]:hadoop_distribution

Master Device:


Env:



*****************************************************************************



8. Agregue el URI de HBase Src y luego ejecute el comando hdboost --listconfig:

hdfs@bu-hadoop_distribution-1a-nn:/opt/emc/dlp/bin> ./hdboost -a -o hbase://nameservice1/table1 --deviceid 1Hadoop App Agent Version: 1.0.0.0 Build: beta_1_3_1


Directories:

Primary Secondary maxDevice ID Device ID maps Source URI========= ========= ==== ==================== 1 hdfs://nameservice1/test 1 hbase://nameservice1/table1

Devices:

ID Device==== ====== 1 [email protected]:hadoop_distribution

Master Device:


Env:



*****************************************************************************

Ahora está listo para respaldar HDFS/test directory o HBasetable:table1, o ambos.

Conexión del agente de aplicación de Hadoop al ambienteHadoop

Realice los siguientes pasos para conectar el agente de aplicación de Hadoop alambiente Hadoop.Para ambientes con autenticación Kerberos, el comando --addconfig --devicecon la opción --kerberoscc registra el parámetro --kerberoscc en el archivodlp_cfg.json. Si el dispositivo que desee agregar ya existe en el archivo deconfiguración, la caché de credenciales que especificó en el comando actualiza laentrada existente. Para todos los demás comandos del agente de aplicación deHadoop, el parámetro --kerberoscc tiene prioridad sobre la caché de credencialesconfigurada para la comprobación de identidad correspondiente. Sin embargo, no serealiza ninguna actualización en el archivo de configuración.

Procedimiento

1. Inicie sesión en el nodo de nombre de Hadoop como administrador del sistema.


Conexión del agente de aplicación de Hadoop al ambiente Hadoop 31

2. Ejecute el siguiente comando para comprobar si hay advertencias de bibliotecasnativas de Hadoop:

hadoop checknative -a

Nota

Si sabe que todas las bibliotecas están presentes, puede omitir este paso. Sinembargo, se recomienda que ejecute el comando para garantizar que cuentacon los archivos que necesita para evitar problemas de soporte innecesarios.

El siguiente ejemplo muestra el resultado que se obtiene al ejecutar checknativesi hay un problema:

[hdfs@hadoop1-nn ~]$ hadoop checknative -a 16/04/14 09:33:45 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native 16/04/14 09:33:45 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking: hadoop: true /opt/hadoop/parcels/CDH-5.4.8-1.cdh5.4.8.p0.4/lib/hadoop/lib/native/libhadoop.so.1.0.0 zlib: true /lib64/libz.so.1 snappy: true /opt/hadoop/parcels/CDH-5.4.8-1.cdh5.4.8.p0.4/lib/hadoop/lib/native/libsnappy.so.1 lz4: true revision:99 bzip2: true /lib64/libbz2.so.1 openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)! [hdfs@hadoop1-nn ~]$

El siguiente ejemplo muestra los pasos necesarios para reparar el error:

[root@hadoop1-nn ~]# yum whatprovides */libcrypto.so [root@hadoop1-nn ~]# yum install */libcrypto.so [root@hadoop1-nn ~]# hadoop checknative -a 16/04/14 10:04:24 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native 16/04/14 10:04:24 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking: hadoop: true /opt/hadoop/parcels/CDH-5.4.8-1.cdh5.4.8.p0.4/lib/hadoop/lib/native/libhadoop.so.1.0.0 zlib: true /lib64/libz.so.1 snappy: true /opt/hadoop/parcels/CDH-5.4.8-1.cdh5.4.8.p0.4/lib/hadoop/lib/native/libsnappy.so.1 lz4: true revision:99 bzip2: true /lib64/libbz2.so.1 openssl: true /usr/lib64/libcrypto.so [root@hadoop1-nn ~]#

3. Ejecute el siguiente script de shell de configuración para consultar y configurarlas variables de ambiente y las rutas de archivos de biblioteca para la instalación:

/opt/emc/dlp/config/dlp_config_hadoop

Este comando solicita al usuario lo siguiente:

l La distribución de Hadoop (Cloudera o Hortonworks).

l La versión de libjvm.so y libhdfs.so para utilizar.

l La ubicación de los binarios de Hadoop.

l Información de HBase si HBase está en uso.

Este comando completa las siguientes acciones:

l Configura la ruta de clase utilizada por el agente de aplicación de Hadoop(hadoop classpath --glob).

l Actualiza el enlazador dinámico (ldconfig).

l Crea el archivo /opt/emc/dlp/tmp/dlp_cfg.json.tmp que luegohdboost utiliza para crear el archivo dlp_cfg.json.

Conexión de Hadoop al sistema Data Domain.Antes de comenzar

Si no se utiliza Kerberos, primero debe deshabilitarlo mediante la ejecución dehdboost {--kerberos|-K} --disable.



Una o más unidades de almacenamiento de DD Boost de destino en el Data Domaindeben configurarse para almacenar los respaldos del ambiente Hadoop.

Realice los siguientes pasos para conectar objetos de Hadoop a destinos de respaldoen el sistema Data Domain.

Procedimiento

1. Configure un destino de respaldo en el sistema Data Domain para los archivosde credenciales y la configuración del agente de aplicación de Hadoop.

Ejecute el siguiente comando:hdboost {--addconfig|-a} --device<user>@<hostname>:<device-path> [ --kerberosscc<credential-cache>]hdboost --addconfig --device [email protected]:pc_hdp -y Enter password: Enter password again:

2. Configure el objeto de origen para el respaldo en el destino, en el sistema DataDomain.

Ejecute el siguiente comando:hdboost --addconfig -o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>} --deviceid <ID>

Nota

Para el parámetro deviceid, especifique el ID de destino configurado en elpaso anterior.

P

hdboost --addconfig -o hdfs://suse11sp301/test_hdboost --deviceid <ID> [ --kerberoscc <credential-cache> ]

Configuración de múltiples sistemas Data DomainEl agente de aplicación de Hadoop es compatible con el uso de varios sistemas DataDomain como destinos de respaldo para el ambiente Hadoop. Para usar lafuncionalidad de replicación de Data Domain, se requiere un sistema Data Domainsecundario.

De forma predeterminada, el primer sistema Data Domain que se agrega a laconfiguración se convierte en el Data Domain maestro, que sirve como destino derespaldo para los metadatos y la configuración. Sin embargo, es posible designar unsistema subsiguiente como el Data Domain maestro.

1. Agregue el primer sistema Data Domain a la configuración:hdboost {--addconfig|-a} --device <user>@<hostname>:<device-path>hdboost --addconfig --device [email protected]:pc_hdp -y Enter password: Enter password again: [email protected]:pc_hdp will get configured as target 1

2. Agregue el segundo sistema Data Domain a la configuración:hdboost {--addconfig|-a} --device <user>@<hostname>:<device-path>hdboost --addconfig --device [email protected]:pc_hdp -y Enter password: Enter password again: [email protected]:pc_hdp will get configured as target 2

3. Establezca el segundo sistema Data Domain como el maestro:


Configuración de múltiples sistemas Data Domain 33

hdboost {--addconfig|-a} --master --deviceid <ID>hdboost --addconfig --master --deviceid 2

Configurar la replicaciónAntes de comenzar

La replicación requiere al menos dos sistemas Data Domain y una licencia dereplicación de Data Domain.

El agente de aplicación de Hadoop proporciona la capacidad de restaurar los respaldosque se replicaron a un sistema Data Domain secundario, pero no proporciona ningúncontrol sobre el proceso de replicación. Para obtener más información, consulte laGuía de administración de EMC Data Domain Operating System.Realice los siguientes pasos para especificar otro sistema Data Domain como un origensecundario para restaurar respaldos si el origen principal está offline.

Procedimiento

1. Especifique un sistema secundario para el Data Domain maestro.

Ejecute el siguiente comando:hdboost {--addconfig|-a} --master --deviceid <ID> --secondary <ID>hdboost --addconfig --master --deviceid 1 --secondary 2

2. Especifique un sistema secundario desde el cual desee restaurar un objeto deHadoop o la tabla de HBase

Ejecute el siguiente comando:hdboost --addconfig -o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>} --deviceid <ID> --secondary <ID>hdboost --addconfig -o hdfs://suse11sp301/test_hdboost --deviceid 1 --secondary 2

Configuración de KerberosEl agente de aplicación de Hadoop es compatible con la autenticación Kerberos.

Nota

Kerberos debe configurarse correctamente antes de que se agreguen dispositivosData Domain.

De manera opcional, realice los siguientes pasos para configurar Kerberos.

Nota

Kerberos está habilitado de manera predeterminada.

Procedimiento

1. Habilitación o deshabilitación de Kerberos

l Habilitar Kerberos:hdboost -K --enablehdboost -K --enable Kerberos is enabled

l Deshabilitar Kerberos:hdboost -K --disable



hdboost -K --disable Kerberos is disabled2. Configurar la caché de credenciales de Kerberos.

Nota

La caché de credenciales se requiere cuando Kerberos está en uso. Si no seespecifica, el sistema la solicita cuando se agregan dispositivos Data Domain.

Ejecute el siguiente comando:hdboost -a --device [email protected]:pc_master -y Hadoop App Agent Version: 1.0.0.0 Build: beta_1_2_1 Enter Kerberos credential cache: /tmp/kcc3

Parámetro MapsDe forma predeterminada, se usan 20 mapas para trabajos de copia distribuida deHadoop (DistCP), lo que incluye el respaldo y la configuración de hdboost. Sinembargo, se puede configurar el parámetro maps manualmente para especificar unlímite máximo para la cantidad de trabajos de mapeo que pueden ejecutarse enllamadas del agente de aplicación de Hadoop a DistCP. Este parámetro también sepuede utilizar para establecer un límite respecto del número de conexionessimultáneas al sistema o los sistemas Data Domain en el ambiente.

La configuración de este parámetro afectará el rendimiento del respaldo.

hdboost --addconfig -o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>} --deviceid <ID> --maps <n>hdboost --addconfig -o hdfs://suse11sp301/test_hdboost --deviceid 1 --maps 20


Parámetro Maps 35



CAPÍTULO 5

Administración del agente de aplicación deHadoop


l Descripción general del respaldo........................................................................ 38l Descripción general del flujo de datos................................................................ 40l Respaldo de datos de HBase en un sistema Data Domain................................... 41l Respaldo de datos HBase en un sistema Data Domain........................................ 41l Descripción general de la restauración............................................................... 42l Restaurar un respaldo de HDFS......................................................................... 43l Restauración de un respaldo de HBase...............................................................43l Restauración de un respaldo replicado............................................................... 44l Enumerar configuraciones de respaldo...............................................................46l Enumerar respaldos........................................................................................... 46l Búsqueda de respaldos.......................................................................................46l Limpieza de respaldos........................................................................................ 47l Eliminación de respaldos.................................................................................... 47l Actualización de la caché de credenciales de Kerberos...................................... 48l Probar la conexión al sistema Data Domain........................................................ 48l Cambio de fechas de retención.......................................................................... 49l Borrar la configuración de respaldo....................................................................50l Restaurar la configuración................................................................................. 50l Mostrar versión de software.............................................................................. 50

Administración del agente de aplicación de Hadoop 37

Descripción general del respaldoEl agente de aplicación de Hadoop utiliza la funcionalidad nativa de Hadoop pararespaldar datos de HDFS y tablas de HBase en una unidad de almacenamiento de DDBoost en un sistema Data Domain.

Todas las operaciones de respaldo son controladas desde el nodo de nombre deHadoop. No se requieren montajes, rutas, librerías ni ajustes de configuraciónadicionales en los nodos de datos del clúster.

Tenga en cuenta las siguientes reglas para la creación de respaldos con el agente deaplicación de Hadoop:

l Utilice 10 GbE o una conectividad de red más rápida si es posible.

l La cantidad de tiempo necesario para completar un respaldo varía según lossiguientes factores:

n La cantidad y el tipo de sistemas Data Domain en el ambiente.

n El tamaño del clúster de Hadoop.

n La cantidad de datos que se debe respaldar.

Nota

Por lo general, el primer respaldo es el que lleva más tiempo. Es probable que eltiempo necesario para completar los respaldos posteriores disminuya debido ala deduplicación de datos, pero igualmente variará según la cantidad de datosnuevos que se agreguen entre los respaldos.

n La infraestructura de red en el ambiente.

Metadatos de respaldoEl agente de aplicación de Hadoop utiliza los siguientes metadatos para identificar demanera única cada respaldo.

l Nombre de clúster o host de nodo de nombre

l Tipo de respaldo

l Nombre del directorio de Hadoop o nombre de la tabla de HBase

l Timestamp

Los metadatos de respaldo:

l Se almacenan en la siguiente ruta: <install-path>/backup-history/dlp.idx

l Se respaldan en la siguiente ruta: ddhcfs://<dd-host>/<dev-path>/metadata/<version>/hadoop/dlp.idx, donde <dev-path> es la unidad dealmacenamiento de DD Boost creada en el sistema Data Domain maestro.

Configurar URI de objetosComo alternativa a la configuración de información de respaldo con la CLI, los URI derespaldo pueden crearse directamente en el archivo de configuración del agente deaplicación de HDFS. Pueden crearse URI para objetos de Hadoop y tablas de HBase. Sino se especifica ningún objeto como parte de un comando de respaldo, se respaldarántodos los URI válidos en el archivo de configuración. Si el URI especifica un directoriode instantáneas de HBase o HDFS, todas las instantáneas de usuario se incluirán comoparte del respaldo.

Administración del agente de aplicación de Hadoop


Especifique URI en el archivo de configuración en el siguiente formato, separados porcomas:

l URI de HDFS:

"backup-configuration": { "URI": "hdfs:\/\/hadoop.emc.com\/users\/user1", "device": { "id": "1" }, "secondary": { "device": { "id": "2" } } }

l URI de HBase:

"backup-configuration": { { "URI": "hbase:\/\/hadoop.emc.com\/\/table1", "device": { "id": "1" }, "secondary": { "device": { "id": "2" } } }

Opciones comunes de respaldo de la CLILas siguientes opciones de la CLI pueden utilizarse para modificar el funcionamiento delos comandos hdboost --backup.

Opción de comando Descripción

--until Especifique el tiempo de retención para elrespaldo.

--maps <maps> Especifique la cantidad máxima de mapeosque se usará para el trabajo de respaldo.Reemplace el parámetro global maps si estáconfigurado.

-N No respalde información de configuración.

-P Conserve la instantánea temporal que creó enel ambiente Hadoop.

-D Debug envía información detallada a losregistros almacenados en /var/opt/dlp/logs.

-y Asuma que la respuesta a todos losindicadores de usuario es sí para permitir quelas operaciones se incluyan en un script.


Descripción general del respaldo 39

Descripción general del flujo de datosFigura 1 Flujo de datos

1. El usuario solicita que se respalde una ruta de directorio en el agente de aplicaciónde Hadoop mediante la consola.

2. El agente de aplicación de Hadoop copia el archivo de configuración dedlp_cfg.json en el dispositivo Data Domain maestro.Si Kerberos está activo, el archivo de credenciales de Kerberos se pasa a lasbibliotecas de BoostFS para la autenticación.

3. El agente de aplicación de Hadoop solicita una instantánea del sistema de archivosa través de la interfaz de Hadoop.

4. El NameNode toma la ruta de una instantánea a menos que la ruta ya sea unainstantánea.El usuario debe haber configurado anteriormente este directorio para permitir quese tomen instantáneas.

5. La instantánea se guarda en el directorio <path>/.snapshot del sistema dearchivos de HDFS.

6. La instantánea del sistema de archivos se respalda en el dispositivo Data Domain.

7. El agente de aplicación de Hadoop elimina la instantánea de forma predeterminada,con la opción para conservarla.



8. Se crea el índice de respaldos.

Respaldo de datos de HBase en un sistema Data DomainAntes de comenzar

Las conexiones entre el clúster de Hadoop y el sistema Data Domain debenconfigurarse como se describe en Configuración del agente de aplicación deHadoop en la página 25.

El período de retención se establece en el comando hdboost --backup. El período deretención es relativo a la fecha actual y se indica en el siguiente formato:

l #y: se refiere a la cantidad de años para la retención de datos.

l #m: se refiere a la cantidad de meses para la retención de datos.

l #d: se refiere a la cantidad de días para la retención de datos.

Cada parámetro de tiempo puede usarse individualmente, pero también puedeespecificar #y, #m y #d en la misma línea. Por ejemplo, “1y 3m 2d” obtendría untiempo de retención de 1 año, 3 meses y 2 días desde la fecha actual.

Un tiempo de retención en el formato aaaa-mm-dd conserva el respaldo hasta la fechaespecificada. Si la fecha o la ruta especificadas no son válidas, verá un mensaje deerror.

Realice el siguiente paso para respaldar datos de HDFS en el sistema Data Domain.

Procedimiento

1. Inicie el respaldo de HDFS en el sistema Data Domain.

Ejecute el siguiente comando:hdboost {--backup|-b} [--until forever | <retention-period>] [-o hdfs://<hostname>/<dir>]

Nota

l Si no se especifica ningún período de retención, el valor predeterminado estres meses.

l Especifique un período de retención en el formato [#y] [#m] [#d] o yyyy-mm-dd.

hdboost --backup --until 6m -o hdfs://suse11sp301/test_hdboost

Respaldo de datos HBase en un sistema Data DomainAntes de comenzar

Las conexiones entre el clúster de Hadoop y el sistema Data Domain debenconfigurarse como se describe en Configuración del agente de aplicación deHadoop en la página 25.

Realice el siguiente paso para respaldar datos HBase en el sistema Data Domain.

Nota

Se respalda solo una tabla de HBase a la vez.


Respaldo de datos de HBase en un sistema Data Domain 41

Procedimiento

1. Inicie el respaldo de HBase en el sistema Data Domain.

Ejecute el siguiente comando:hdboost {--backup|-b} [--until forever | <retention-period>] [-o hbase://<hostname>/<table>]

Nota

l Si no se especifica ningún período de retención, el valor predeterminado estres meses.

l Especifique un período de retención en el formato [#y] [#m] [#d] o yyyy-mm-dd.

hdboost --backup --until 6m -o hbase://suse11sp301/table1

Descripción general de la restauraciónEl agente de aplicación de Hadoop proporciona la capacidad para realizar lossiguientes tipos de operaciones de restauración para copiar datos del sistema DataDomain en el clúster de Hadoop:

l Restauración completa de datos de Hadoop

l Restauración parcial de datos de Hadoop

l Restauración completa de una tabla de HBase

Las operaciones de restauración se pueden completar mediante el respaldo original oun respaldo replicado en un sistema Data Domain secundario.

El agente de aplicación de Hadoop realiza las operaciones de restauración sin lanecesidad de montar el sistema Data Domain en ningún nodo del clúster de Hadoop.

Todas las operaciones de restauración son controladas desde el nodo de nombre deHadoop. No se requieren montajes, rutas, librerías ni ajustes de configuraciónadicionales en los nodos de datos del clúster.

Tenga en cuenta las siguientes reglas para la creación de respaldos con el agente deaplicación de Hadoop:

l Utilice 10 GbE o una conectividad de red más rápida si es posible.

l La cantidad de tiempo necesario para completar una restauración varía según lossiguientes factores:

n La cantidad y el tipo de sistemas Data Domain en el ambiente.

n El tamaño del clúster de Hadoop.

n La cantidad de datos que se restaurará.

n La infraestructura de red en el ambiente.

URI de restauraciónSi existen URI de respaldo válidos en el archivo de configuración, es posible especificarlos URI para operaciones de restauración.

Opciones comunes de la CLI de restauraciónLas siguientes opciones de la CLI pueden utilizarse para modificar el funcionamiento delos comandos hdboost --restore.




-R <destination> Restaure en un destino alternativo.

-p Restaure desde el sistema Data Domainsecundario.



Restaurar un respaldo de HDFSRealice los siguientes pasos para recuperar un respaldo de HDFS.

Procedimiento

1. Inicie la restauración de HDFS desde el sistema Data Domain.

Ejecute el siguiente comando:hdboost {--restore|-r} -o {<backup-URI> | hdfs://<hostname>/<dir>[/<subdirectory>]} [--deviceid <ID> | --device user@hostname:<device-path>]

Nota

Se puede restaurar un respaldo parcial mediante la especificación de una rutadel subdirectorio dentro del directorio de nivel superior.

hdboost --restore -o hdfs://suse11sp301/test_hdboost

Restauración de un respaldo de HBaseRealice el siguiente paso para recuperar un respaldo de HBase.

Nota

La distribución de Hadoop en el sistema de destino de restauración de HBase debetener la misma versión, o una versión posterior, que la distribución de Hadoop en elsistema de origen de respaldo.

Procedimiento

1. Inicie la restauración de HBase desde el sistema Data Domain.

Ejecute el siguiente comando:hdboost {--restore|-r} -o {<backup-URI> | hbase://<clustername>/<tablename>} [--deviceid <ID> | --deviceuser@hostname:<device-path>]

Nota

Los respaldos de HBase deben restaurarse de a una tabla por vez.


Restaurar un respaldo de HDFS 43

hdboost --restore -o hbase://suse11sp301/table1

Restauración de un respaldo replicadoAntes de comenzar

La replicación debe realizarse fuera el agente de aplicación de Hadoop.El Data Domain que funciona como el destino de replicación debe agregarse a laconfiguración. Ejecute el siguiente comando:hdboost {--addconfig|-a} --device <user>@<hostname>:<device-path> [ --kerberoscc <credential-cache> ]hdboost --addconfig --device [email protected]:pc_hdp -y Enter password: Enter password again:

[email protected]:pc_hdp se configurará como el destino 2.

Nota

Si Kerberos está habilitado, debe agregar el nombre de ruta al archivo de caché decredenciales.

Realice los siguientes pasos para restaurar un respaldo replicado.

Procedimiento

1. Modifique la configuración de respaldo para incluir el respaldo replicado.

Ejecute el siguiente comando:hdboost {--addconfig|-a} -o <object> --deviceid <primary-Data-Domain-system-ID> --secondary <secondary-Data-Domain-system-ID>

hdboost --addconfig -o hdfs://suse11sp301/test_hdboost --deviceid 1 --secondary 2 Are you sure (Y/N)? y Directories: Primary Secondary max Device ID Device ID maps Source URI ========= ========= ==== ==================== 1 2 hdfs://bu-hdp-nn.lss.emc.com/dlpmtest1 1 hbase://bu-hdp-nn.lss.emc.com/emp1 Devices: ID Device Kerberos Credential Cache ==== ====== ============================== 1 [email protected]:tahoe1 /tmp/krb5cc_tahoe1 2 [email protected]:tahoe1 /tmp/krb5cc_tahoe1 3 [email protected]:tahoe2 /tmp/krb5cc_tahoe1 Master Device: target: 1 secondary-target: Env: DDHCFS_KERBEROS: enabled HADOOP_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jar MR2_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jar JAVA_LIBRARY_PATH: /usr/lib/dlp/lib64 HADOOP_BIN_PATH: /usr/bin

2. Restaure el respaldo desde el sistema Data Domain secundario.

Ejecute el siguiente comando:hdboost {--restore|-r} -o <object> -phdboost --restore -o hdfs://suse11sp301/test_hdboost -p

Restaurar un respaldo replicado con un reemplazo de ID de dispositivoSi existe un respaldo replicado en un sistema Data Domain que no es parte de laconfiguración del agente de aplicación de Hadoop, puede realizarse una restauraciónagregando el sistema Data Domain a la configuración y especificándolo como laubicación para obtener el respaldo para la operación de restauración.

Complete los siguientes pasos para restaurar un respaldo con un reemplazo de ID dedispositivo.



Nota


Procedimiento

1. Agregue un sistema Data Domain a la configuración.

Ejecute el siguiente comando:hdboost {--addconfig|-a} --device<user>@<hostname>:<device-path>hdboost --addconfig --device [email protected]:pc_hdp -y Enter password: Enter password again: [email protected]:pc_hdp will get configured as target 3

2. Restaure el respaldo desde el nuevo sistema Data Domain.

Ejecute el siguiente comando:hdboost {--restore|-r} -o <object> --deviceid <ID>hdboost --restore -o hdfs://suse11sp301/test_hdboost --deviceid 3

Restaurar un respaldo replicado con un reemplazo de dispositivoSi existe un respaldo replicado en un sistema Data Domain que no es parte de laconfiguración del agente de aplicación de Hadoop, puede realizarse una restauraciónagregando el sistema Data Domain a la configuración y especificando el URI dedispositivo como la ubicación para obtener el respaldo para la operación derestauración.

Realice los siguientes pasos para restaurar un respaldo con un reemplazo dedispositivo.

Nota


Procedimiento

1. Agregue un sistema Data Domain a la configuración.

Ejecute el siguiente comando:hdboost {--addconfig|-a} --device<user>@<hostname>:<devicepath> hdboost --addconfig --devicehdboost --addconfig --device [email protected]:pc_hdp -y Enter password: Enter password again: [email protected]:pc_hdp will get configured as target 4

2. Restaure el respaldo desde el sistema Data Domain.

Ejecute el siguiente comando:hdboost {--restore|-r} -o <object> --device<username>@<hostname>:<device-path>hdboost --restore -o hdfs://suse11sp301/test_hdboost --device [email protected]:pc_hdp


Restaurar un respaldo replicado con un reemplazo de dispositivo 45

Enumerar configuraciones de respaldoEl agente de aplicación de Hadoop puede enumerar la configuración de respaldo paraun dispositivo especificado, el sistema Data Domain maestro o un objeto de respaldoespecificado, o para todos los objetos y los dispositivos en la configuración.Complete el paso siguiente para enumerar la información de configuración de respaldo.

Procedimiento

1. Especifique un dispositivo o un objeto para el cual desee enumerar laconfiguración de respaldo.

Ejecute el siguiente comando:hdboost {--listconfig|-k} {-? | [--deviceid <ID> | --device <username>@<hostname>:<device-path> | --master | -o<object>]}hdboost –-listconfig Directories: Primary Secondary max Device ID Device ID maps Source URI ========= ========= ==== ==================== 1 2 hdfs://bu-hdp-nn.lss.emc.com/dlpmtest1 1 hbase://bu-hdp-nn.lss.emc.com/emp1 Devices: ID Device Kerberos Credential Cache ==== ====== ============================== 1 [email protected]:tahoe1 /tmp/krb5cc_tahoe1 2 [email protected]:tahoe1 /tmp/krb5cc_tahoe1 3 [email protected]:tahoe2 /tmp/krb5cc_tahoe1 Master Device: target: 1 secondary-target: Env: DDHCFS_KERBEROS: enabled HADOOP_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jar MR2_CLASSPATH: /opt/emc/dlp/java/ddhcfs.jar JAVA_LIBRARY_PATH: /usr/lib/dlp/lib64 HADOOP_BIN_PATH: /usr/bin

Enumerar respaldosEl agente de aplicación de Hadoop proporciona la capacidad de enumerar los respaldoscompletados de un objeto de respaldo específico, dentro de un rango de fechasespecificado, o todos los respaldos en el sistema.Complete el paso siguiente para enumerar información de respaldo.

Procedimiento

1. Especifique los parámetros para enumerar respaldos.

Ejecute el siguiente comando:hdboost {--list|-l} { -? | [-o <object>] [[[--before|--after] yyyy[-mm[-dd[.hh[-mm[-ss]]]]] | --from yyyy[-mm[-dd[.hh[-mm[-ss]]]] --to yyyy[-mm[-dd[.Thh[-mm[-ss]]]]] }

hdboost --list -o hdfs://suse11sp301/test_hdboost Snapshot Time Backup Start Backup End Retention Backup URI =============== =============== =============== ========= ============ 20160624T170940 20160624T170948 20160624T171038 20160924 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160624T170940 20160627T121835 20160627T121844 20160627T121931 20160927 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160627T121835 20160627T153051 20160627T153102 20160627T153150 20160927 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160627T153051

Búsqueda de respaldosEl agente de aplicación de Hadoop permite buscar un respaldo específico.Complete el paso siguiente para buscar un respaldo.



Procedimiento

1. Especifique los parámetros de búsqueda.

Ejecute el siguiente comando:hdboost {--search|-s} {-? | -o {<backup-URI>| hdfs://<hostname>/<dir>} {--for object |--regex expression} [-L][-V]}

Nota

Especifique la opción -L para mostrar información detallada sobre el respaldo,lo que incluye:

l UID:GIDl Fecha

l Tamaño del archivo

Especifique la opción -V para buscar el objeto en las subcarpetas.

hdboost --search -o hdfs://suse11sp301/test_hdboost --for dd_test.txt -V -L -rw-r--r-- unknown unknown 23 2016-Jun-27 19:31:40 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160627T153051/dd_test.txt -rw-r--r-- unknown unknown 23 2016-Jun-27 19:31:36 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160627T153051/dir1/dd_test.txt

Limpieza de respaldosEl agente de aplicación de Hadoop proporciona la capacidad de limpiar los respaldoscon tiempos de retención transcurridos. Los respaldos vencidos no se eliminanautomáticamente.Realice el siguiente paso para limpiar los respaldos vencidos.

Procedimiento

1. Limpie los respaldos vencidos en el sistema.

Ejecute el siguiente comando:hdboost {--expire|-e} [--dryrun] [-D] [-y]

Nota

Use la opción --dryrun para mostrar los resultados de la operación sin limpiarlos respaldos vencidos.

hdboost --expire --dryrun -D -y No expired backups have been found.

Eliminación de respaldosRealice el siguiente paso para eliminar uno o más respaldos. De manera opcional,especifique un objeto de respaldo específico para eliminar o especifique un rango defechas para eliminar todos los respaldos que se encuentran dentro del rangoespecificado.


Limpieza de respaldos 47

Nota

Esta operación eliminará un respaldo incluso si su período de retención aún está activo.

Procedimiento

1. Elimine el respaldo o los respaldos especificados.

Ejecute el siguiente comando:hdboost {--delete|-d} {-? | [-o <object>] [[[--before|--after] yyyy[-mm[-dd[.hh[-mm[-ss]]]]] | --from yyyy[-mm[-dd[.hh[-mm[-ss]]]] --to yyyy[-mm[-dd[.hh[-mm[-ss]]]] ] [-y] } [--dryrun]hdboost --delete -o hdfs://suse11sp301/test_hdboost Delete: 'ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160624T170940' Are you sure (Y/N)? n Delete: 'ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160627T121835' Are you sure (Y/N)? y Delete: 'ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hdfs/suse11sp301/test_hdboost/20160627T153051' Are you sure (Y/N)? n

Actualización de la caché de credenciales de KerberosDespués de un período de tiempo, la caché de credenciales de Kerberos vence.Después del vencimiento, los comandos hdboost no funcionarán en un ambienteKerberos sin la reinicialización de la caché de credenciales.Complete los siguientes pasos para reinicializar la caché de credenciales de Kerberos:

Procedimiento

1. Reinicialice la caché de credenciales de Kerberos.

Ejecute el siguiente comando:kinit hdfs -c <dir>/<kerberos-file-name>kinit hdfs -c /opt/emc/dlp/credentials/kerberos_cc_file

Probar la conexión al sistema Data DomainEl agente de aplicación de Hadoop proporciona la capacidad para probar la conexiónentre el nodo de nombre de Hadoop y el sistema Data Domain en el ambiente. Elcomando puede tardar hasta 10 minutos en dar una respuesta negativa, ya que realizatres intentos de ponerse en contacto con el sistema Data Domain especificado.Complete los siguientes pasos para probar la conexión a un sistema Data Domain.

Procedimiento

1. Mostrar los sistemas Data Domain en la configuración

Ejecute el siguiente comando:hdboost --listconfighdboost –-listconfig Hadoop App Agent Version: 1.0.0.0 Directories: Primary Secondary Device ID Device ID maxmaps Source URI --------- --------- -------- -------------------- Devices: ID Device ---- ------------------------------------------------ 1 [email protected]:devpath 2 [email protected]:master Master Device: target: 2 secondary-target:

2. Especifique un sistema Data Domain para probar la conexión.



Nota

Quite el ID de destino para probar la conexión a todos los sistemas Data Domainen la configuración del agente de aplicación de Hadoop.

Ejecute el siguiente comando:hdboost {--test|-T]} {-? | [deviceid] } [-D]hdboost --test 1 hdfs@bu-cloudera1-sn:/root> hdboost --test 1 Hadoop App Agent Version: 1.0.0.0 Build: 10_1 The device [1] is effective.

Cambio de fechas de retenciónEl agente de aplicación de Hadoop proporciona la capacidad de cambiar las fechas deretención de uno o más respaldos después de que se crean esos respaldos. Hay dostipos de fecha de retención que se pueden modificar:

l Fecha de retención absoluta: Defina una fecha de vencimiento nueva para unaúnica instancia de respaldo, para un rango de instancias de un solo objeto derespaldo o para todos los respaldos de un solo objeto de respaldo dentro de unrango de tiempo especificado.

l Fecha de retención relativa: Agregue o reste un número especificado de meses,días o años al período de retención para una única instancia de respaldo, para unrango de instancias de un solo objeto de respaldo o para todos los respaldos de unsolo objeto de respaldo dentro de un rango de tiempo especificado.

Realice los siguientes pasos para cambiar la fecha de retención de un respaldo.

Procedimiento

1. Enumere los respaldos en el sistema Data Domain

Ejecute el siguiente comando:hdboost -l

hdboost -l Snapshot Time Backup Start Backup End Retention Backup URI =============== =============== =============== ========= ============ 20160627T160030 20160627T160050 20160627T160254 20160927 ddhcfs://[email protected]:cloudera1_k/data/1/hadoop/hdfs/nameservice1/test1/20160627T160030

2. Cambie la fecha de retención absoluta o relativa de un respaldo.

l Para cambiar la fecha de retención absoluta, ejecute el siguiente comando:hdboost {--retention|-t} { -? | [-o <object>] [[[--before|--after] yyyy[-mm[-dd[.hh[-mm[-ss]]]]] | --fromyyyy[-mm[-dd[.hh[-mm[-ss]]]] --to yyyy[-mm[-dd[.hh[-mm[-ss]]]] ] {--until {yyyy-mm-dd|forever} [-y] }

hdboost --retention -o hdfs://nameservice1/test1 --until 2016-12-31 Update retention: 'ddhcfs://[email protected]:cloudera1_k/data/1/hadoop/hdfs/nameservice1/test1/20160627T160030'. Are you sure (Y/N)? y

l Para cambiar la fecha de retención relativa, ejecute el siguiente comando:hdboost {--retention|-t} { -? | [-o <object>] [[[--before|--after] yyyy[-mm[-dd[.hh[-mm[-ss]]]]] | --fromyyyy[-mm[-dd[.hh[-mm[-ss]]]] --to yyyy[-mm[-dd[.hh[-mm[-ss]]]] ] {+|-} [#y] [#m] [#d] } [-y] }

hdboost --retention -o hdfs://nameservice1/test1 --until +6m -y Update retention: 'ddhcfs://[email protected]:cloudera1_k/data/1/hadoop/hdfs/nameservice1/test1/20160627T160030'.


Cambio de fechas de retención 49

Borrar la configuración de respaldoEl agente de aplicación de Hadoop proporciona la capacidad de borrar objetos derespaldo específicos o dispositivos de la configuración a medida que cambia elambiente.Realice los siguientes pasos para eliminar un objeto de respaldo de la configuración.

Procedimiento

1. Especifique el objeto de respaldo que se eliminará.

Ejecute el siguiente comando:hdboost {--eraseconfig|-x} { -? | {-o {<object>} | {--deviceid <ID> | --device [<username>@]<hostname>:device-path}} [-y]}hdfs@bu-cloudera1-sn:/root> hdboost --eraseconfig -o hdfs:// nameservice1/test1 Hadoop App Agent Version: 1.0.0.0 Build: 10_1

Restaurar la configuraciónEl agente de aplicación de Hadoop proporciona la capacidad de restaurar laconfiguración en caso de interrupción o daño del archivo de configuración. De formapredeterminada, se restaura el respaldo de configuración más reciente, pero se puederestaurar una configuración anterior mediante la especificación del registro de fecha yhora de su respaldo.Complete el siguiente paso para restaurar la configuración.

Procedimiento

1. Restaure la configuración del agente de aplicación de Hadoop.

Ejecute el siguiente comando:hdboost {--restore|-r} --config {latest | yyyy-mm-dd.hh-mm-ss}hdboost --restore --config 2016-06-29.16-13-43 [hdfs@dh-cloudera1-sn logs]$ hdboost --restore --config 2016-06-29.16-13-43 Hadoop App Agent Version: 1.0.0.0 Build: 11_SNAPSHOT2016062814243 Are you sure (Y/N)? y [hdfs@dh-cloudera1-sn logs] The user may verify the restored configuration using hdboost --listconfig

Mostrar versión de softwareComplete el paso siguiente para mostrar la versión de software del agente deaplicación de Hadoop.

Procedimiento

1. Muestre la versión de software.

Ejecute el siguiente comando:hdboost --version hdfs@bu-cloudera1-sn:/root> hdboost --version Versión del agente de aplicación de Hadoop: 1.0.0.0 Compilación: 10_1 hdfs@bu-cloudera1-sn:/root>



CAPÍTULO 6

Solución de problemas del agente de aplicaciónde Hadoop


l Descripción general de la solución de problemas................................................52l Información de registro...................................................................................... 52

Solución de problemas del agente de aplicación de Hadoop 51

Descripción general de la solución de problemasPara solucionar problemas relacionados con el agente de aplicación de Hadoop, realicelas siguientes acciones para ayudar a diagnosticar y resolver problemas:

l Verifique que el ambiente del agente de aplicación de Hadoop ejecute las versionescompatibles de DD OS y Hadoop.

l Utilice la consola de administración de la distribución de Hadoop (Cloudera oHortonworks) para identificar y resolver problemas con los servicios de clúster.

l Verifique la función básica de las operaciones de Hadoop según lo esperado.

l Verifique el estado de autenticación de Kerberos en el ambiente del agente deaplicación de Hadoop.

l Ejecute las operaciones de la CLI del agente de aplicación de Hadoop con la opción-D para generar registros de depuración detallados.

l Use la opción --dryrun sobre los comandos para vencer, eliminar y obtener unavista previa de los resultados sin tener que realizar la operación.

l Ejecute el comando hdboost --test para probar la conectividad con el sistemaData Domain.

Información de registroCompruebe los siguientes registros para obtener información adicional útil parasolucionar problemas del agente de aplicación de Hadoop:

l Historial de trabajos de Hadoop

l Registros del agente de aplicación de Hadoop en /var/opt/dlp/logsn Registros binarios del agente de aplicación de Hadoop

n Registros de DD BoostFS

n Registros de DDHCFS (uno por cada nodo del clúster de Hadoop)

Toda la actividad normal del agente de aplicación de Hadoop, por ejemplo, iniciar,detener, éxito y falla de las operaciones del agente de aplicación de Hadoop, seregistran como entradas informativas en el /var/opt/dlp/logs/hdboost.<yyyymmdd>.<hhmmss>.<pid>.logDonde:

l <yyyymmdd> es la fecha en que se creó el registro.

l <hhmmss> es la hora en que se abrió el registro.

l <PID> es el ID de proceso del agente de aplicación de Hadoop.

Solución de problemas del agente de aplicación de Hadoop


CAPÍTULO 7

Referencia de comandos del agente deaplicación de Hadoop


l Descripción general de comandos del agente de aplicación de Hadoop..............54l hdboost --addconfig.......................................................................................... 54l hdboost --backup.............................................................................................. 55l hdboost --delete................................................................................................ 57l hdboost --eraseconfig........................................................................................57l hdboost --expire................................................................................................ 58l hdboost --kerberos............................................................................................ 58l hdboost --list..................................................................................................... 58l hdboost --listconfig........................................................................................... 59l hdboost --restore.............................................................................................. 59l hdboost --retention........................................................................................... 60l hdboost --search................................................................................................ 61l hdboost --test....................................................................................................62l hdboost --version...............................................................................................62

Referencia de comandos del agente de aplicación de Hadoop 53

Descripción general de comandos del agente de aplicaciónde Hadoop

Tenga en cuenta las siguientes opciones disponibles con la CLI del agente deaplicación de Hadoop.

AyudaEjecute el comando hdboost {--help|-h} para obtener ayuda general sobre elagente de aplicación de Hadoop.

Para obtener ayuda con un comando específico, ejecute el comando con la opción -?.

Opciones de comandosLas siguientes opciones de comando son válidas en varios comandos del agente deaplicación de Hadoop:


--kerberoscc Especifique el archivo de caché decredenciales de Kerberos.



hdboost --addconfigEl comando hdboost --addconfig permite a los usuarios agregar nuevos sistemas DataDomain al agente de aplicación de Hadoop, especificar el sistema Data Domainmaestro y crear relaciones de sistemas principales y secundarios entre los sistemasData Domain.

hdboost {--addconfig|-a} -? | --master --deviceid <id> [--secondary <sid>] |-o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>} --deviceid <id> [--secondary <sid>] [--maps < maps>] | -‑device user@hostname:device-path [--kerberoscc <credential-cache>] [-D] [‑y] }Configura el respaldo del archivo de configuración, un directorio que se deberespaldar, una tabla de HBase que se debe respaldar o un dispositivo DD de destinopara que almacene los respaldos. Este comando puede utilizarse para agregar nuevossistemas Data Domain que tengan datos de respaldo del agente de aplicación deHadoop de otro clúster a la configuración mediante el ingreso de credenciales de DataDomain y la vinculación con un directorio de destino de restauración.

hdboost {--addconfig|-a} -‑device user@hostname:device-path [--kerberoscc <credential-cache>] [-D] [‑y]Esta opción configura un host de respaldo. El agente de aplicación de Hadoopautomáticamente asignará al sistema Data Domain configurado el siguiente número deID disponible y lo adjuntará a la sección “backup‑devices” del archivo de configuración.Si hay una entrada existente para este DD, se sobrescribirá.

Referencia de comandos del agente de aplicación de Hadoop


Si este es el primer sistema Data Domain que se va a configurar, se agrega a la seccióndel dispositivo maestro del archivo de configuración y se convierte en el destinopredeterminado donde se respaldan los archivos de configuración.

Si usa Kerberos, se especifica solo un nombre de usuario. Si el usuario no proporcionala ubicación de la caché de credenciales de Kerberos con la opción --kerberoscc, sesolicitará la ubicación.

hdboost {--addconfig|-a} ‑‑master --deviceid <id> [--secondary<sid>] [--D] [--y]Este comando especifica un dispositivo configurado como el dispositivo maestro paraalmacenar los metadatos de los respaldos. De forma predeterminada, el primerdispositivo configurado se designará como el dispositivo maestro. Se puede especificarel parámetro --secondary opcional para indicar un destino de replicación.

hdboost {--addconfig|-a} -o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>} --deviceid <id> [‑‑secondary <sid>] [--maps <maps>] [-D] [-y]Esta opción configura un directorio de HDFS o una tabla de HBase de origen que sedeben respaldar en el destino identificado por el número de ID de dispositivo.

Si el objeto de origen se especifica mediante "hdfs://hadoop.emc.com/<directory>",se supone un respaldo del sistema de archivos de HDFS. Si ya se configuró undirectorio primario del origen para el respaldo, se registrará un error y se devolverá alusuario.

Si el objeto de origen se especifica mediante "hbase://hadoop.emc.com/<tablename>", se configura un respaldo de HBase. Cualquier otra cosa genera que seregistre un error y que este se devuelva al usuario. Si hay una configuración existentepara el objeto de origen, se sobrescribirá.

El --deviceid especifica qué configuración de DD se utiliza para realizar el respaldo. Sino hay ningún DD configurado correspondiente a este número, se registra un error yse devuelve al usuario.

Se puede especificar un parámetro --secondary opcional para indicar una replicación.Si no hay ningún DD configurado correspondiente a este número, se registra un error yse devuelve al usuario. El parámetro --maps especifica la cantidad máxima de trabajosde mapeo para ejecutar, lo cual limita la cantidad de conexiones de DD y reduce lacarga en el clúster de Hadoop a expensas de tiempos de respaldo mayores.

hdboost --backupEl comando hdboost --backup inicia operaciones de respaldo del agente de aplicaciónde Hadoop para objetos de Hadoop y tablas de HBase.

hdboost {--backup|-b} { -? | {--until {[#y] [#m] [#d] | yyyy-mm-dd|forever] }} [-o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename}] [--maps <maps>] [--kerberoscc<credential-cache>] [‑N] [-P] [‑D] [‑y] }Este comando toma instantáneas de la tabla de HBase o el directorio especificado ylos respalda.

Nota

Cuando restaure una instantánea de HBase, se sobrescribirán los datos deinstantáneas existentes con el mismo nombre.

Si usa Kerberos, la opción --kerberoscc opcional reemplaza el archivo de caché decredenciales establecido en la configuración del dispositivo de respaldo. Si el usuario


hdboost --backup 55

especifica --kerberoscc y Kerberos no está configurado, se registra un error y sedevuelve al usuario.

El parámetro opcional ‑‑until especifica el tiempo de retención. El tiempo de retenciónen relación con la fecha actual se suministra en el siguiente formato:

l y: La cantidad de años que se debe conservar el respaldo.

l m: La cantidad de meses que se debe conservar el respaldo.

l d: La cantidad de días que se debe conservar el respaldo.

Es posible especificar #y, #m y #d en la misma línea: “1y 3m 2d” obtendría un tiempode retención de 1 año, 3 meses y 2 días desde la fecha local actual.

Un tiempo de retención en el formato aaaa-mm-dd conservará el respaldo hasta lafecha absoluta especificada. Si la fecha o la ruta especificadas no son válidas, sedevolverá un error al usuario. Si no se otorga ningún tiempo de retención, se suponeque el tiempo es de 3 meses desde la fecha actual. El respaldo se conservará hastaque el administrador de DD lo elimine manualmente, hasta que se elimineexplícitamente con una invocación ‑‑delete o hasta que se ejecute una operación‑‑expire una vez pasada la fecha de retención. No tiene sentido tener una granularidadde tiempo de retención de menos de un día. Se supone que la hora es 00:00:00(medianoche) en la fecha especificada.

Si no se especifica ningún objeto de origen, todos los respaldos de HBase y sistemasde archivos configurados se realizan en secuencia. A cada objeto respaldado se le daráun URI de respaldo único. Esto supone que el usuario ha configurado los respaldos demodo que haya suficiente capacidad disponible para almacenarlos todos.

Si el objeto de origen se especifica mediante "hdfs://<hostname> /<directory>", serealiza un respaldo del sistema de archivos. Si ya se configuró un directorio primariodel origen para el respaldo, se registrará un error y se devolverá al usuario porqueHDFS no permite que existan directorios con capacidad para instantáneas dentro delos directorios con capacidad para instantáneas.

Nota

Es posible respaldar todas las instantáneas de usuario de HDFS mediante laespecificación de "hdfs://<hostname>/<directory>/.snapshot/" como el origen; cadainstantánea de usuario se considerará un respaldo individual.

Si el objeto de origen se especifica mediante "hbase://<hostname>/<tablename>", acontinuación, se realiza una copia de seguridad de la tabla de HBase. Cualquier otracosa genera que se registre un error y se devuelva al usuario. Si hay una configuraciónexistente para el objeto de origen, se sobrescribirá.

Si el objeto de origen se especifica como "hbase://<hostname>/.hbase-snapshot/<snapshot_name>", a continuación, se exporta la instantánea al sistema DD. Al igualque con las instantáneas de usuario de HDFS, las instantáneas de usuario de HBase nose eliminan después del respaldo.

Nota

Es posible respaldar todas las instantáneas de usuario de HBase mediante laespecificación de "hbase://<hostname>/.hbase-snapshot/" como el origen; cadainstantánea de usuario se considerará un respaldo individual.

Para el caso de respaldo de HBase o el sistema de archivos, al respaldo se le asigna unURI de respaldo exclusivo. Si se produce un error de invocación, no se asigna ningúnURI de respaldo.



hdboost --deleteEl comando hdboost --delete permite al usuario eliminar uno o más de respaldosalmacenados en el sistema Data Domain.

hdboost {‑-delete|-d} { ‑? | [‑o { <backup-URI> | hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename}] [[ [--before|‑‑after] yyyy[ ‑mm[‑ dd[.hh[‑ mm[ ‑ss]]]]] | ‑‑fromyyyy[‑mm[‑dd[.hh[‑mm[‑ss]]]] ‑‑to yyyy[‑mm[‑dd[.hh[‑mm[‑ss]]]] ][--kerberoscc <credential-cache>] [‑‑dryrun] [‑D] [-y] }Este comando elimina el destino de respaldo que coincide con el URI determinado,independientemente de la fecha de retención, a menos que el administrador de DataDomain haya establecido un bloqueo de retención fuera del agente de aplicación deHadoop.

Si el usuario no especifica ninguna opción, se eliminan todos los respaldos.

La opción ‑o limita la eliminación a un determinado objeto de HBase o sistema dearchivos respaldado.

Todos los respaldos eliminados se registran en el nivel de advertencia.

Si usa Kerberos, la opción --kerberoscc opcional reemplaza el archivo de caché decredenciales establecido en la configuración del dispositivo de respaldo. Si el usuarioespecifica --kerberoscc y Kerberos no está configurado, se registra un error y sedevuelve al usuario.

La opción --dryrun imprime los respaldos que se eliminarán, sin tener que realizar laeliminación, de modo que los usuarios pueden determinar exactamente lo que seeliminará. Si las opciones ‑‑dryrun y ‑y se especifican en conjunto, el agente deaplicación de Hadoop aún le solicita al usuario respecto de cada acción fantasma,exactamente igual que si estuviera por suceder una eliminación real.

Si el objeto no existe, se registra un error y se devuelve al usuario.

Las opciones --before y --after permiten a los usuarios especificar una fecha y hora debase que sirva de parámetro para eliminar todos los respaldos previos o posteriores aesa fecha.

Las opciones --from y --to permiten a los usuarios especificar un rango de fechas paraeliminar todos los respaldos que se encuentren dentro del rango.

hdboost --eraseconfigEl comando --eraseconfig hdboost elimina la información de configuración del archivode configuración del agente de aplicación de Hadoop.

hdboost {--eraseconfig|-x} -o {hdfs://<hostname>/<dir> |hbase://<hostname>/<table-name>} [-D] [-y]Este comando elimina el objeto de directorio de Hadoop o la tabla de HBase de laconfiguración de respaldo. La configuración para el sistema Data Domain que se utilizópara respaldar el objeto no cambia, ya que se puede usar para otros respaldos.

hdboost {--eraseconfig|-x} --deviceid <id> [-D] [-y]Este comando elimina la configuración y las credenciales para el dispositivo derespaldo determinado. Si el número de ID proporcionado no es válido o si aún se estáusando como destino de cualquier operación de respaldo, la operación fallará, y seregistrará un error y se devolverá al usuario. El usuario primero debe eliminar o volver aconfigurar las configuraciones de respaldo que lo están usando.


hdboost --delete 57

hdboost {--eraseconfig|-x} ‑‑device user@hostname:device‑path [-D] [‑y]Este comando elimina la configuración y las credenciales para el dispositivo derespaldo determinado. Si el sistema Data Domain no existe, o si aún se utiliza como eldestino de cualquier operación de respaldo, la operación falla.

hdboost --expireEl comando hdboost --expire inicia una operación de limpieza que elimina todos losrespaldos con períodos de retención caducados.

hdboost {‑-expire|-e} { -? | [--kerberoscc <credential-cache>][‑‑dryrun] [‑D] [-y] }Este comando ejecuta un análisis de eliminación que elimina todos los respaldosanteriores a la fecha de retención especificada en sus metadatos. No se eliminan losrespaldos con el tiempo de retención “forever” o un bloqueo de retención establecidopor el Administrador de Data Domain, hasta que se borra el bloqueo de retención.

La opción --dryrun imprime los respaldos que se eliminarán, sin tener que realizar laeliminación, de modo que los usuarios pueden determinar exactamente lo que seeliminará. Si las opciones ‑‑dryrun y ‑y se especifican en conjunto, el agente deaplicación de Hadoop aún le pregunta al usuario respecto de cada acción fantasma,exactamente igual que si estuviera por suceder una eliminación real.

hdboost --kerberosEl comando hdboost --kerberos permite a los usuarios habilitar y deshabilitar laautenticación Kerberos.

hdboost {‑-kerberos|-K} { -? | [‑‑disable|‑‑enable] }Este comando habilita o deshabilita la autenticación Kerberos. Cuando la autenticaciónKerberos está deshabilitada, la contraseña del archivo de credenciales dlp_cfg.jceks yel nombre de usuario del archivo hdboost_cfg.json se utilizan como las credenciales deDD. Si la autenticación Kerberos está habilitada, se ignora dlp_cfg.jceks

hdboost --listEl comando hdboost --list enumera los respaldos disponibles con filtrado de rango defechas y objetos opcional.

hdboost --list { -? | [‑o { <backup-URI> | hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>}] [ [ [‑‑before |‑‑after]yyyy[‑mm[‑dd[.hh[‑mm[‑ss]]]]] | ‑‑from yyyy[ mm[‑dd[.hh[‑mm[‑ss]]]]‑‑to yyyy[‑mm[‑dd[.hh[‑mm[‑ss]]]] ] [--kerberoscc <credential-cache>] [‑D] }Este comando muestra los respaldos disponibles con el filtrado de rango de fechas yobjetos opcional.






Snapshot Time Backup Start Backup End Retention Backup URI =============== =============== ================ ========= =========== 20160414T231646 20160414T231707 20160414T231720 20160715 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hbase/hdboost-build.corp.emc.com/analytics2/20160414T231646 20160415T030854 20160414T231936 20160414T231955 20160715 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hbase/hdboost-build.corp.emc.com/.hbase-snapshot/analytics2-snap/20160415T030854 20160415T032332 20160420T010239 20160420T010253 20160729 ddhcfs://[email protected]:pc_hdp/data/1/hadoop/hbase/hdboost-build.corp.emc.com/.hbase-snapshot/analytics2-snap/20160415T032332

hdboost {--list|-l} ‑o <backup-URI> [--kerberoscc <credential-cache>] [‑D]Este comando restringe la salida de la lista a un solo respaldo especificado por el URIproporcionado. Esto enumera un solo respaldo, si está especificado con ‑‑from o ‑‑to osi se proporciona un URI no válido, se registra un error y se devuelve al usuario.

hdboost --listconfigEl comando hdboost --listconfig enumera las entradas del archivo de configuraciónfiltradas de manera opcional para mostrar solo aquellas vinculados con un sistema DataDomain de respaldo determinado, un objeto de origen o el sistema Data Domainmaestro.

hdboost {--listconfig|-k} { -? | [‑‑deviceid <id> |‑‑deviceuser@<hostname>:<device‑path>] | ‑‑master | -o {hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>}] }Esto enumera lo siguiente:

hdboost --listconfig Directories: Primary Secondary Device id Device Id maxmaps Source URI --------- --------- -------- -------------------- 1 hdfs://suse11sp301/test_hdboost Devices: ID Device ==== ====== 1 [email protected]:pc_hdp 2 [email protected]:pc_test 3 [email protected]:pc_test 4 [email protected]:pc_test 5 [email protected]:pc_test 6 [email protected]:pc_test 7 [email protected]:pc_hdp Master Device: target: 1 secondary-target: 3

hdboost --restoreEl comando hdboost --restore restaura un respaldo del agente de aplicación deHadoop de un objeto de Hadoop o en una tabla de HBase desde un sistema DataDomain.

hdboost {--restore|-r} { -? | { ‑‑config {latest |yyyy‑mm‑dd.hh‑mm‑ss } | ‑o {<backup-URI> [‑S sub‑directory |hdfs://<hostname>/<dir> [‑S sub‑directory] | hbase://<hostname>/<tablename>} [‑R dst‑object] [ --deviceid <id> | ‑‑deviceuser@hostname:device‑path] [--kerberoscc <credential-cache>][‑D] [‑p] [-y]}Este comando restaura respaldos del agente de aplicación de Hadoop de objetos deHadoop o tablas de HBase o información de configuración del agente de aplicación deHadoop.


hdboost --listconfig 59

Nota

Cuando restaure una instantánea de HBase, se sobrescribirán los datos deinstantáneas existentes con el mismo nombre.

Si el respaldo se realizó para un directorio de Hadoop, la ubicación de destino debe serun directorio. Si no existe actualmente, se creará la ubicación de destino.

La opción --deviceid reemplaza el número del sistema Data Domain en el archivo deconfiguración e intenta restaurar desde el sistema Data Domain especificado.

La opción --device reemplaza el sistema Data Domain en el archivo de configuración eintenta restaurar desde el sistema Data Domain especificado en la línea de comandos.

Si usa la autenticación Kerberos con --device, el usuario con sesión iniciada queejecuta hdboost se autentica como el usuario de DD. La opción --kerberoscc opcionalreemplaza el archivo de caché de credenciales configurado en la configuración deldispositivo de respaldo.

Puede especificarse la opción -R para redirigir la operación de restauración a un nuevodestino. Si el respaldo era un directorio de HDFS, la redirección también debe ser a undirectorio de HDFS. Si se redirige una restauración de tabla de HBase a otro clúster,no puede recrearse automáticamente. El usuario debe iniciar un shell de HBase en elclúster remoto y ejecutar "clone_snapshot <snapname>, <tablename>". Cuando seejecuta el comando de restauración, se muestra la acción requerida.

Un error se registra y se devuelve al usuario si el dispositivo no existe, las credencialesson incorrectas, o si no se encuentra el respaldo solicitado. Esta opción se utilizanormalmente para recuperación ante desastres o restauraciones replicadas donde elreplicante no está en el archivo de configuración.

Si se sobrescriben datos durante la restauración, la restauración se detendrá y sesolicitará permiso al usuario, a menos que se proporcione la opción [-y]. Si los datos sesobrescribirán, no se proporciona ningún indicador adicional siempre y cuando elusuario haya especificado [-y], de modo que no existe ninguna diferencia en laexperiencia del usuario entre la restauración en una ubicación con datos, o sin ellos.

La opción ‑‑config restaura solamente los archivos de configuración y dlp.idx. Estaopción normalmente se usa solo si parte de la configuración está dañada o en el casode una recuperación ante desastres. El usuario puede especificar la configuración másreciente con la palabra clave “latest” o especificar el registro de fecha y hora de unrespaldo anterior en el formato de aaaa‑mm‑dd.hh‑mm‑ss. (El registro de fecha y horade configuración más reciente se determina mediante la búsqueda de metadata/<version>/hadoop/dlp.idx del dispositivo proporcionado). Esto se obtienedesde el sistema Data Domain maestro, a menos que se reemplace con las opciones deinvocación ‑‑device o --deviceid.

La opción ‑S especifica un subdirectorio para la restauración parcial. Si el índiceindicado era un respaldo de tabla de HBase, se registrará un error y se devolverá alusuario si se proporciona un argumento de subdirectorio. Se restaura solo elsubdirectorio indicado del respaldo original.

hdboost --retentionEl comando hdboost --retention permite a los usuarios cambiar los períodos deretención de los respaldos del agente de aplicación de Hadoop almacenados en unsistema Data Domain.

hdboost {--retention|-t} { -? | [‑o {<backup-URI> [hdfs://<hostname>/<dir> | hbase://<hostname>/<tablename>}] [ [ [--



before |‑‑after] yyyy[‑mm[‑dd[.hh[‑mm[‑ss]]]]] | ‑‑fromyyyy[ mm[‑dd[.hh[‑mm[‑ss]]]] ‑‑to yyyy[‑mm[‑dd[.hh[‑mm[‑ss]]]] ]{‑‑until {yyyy‑mm‑dd|forever} | {+|-} [#y] [#m] [#d] } [--kerberoscc <credential-cache>] [-D] [‑y] }Este comando actualiza los tiempos de retención de respaldo.

La opción -o restringe la actualización del tiempo de retención a un respaldo delsistema de archivos, un respaldo de tabla de HBase o un URI de respaldo en particular.

Un tiempo de retención ‑‑until en el formato aaaa-mm-dd conservará el respaldo hastala fecha y hora especificadas. Un tiempo de retención “forever” indica que el respaldose conservará hasta que se lo elimine de manera explícita.

Nota

La fecha y hora de base se basa en la hora del sistema local.

El usuario puede especificar el tiempo de retención en relación con el tiempo deretención especificado actualmente con el siguiente formato:

l y: La cantidad de años que se debe conservar el respaldo.

l m: La cantidad de meses que se debe conservar el respaldo.

l d: La cantidad de días que se debe conservar el respaldo.



l Si el campo mm no está especificado, se supone que es 1 (enero).

l Si no se especifica el campo dd, se supone que es 1 (primer día del mes).

l Si no se especifica el campo hh, se supone que es la hora 0 (medianoche).

l Si no se especifica el campo mm, se supone que es el minuto 0.

l Si no se especifica el campo ss, se supone que es el segundo 0.

Si está precedido por '+ or -', entonces, el tiempo de retención se ajusta en relacióncon el período de retención actual.

Es posible especificar #y, #m y #d en la misma línea: “1y 3 m 2d” obtendría un tiempode retención de 1 año, 3 meses y 2 días desde el período de retención actual.


hdboost --searchEl comando hdboost --search permite a los usuarios buscar información específica derespaldo

hdboost {--search|-s]} { -? | ‑o {<backup-URI> | hdfs://<hostname>/<dir>} {‑‑for object |-‑regex expression}[‑‑kerberoscc <credential-cache>] [‑D] [-L] [‑V] }El usuario puede buscar el URI de respaldo determinado para el objeto de archivo odirectorio. El URI de respaldo debe ser un respaldo del directorio, o se registra un errory se devuelve al usuario.


hdboost --search 61

Si un URI de HDFS se proporciona en su lugar, se busca el respaldo más reciente deldirectorio especificado para el objeto deseado.

Si usa Kerberos, la opción --kerberoscc reemplaza el archivo de caché de credencialesconfigurado en la configuración del dispositivo de respaldo.

La opción ‑V busca el objeto en los subdirectorios dentro del directorio de búsquedaespecificado.

La opción -‑regex permite la búsqueda de expresiones regulares.

La opción -L muestra los permisos, UID:GID, registro de fecha y hora y tamaño dearchivo.

hdboost --testEl comando hdboost --test prueba la conexión entre el agente de aplicación deHadoop y el sistema Data Domain.

hdboost {--test|-T]} { -? | [--kerberoscc <credential-cache>][‑D] [deviceid <ID>] }Este comando prueba la conectividad a los sistemas Data Domain de destinoconfigurados. Si no se especifica el ID de destino opcional, se prueban todos lossistemas Data Domain.

Si usa Kerberos, la opción --kerberoscc opcional reemplaza el archivo de caché decredenciales establecido en la configuración del dispositivo de respaldo.

hdboost --versionEl comando hdboost --version muestra el número de versión de software del agentede aplicación de Hadoop.

hdboost --version [-?]Esta opción muestra el número de versión de la interfaz y el hdboost actual, paraidentificar el nombre del producto y la versión.



Documents

Guía de instalación y administración · Hadoop Application Agent Versión 1.0 Guía de instalación y administración 302-003-054 REV 01