Explore los comandos Hadoop HDFS más esenciales y de uso frecuente para realizar operaciones de archivos en el almacenamiento más confiable del mundo.
Hadoop HDFS es un sistema de archivos distribuido que proporciona espacio de almacenamiento redundante para archivos de gran tamaño. Se utiliza para almacenar archivos que están en el rango de terabytes a petabytes.
Manténgase actualizado con las últimas tendencias tecnológicas
¡Únase a DataFlair en Telegram!!
Comandos Hadoop HDFS
Con la ayuda del comando HDFS, podemos realizar operaciones de archivos Hadoop HDFS como cambiar los permisos de archivo, ver el contenido del archivo, crear archivos o directorios, copiar archivos/directorios del sistema de archivos local a HDFS o viceversa, etc.
Antes de comenzar con el comando HDFS, tenemos que iniciar los servicios Hadoop. Para iniciar los servicios de Hadoop, haga lo siguiente:
1. Mover al directorio ~/hadoop-3.1.2
2. Inicie el servicio Hadoop utilizando el comando
sbin/start-dfs.sh
En este tutorial de comandos de Hadoop, hemos mencionado los 10 principales comandos Hadoop HDFS con su uso, ejemplos y descripción.
Comencemos ahora con los comandos HDFS.
versión
Hadoop HDFS versión Uso del Comando:
version
Hadoop HDFS versión de Comandos de Ejemplo:
Antes de trabajar con HDFS necesita Implementar Hadoop, siga esta guía para Instalar y configurar Hadoop 3.
hadoop version
Comando de versión Hadoop HDFS Descripción:
La versión del comando shell de Hadoop fs imprime la versión de Hadoop.
mkdir
Uso del comando Hadoop HDFS mkdir:
hadoop fs –mkdir /path/directory_name
Comando Hadoop HDFS mkdir Ejemplo 1:
En este ejemplo, estamos tratando de crear un directorio con nombre newDataFlair en HDFS utilizando el comando mkdir.
Usando el comando ls, podemos verificar los directorios en HDFS.
Ejemplo 2:
Comando Hadoop HDFS mkdir Descripción:
Este comando crea el directorio en HDFS si aún no existe.
Nota: Si el directorio ya existe en HDFS, entonces obtendremos un mensaje de error que indica que el archivo ya existe.
Use hadoop fs mkdir-p / path / directoryname, para no fallar incluso si existe el directorio.
Conozca varias características de Hadoop HDFS en esta guía de características de HDFS.
ls
Uso del comando Hadoop HDFS ls:
hadoop fs -ls /path
Comando Hadoop HDFS ls Ejemplo 1:
En el siguiente ejemplo, estamos utilizando el comando ls para enlistar los archivos y directorios presentes en HDFS.
Comando Hadoop HDFS ls Descripción:
El comando de shell de Hadoop fs ls muestra una lista de los contenidos de un directorio especificado en la ruta de acceso proporcionada por el usuario. Muestra el nombre, los permisos, el propietario, el tamaño y la fecha de modificación de cada archivo o directorio del directorio especificado.
Comando Hadoop HDFS ls Ejemplo 2:
Hadoop HDFS ls Descripción:
Este comando Hadoop fs se comporta como-ls, pero muestra de forma recursiva entradas en todos los subdirectorios de una ruta de acceso.
put
Hadoop HDFS put Uso del comando:
haoop fs -put <localsrc> <dest>
Hadoop HDFS put Ejemplo de comando:
En este ejemplo, estamos tratando de copiar localfile1 del sistema de archivos local al sistema de archivos Hadoop.
Hadoop HDFS put Descripción del comando:
El comando de shell de Hadoop fs put es similar al copyFromLocal, que copia archivos o directorios del sistema de archivos local al destino en el sistema de archivos Hadoop.
copyFromLocal
Uso de comandos Hadoop HDFS copyFromLocal:
hadoop fs -copyFromLocal <localsrc> <hdfs destination>
Ejemplo de comando Hadoop HDFS copyFromLocal:
En el siguiente ejemplo, estamos intentando copiar el archivo ‘test1’ presente en el sistema de archivos local al directorio newDataFlair de Hadoop.
Comando Hadoop HDFS copyFromLocal Descripción:
Este comando copia el archivo del sistema de archivos local a HDFS.
Aprenda los aspectos internos de la Operación de Lectura de datos HDFS, Cómo fluyen los datos en HDFS mientras lee el archivo.
¿Alguna duda en los comandos Hadoop HDFS? Sírvanse Formular Observaciones.
get
Hadoop HDFS get Uso del comando:
hadoop fs -get <src> <localdest>
Hadoop HDFS get Ejemplo de comando:
En este ejemplo, estamos tratando de copiar el ‘archivo de prueba’ del sistema de archivos hadoop al sistema de archivos local.
Comando Hadoop HDFS get Descripción:
El comando de shell de Hadoop fs get copia el archivo o directorio del sistema de archivos de Hadoop al sistema de archivos local.
Aprender: Reconocimiento de rack, Alta disponibilidad
copyToLocal
Uso del comando Hadoop HDFS copyToLocal:
hadoop fs -copyToLocal <hdfs source> <localdst>
Ejemplo de comando Hadoop HDFS copyToLocal:
En este ejemplo, estamos tratando de copiar el archivo ‘de muestra’ presente en el directorio newDataFlair de HDFS al sistema de archivos local.
Podemos verificar si el archivo se copia o no utilizando el comando ls.
Hadoop HDFS copyToLocal Descripción: el comando copyToLocal copia el archivo de HDFS al sistema de archivos local.
cat
Uso del comando Hadoop HDFS cat:
hadoop fs –cat /path_to_file_in_hdfs
Ejemplo del comando Hadoop HDFS cat:
En este ejemplo, estamos utilizando el comando cat para mostrar el contenido del archivo ‘de muestra’ presente en el directorio newDataFlair de HDFS.
Descripción del comando Hadoop HDFS cat:
El comando cat lee el archivo en HDFS y muestra el contenido del archivo en la consola o en la salida estándar.
mv
Hadoop HDFS mv Uso del Comando:
hadoop fs -mv <src> <dest>
Hadoop HDFS Comando mv Ejemplo:
En este ejemplo, tenemos un directorio ‘DR1’ en HDFS. Estamos usando el comando mv para mover el directorio DR1 al directorio DataFlair en HDFS.
Comando Hadoop HDFS mv Descripción:
El comando HDFS mv mueve los archivos o directorios del origen a un destino dentro de HDFS.
cp
Uso del comando Hadoop HDFS cp:
hadoop fs -cp <src> <dest>
Ejemplo de comando Hadoop HDFS cp:
En el siguiente ejemplo, estamos copiando el ‘file1’ presente en el directorio newDataFlair en HDFS al directorio dataflair de HDFS.
Hadoop HDFS cp Descripción del Comando:
El comando cp copia un archivo de un directorio a otro directorio dentro de la HDFS.
Todo esto estaba en los comandos Hadoop HDFS. Espero que te guste.
What’s Next
- Hadoop HDFS Commands Part-II
- Hadoop HDFS Commands Part-III