Explorez les commandes HDFS Hadoop les plus essentielles et les plus fréquemment utilisées pour effectuer des opérations de fichiers sur le stockage le plus fiable au monde.
Hadoop HDFS est un système de fichiers distribué qui fournit un espace de stockage redondant pour les fichiers de grande taille. Il est utilisé pour stocker des fichiers de l’ordre de téraoctets à pétaoctets.
Restez à jour avec les dernières tendances technologiques
Rejoignez DataFlair sur Telegram!!
Commandes Hadoop HDFS
À l’aide de la commande HDFS, nous pouvons effectuer des opérations de fichier Hadoop HDFS telles que la modification des autorisations de fichier, l’affichage du contenu du fichier, la création de fichiers ou de répertoires, la copie de fichiers / répertoires du système de fichiers local vers HDFS ou vice-versa, etc.
Avant de commencer avec la commande HDFS, nous devons démarrer les services Hadoop. Pour démarrer les services Hadoop, procédez comme suit :
1. Accédez au répertoire ~/hadoop-3.1.2
2. Démarrez le service Hadoop en utilisant la commande
sbin/start-dfs.sh
Dans ce tutoriel sur les commandes Hadoop, nous avons mentionné les 10 principales commandes Hadoop HDFS avec leur utilisation, leurs exemples et leur description.
Commençons maintenant par les commandes HDFS.
version
Utilisation de la commande Hadoop HDFS version:
version
Exemple de commande Hadoop HDFS version:
Avant de travailler avec HDFS, vous devez déployer Hadoop, suivez ce guide pour Installer et configurer Hadoop 3.
hadoop version
Description de la commande de version Hadoop HDFS :
La version de la commande shell Hadoop fs imprime la version Hadoop.
mkdir
Utilisation de la commande Hadoop HDFS mkdir:
hadoop fs –mkdir /path/directory_name
Commande Hadoop HDFS mkdir Exemple 1:
Dans cet exemple, nous essayons de créer un répertoire nommé newDataFlair dans HDFS à l’aide de la commande mkdir.
En utilisant la commande ls, nous pouvons vérifier les répertoires dans HDFS.
Exemple 2 :
Commande Hadoop HDFS mkdir Description :
Cette commande crée le répertoire dans HDFS s’il n’existe pas déjà .
Remarque: Si le répertoire existe déjà dans HDFS, nous obtiendrons un message d’erreur indiquant que le fichier existe déjà.
Utilisez hadoop fs mkdir-p/path/directoryname, afin de ne pas échouer même si le répertoire existe.
Découvrez diverses fonctionnalités de Hadoop HDFS à partir de ce guide des fonctionnalités HDFS.
ls
Utilisation de la commande Hadoop HDFS ls:
hadoop fs -ls /path
Commande Hadoop HDFS ls Exemple 1:
Dans l’exemple ci-dessous, nous utilisons la commande ls pour enrôler les fichiers et répertoires présents dans HDFS.
Commande Hadoop HDFS ls Description :
La commande shell Hadoop fs ls affiche une liste du contenu d’un répertoire spécifié dans le chemin fourni par l’utilisateur. Il affiche le nom, les autorisations, le propriétaire, la taille et la date de modification de chaque fichier ou répertoire du répertoire spécifié.
Commande Hadoop HDFS ls Exemple 2 :
Hadoop HDFS ls Description :
Cette commande Hadoop fs se comporte comme -ls, mais affiche récursivement les entrées dans tous les sous-répertoires d’un chemin.
put
Hadoop HDFS put Utilisation de la commande:
haoop fs -put <localsrc> <dest>
Hadoop HDFS put Exemple de commande:
Dans cet exemple, nous essayons de copier le fichier local1 du système de fichiers local sur le système de fichiers Hadoop.
Description de la commande Hadoop HDFS put:
La commande Hadoop fs shell put est similaire à la commande copyFromLocal, qui copie des fichiers ou des répertoires à partir de la système de fichiers local vers la destination dans le système de fichiers Hadoop.
copyFromLocal
Utilisation de la commande Hadoop HDFS copyFromLocal:
hadoop fs -copyFromLocal <localsrc> <hdfs destination>
Exemple de commande Hadoop HDFS copyFromLocal:
Ici, dans l’exemple ci-dessous, nous essayons de copier le fichier ‘test1’ présent dans le système de fichiers local dans le répertoire newDataFlair de Hadoop.
Description de la commande Hadoop HDFS copyFromLocal:
Cette commande copie le fichier du système de fichiers local vers HDFS.
Apprenez les éléments internes de l’opération de lecture de données HDFS, Comment les données circulent dans HDFS lors de la lecture du fichier.
Aucun doute encore dans les commandes Hadoop HDFS? Veuillez commenter.
get
Hadoop HDFS get Utilisation de la commande:
hadoop fs -get <src> <localdest>
Hadoop HDFS get Exemple de commande:
Dans cet exemple, nous essayons de copier le ‘fichier de test’ du système de fichiers hadoop dans le système de fichiers local.
Description de la commande Hadoop HDFS get :
La commande shell Hadoop fs get copie le fichier ou le répertoire du système de fichiers Hadoop vers le système de fichiers local.
Apprendre: Prise en charge du rack, Haute disponibilité
copyToLocal
Utilisation de la commande Hadoop HDFS copyToLocal:
hadoop fs -copyToLocal <hdfs source> <localdst>
Exemple de commande Hadoop HDFS copyToLocal:
Dans cet exemple, nous essayons de copier le fichier ‘sample’ présent dans le répertoire newDataFlair de HDFS dans le système de fichiers local.
Nous pouvons vérifier si le fichier est copié ou non à l’aide de la commande ls.
Hadoop HDFS copyToLocal Description:
La commande copyToLocal copie le fichier de HDFS vers le système de fichiers local.
cat
Utilisation de la commande Hadoop HDFS cat:
hadoop fs –cat /path_to_file_in_hdfs
Exemple de commande Hadoop HDFS cat:
Dans cet exemple, nous utilisons la commande cat pour afficher le contenu du fichier ‘sample’ présent dans le répertoire newDataFlair de HDFS.
Description de la commande Hadoop HDFS cat:
La commande cat lit le fichier en HDFS et affiche le contenu du fichier sur console ou stdout.
mv
Utilisation de la commande Hadoop HDFS mv:
hadoop fs -mv <src> <dest>
Exemple de commande Hadoop HDFS mv:
Dans cet exemple, nous avons un répertoire ‘DR1’ dans HDFS. Nous utilisons la commande mv pour déplacer le répertoire DR1 vers le répertoire DataFlair dans HDFS.
Description de la commande Hadoop HDFS mv :
La commande HDFS mv déplace les fichiers ou les répertoires de la source vers une destination dans HDFS.
cp
Utilisation de la commande Hadoop HDFS cp:
hadoop fs -cp <src> <dest>
Exemple de commande Hadoop HDFS cp:
Dans l’exemple ci-dessous, nous copions le ‘file1’ présent dans le répertoire newDataFlair en HDFS dans le répertoire dataflair de HDFS.
Commande Hadoop HDFS cp Description:
La commande cp copie un fichier d’un répertoire vers un autre répertoire dans le HDFS.
Donc tout était sur les commandes Hadoop HDFS. J’espère que ça vous plaira.
What’s Next
- Hadoop HDFS Commands Part-II
- Hadoop HDFS Commands Part-III