Hadoop 入门：HDFS Shell 命令 + Java API 完整实战

前言HDFS 是 Hadoop 分布式文件系统所有大数据组件MapReduce/Hive/HBase底层数据均存储在 HDFS。本文从零完成 HDFS 集群基础命令操作、IDEA 本地 Java API 开发覆盖文件上传、下载、创建、删除、遍历、权限修改全套实操附带完整可运行代码与操作截图零基础可复刻。实验前置环境1、Linux Hadoop 伪分布式集群正常启动NameNodeDataNode 进程在线2、Windows IDEA 开发环境配置 Hadoop 本地依赖包3、JDK1.8 适配 Hadoop 版本第一部分HDFS Shell 常用实操命令1. 启动 Hadoopstart-dfs.shstart-yarn.sh2. 查看 HDFS 根目录hdfs dfs -ls /3. 创建实验目录hdfs dfs -mkdir -p /test/hdfs_shell查看是否创建成功Hdfs dfs -ls /test4. 本地创建测试文件echo This is a test file for HDFS Shell local.txt5. 上传文件到 HDFShdfs dfs -put local.txt /test/hdfs_shell/6. 查看 HDFS 上的文件hdfs dfs -ls /test/hdfs_shellhdfs dfs -cat /test/hdfs_shell/local.txt7. 查看文件块信息hdfs fsck /test/hdfs_shell/local.txt -files -blocks -locations8. 下载文件到本地hdfs dfs -get /test/hdfs_shell/local.txt local_download.txt9. 删除文件与目录hdfs dfs -rm /test/hdfs_shell/local.txthdfs dfs -rm -r /test/hdfs_shell第二部分Java HDFS API 开发全流程1、本机ping通node012、Maven 核心依赖导入dependencies dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.2.2/version /dependency /dependencies3、完整实操代码