当前位置: 首页 > news >正文

苏州知名网站制作开发/西安百度推广公司

苏州知名网站制作开发,西安百度推广公司,深圳建立网站公司网站,网站开发报价前提:需要安装好JDK,需要配置ssh免密(可参考问题2的设置) 1、下载Hadoop 打开Hadoop下载地址,下载3.3.1版本 下载:wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz 2、Hadoop安装 配…

前提:需要安装好JDK,需要配置ssh免密(可参考问题2的设置)

1、下载Hadoop

打开Hadoop下载地址,下载3.3.1版本

下载:wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz 

2、Hadoop安装

配置域名vin /etc/hosts

例如:10.1.1.196  hadoop001

重启系统(重启生效)

2.1、解压缩和移动到/usr/local目录

tar -zxvf hadoop-3.3.1.tar.gz

2.2、执行如下命令,在 /data 目录下创建hadoop数据存储的目录

mkdir -p /home/hadoop/hdfs/tmp /home/hadoop/hdfs/data /home/hadoop/hdfs/name

 

2.3、配置环境变量vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-3.3.1

export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

2.4、修改hadoop的hadoop-env.sh配置

修改${hadoop_home}/etc/hadoop/hadoop-env.sh文件,设置JAVA_HOME和HADOOP_HOME变量

设置为root用户

 

所有的用户配置:

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2.5、配置core-site.xml

${hadoop_home}/etc/hadoop/core-site.xml

如下,两个位置分别为虚拟机主机名和上述步骤中创建的 tmp目录

<configuration>

<!-- 指定 NameNode 的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop001:9000</value>

</property>

<!-- 指定 hadoop 数据的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hdfs/tmp</value>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

</configuration>

 

 

2.6、修改hdfs-site.xml

${hadoop_home}/etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>  

<value>1</value>

<description>副本个数,配置默认是3,应小于datanode机器数量</description>

</property>  

<property>

<name>dfs.namenode.name.dir</name>  

<value>/home/hadoop/hdfs/name</value>  

<final>true</final>

</property>  

<property>

<name>dfs.datanode.data.dir</name>  

<value>/home/hadoop/hdfs/data</value>  

<final>true</final>

</property>  

<property>

<name>dfs.http.address</name>

<value>0.0.0.0:50070</value>

<description>将绑定IP改为0.0.0.0,而不是本地回环IP,这样,就能够实现外网访问本机的50070端口了</description>

</property>

<property>

<name>dfs.permissions</name>  

<value>false</value>

</property>

</configuration>

 2.7、修改:mapre-site.xml

${hadoop_home}/etc/hadoop/mapre-site.xml

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

2.8、修改yarn-site.xml

${hadoop_home}/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

3、启动HDFS

首先执行如下命令格式化hdfs

$hdfs namenode -format

依次执行命令

$hadoop-daemon.sh start namenode

$hadoop-daemon.sh start datanode

$hadoop-daemon.sh start secondarynamenode

 

或者sbin目录下,执行./start-all.sh

查询端口:

 停止服务和启动服务:

sbin/stop-all.sh

Sbin/start-all.sh

4、访问

浏览器访问http://10.1.1.196:50070/ ,如下,表示单机版已经安装OK

 

 参考:https://blog.csdn.net/redrose2100/article/details/117922189

问题列表:

问题1:start-dfs.sh命令执行时,报错(需要配置ssh免密)

hadoop001: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

原因:hadoop001这台机器没有配置ssh免密登录

解决办法:

配置ssh免密登录:

1、先进入到~/.ssh/路径

cd ~/.ssh/

2、创建公钥/私钥

ssh-keygen -t rsa

按三下Enter键即可

 

3、复制公钥id到hadoop001

ssh-copy-id hadoop001

 

4、查看能否免密登录成功

ssh hadoop001

出现以下信息,免密登录

其他参考:start-all.sh或stop-all.sh命令执行时,报错

ERROR: Attempting to operate on yarn resourcemanager as root

ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

 出现以上报错信息需要到 sbin 目录下 更改 start-yarn.sh 和 stop-yarn.sh 信息,在两个配置文件的第一行添加

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

http://www.lbrq.cn/news/1083763.html

相关文章:

  • 东莞哪些网络公司做网站比较好/百度一下图片识别
  • 门户网站风格/学校教育培训机构
  • 网站建设续费催款通知书/爱站网关键词挖掘查询工具
  • 个人网站icp备案教程/站长工具网址查询
  • 求合伙人做网站/下载百度到桌面上
  • 网站制作公司 云南/刷钻业务推广网站
  • 做网站广告的点/网络推广公司简介
  • 网站模板下载大全/网站收录一键提交
  • 三门峡做网站/成都网站推广
  • 深圳本地网站建设/今日热点新闻
  • 网站建设煊煊网/济南seo官网优化
  • 网站型销售怎么做/新闻热点最新事件
  • 滕州网站建设培训/新闻 近期大事件
  • 开发公司副总求职简历/sem优化推广
  • 河北省建设厅网站站长/株洲今日头条新闻
  • 网上商城网站建设/深圳新闻最新事件
  • 网站如何设置默认首页/友情链接交易平台源码
  • 营销的网站/万网创始人
  • 周口网站制作/关键词有哪些
  • 做网站建设的联系电话/太原seo
  • 江门外贸网站建设/产品如何做网络推广
  • 淘宝客可以自己做网站推广吗/代发百度帖子包收录排名
  • 校园网站制作模板/nba最新消息新闻报道
  • 商学院网站建设建议/网络营销与传统营销有哪些区别
  • 网站怎么做跳转安全/公司营销网站建设
  • 新公司刚成立做网站/常用的网络营销平台有哪些
  • 杭州的网站建设公司哪家好/成都今天重大新闻事件
  • 广州网站制作技术/制作网站的最大公司
  • 做环境设计的网站/什么叫软文推广
  • 59网站一起做网店/腾讯企点app下载安装
  • 并查集介绍及典型应用和编程题
  • uniapp 实现全局变量
  • 飞书 —— 多维表格 —— AI生成
  • 时序数据库选型指南:为什么IoTDB正在重新定义工业大数据规则?
  • React Immer 不可变数据结构的处理
  • keepalived原理及实战部署