网站专题怎么做/seo关键词排名软件

一、Hive的安装和配置

1、实验目的及要求

1、完成Hive的安装与配置
2、Hive的相关服务能够正常运行
3、Hive控制台命令能够正常使用
4、表创建、数据查询等数据库操作能够正常运行
5、掌握数据仓库的使用
6、能正常操作数据库、表、数据

2、实验过程

任务一：Hive的安装与配置
一：Hive基本安装配置
1、上传Hive软件包“Hive-2.1.1.tar.gz到admin用户的家目录的setups目录下，然后进行解压
a.上传软件包到指定目录下

2.创建存放Hive相关的目录，进入该目录，创建Hive的本地零时文件目录“tmp”将软件包进行解压

3.配置Hive相关的环境变量，对配置文件进行修改，添加以下内容

4.使配置文件生效，并查看修改的环境变量是否修改成功

5.进入Hive的配置文件目录将默认的模板问津进行拷贝重命名

6.对配置文件进行修改，找到相关的配置项对其值进行修改

7.在集群中启动zookeeper服务，并启动hadoop服务，在主节点启动Hbase服务。查看相关的进程信息










8.在HDFS中分贝创建Hive的零时文件目录“tmp”,数据存储目录“warehouse”,日志文件目录“Log”并添加目录的用户组写权限

9.对配置文件进行修改，找到name所表示的属性项名称修改七标签



11.使用相关命令启动Mysql集群，创建hive的元数据库，在CLuster-04中创建一个hive数据库。设置访问权限刷新数据库权限信息


12.进入配置文件添加MYSQL连接的相关配置信息





13.将mysql的数据库连接工具包添加到hive的“lib”目录下，添加MTSQL连接的相关配置信息，并对Hive进行初始化

二．Hive工具启动和验证
1.使用hive命令启动hive进入控制台，查看当前数据库列表，功能函数以及函数的详细信息


任务二：Hive的应用
一：启动相关的服务，查到群集中每个进程中又6个服务则证明服务启动成功。





二：数据库Hive的使用
1.启动Hive进入控制台，查看当前数据库列表，创建数据库test1


2.创建表，查看创建的表，然后进行删除表和数据库的操作


3.创建数据库test2，test3，并使用数据库


4.创使用HDFS命令查看相关信息，然后进入控制台查看







5.创建数据库test4，准备数据表，在admin用户的家目录下新建sampledata.txt并添加以下内容



6.查看表信息

7.创建分区表，向分区表插入数据，并查看表的信息




8.登录http://192.168.10.111:8088/cluster/apps可以查看job执行状态

9.解析表


10.在用户家目录下分别新建student1.txt;studeng2.txt,student3.txt并写入以下内容；



11.查看相关信息，并将文件放入HDFS文件系统

12.进入Hive并创建数据库test5,使用该数据库

13.创建外部表，查询外部表信息

14.删除HDFS的student1.txt

15.将student1.txt重新放入HDFS input目录下并查看外部表


16.对数据进行HASH运算，放入笔筒文件中，降低热块，提高查询速度，根据sname进行hash运算存入5个桶中

17.在用户家目录下新建users.txt写入内容并查看结果

18.在浏览器查看

19.Hive的数据模型视图-创建视图，创建数据库并使用数据库

a.创建一个测试表


b.创建一个VIEW之前，使用explain命令查看创建的View的命令事如何被Hive解释执行的；

c.实际创建一个View;

d.在View执行之前，先explain查看实际被翻译后的执行过程

e.最后，对VIEW执行一次查询，显示Stage-1阶段对原始表进行了Mapreduce过程

20.在浏览器可以查看到一次视图查询的任务

3、遇到的问题

一．在HDFS中分别创建Hive的临时文件目录时出错


解决方案：