当前位置: 首页 > news >正文

大连华南网站制作公司游戏优化大师手机版

大连华南网站制作公司,游戏优化大师手机版,wordpress分类链接,常州商城网站建设http://myeyeofjava.iteye.com/blog/1601792 Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如日志文件)。同时Pig可扩展使用Java中添加的自定义…

http://myeyeofjava.iteye.com/blog/1601792

Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如日志文件)。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS(hive superimposes structure on data in HDFS),并允许使用类似于SQL语法进行数据查询。与Pig一样,Hive的核心功能是可扩展的。Hive更适合于数据仓库的任务,Hive主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。Pig赋予开发人员在大数据集领域更多的灵活性,并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。Pig相比Hive相对轻量,它主要的优势是相比于直接使用Hadoop Java APIs可大幅削减代码量。本质上说说Pig与Hive。
经过Pig Latin的转换后变成了一道MapReduce的作业,通过MapReduce多个线程,进程或者独立系统并行执行处理的结果集进行分类和归纳。Map() 和 Reduce() 两个函数会并行运行,即使不是在同一的系统的同一时刻也在同时运行一套任务,当所有的处理都完成之后,结果将被排序,格式化,并且保存到一个文件。Pig利用MapReduce将计算分成两个阶段,第一个阶段分解成为小块并且分布到每一个存储数据的节点上进行执行,对计算的压力进行分散,第二个阶段聚合第一个阶段执行的这些结果,这样可以达到非常高的吞吐量,通过不多的代码和工作量就能够驱动上千台机器并行计算,充分的利用计算机的资源,打消运行中的瓶颈。也就是说,Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本 ,类似我们通常熟悉的SQL语句,在Pig中称之为Pig Latin,在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组(group by)、关联(Joining),Pig也可以由用户自定义一些函数对数据集进行操作,也就是传说中的UDF(user-defined functions)。
结论性的阅读感觉是:Pig用来写一些即时脚本吧,比如领导问你要份数据,半个小时要出来之类;Hive嘛,就是一个产品经理过来,问这个啥回事?于是你Hive一下,一个简洁的类SQL语句...Done!




再让我说几句废话: 
Language 
在Hive中可以执行  插入/删除 等操作,但是Pig中我没有发现有可以 插入 数据的方法,请允许我暂且认为这是最大的不同点吧。 

Schemas 
Hive中至少还有一个“表”的概念,但是Pig中我认为是基本没有表的概念,所谓的表建立在Pig Latin脚本中,对与Pig更不要提metadata了。 

Partitions 
Pig中没有表的概念,所以说到分区对于Pig来说基本免谈,如果跟Hive说“分区”(Partition)他还是能明白的。 

Server 
Hive可以依托于Thrift启动一个服务器,提供远程调用。 找了半天压根没有发现Pig有这样的功能,如果你有新发现可以告诉我,就好像有人开发了一个Hive的REST 

Shell 
在Pig 你可以执行一些个 ls 、cat 这样很经典、很cool的命令,但是在使用Hive的时候我压根就没有想过有这样的需求。 

Web Interface 
Hive有,Pig无 

JDBC/ODBC 
Pig无,Hive有

转载于:https://www.cnblogs.com/bluejoe/p/5115903.html

http://www.lbrq.cn/news/2633779.html

相关文章:

  • 建设厅官方网站响应式模版移动优化
  • 动态网站建设试卷推广产品的渠道
  • 手机原理网站百度推广费用预算表
  • 网站建设的步骤教程视频域名备案查询站长工具
  • 宜城网站建设哪家好网站如何推广运营
  • 微网站是什么时候创建的慧生活798app下载
  • 芜湖做网站哪家好seo优化总结
  • 做网站的技术难点网络推广的公司更可靠
  • 重庆建设机电网站好看的网站ui
  • 网站建设常用软件jas怎么做网站推广多少钱
  • 网站怎么做高权重最佳搜索引擎磁力王
  • 国家车辆保险网站推广普通话手抄报
  • 做欧美贸易的主要有哪些网站公司网站如何建设
  • 台州外发加工网百度网站优化方案
  • 百度收录提交入口上海哪家seo好
  • wordpress 所有页面空白网站优化公司哪家效果好
  • 你的网站尚未进行备案关键词排名优化官网
  • 广州 科技网站建设公司有效的网络推广
  • 温州手机网站制作联系电话友情链接的获取途径有哪些
  • 奢侈品牌河南seo推广
  • 网站右侧广告代码网络营销管理办法
  • 网站开发主流语言友情链接检索
  • wordpress 测速google 优化推广
  • 营销型网站模板下载合肥网络关键词排名
  • 微信分销网站开发国内网络销售平台有哪些
  • 莱芜网站设计公司游戏网站交换友情链接
  • 网站建设以什么盈利兰州seo外包公司
  • 做网站需要编程基础网页设计友情链接怎么做
  • discuz做资讯网站平台推广广告宣传词
  • 上海企业网站开发seo怎么收费seo
  • 第七篇:动画基础:requestAnimationFrame循环
  • 《论文阅读》传统CoT方法和提出的CoT Prompting的区分
  • .NET 10 新增功能系列文章5——C# 14 中的新增功能
  • 基于Python的超声波OFDM数字通信链路设计与实现
  • TCP的拥塞控制
  • Perforce P4 Plan - DevOps实时规划工具