当前位置: 首页 > news >正文

厦门网站建设哪家公司好成都有实力的seo团队

厦门网站建设哪家公司好,成都有实力的seo团队,橙 网站,建立文档Spark官方文档翻译,有问题请及时指正,谢谢。 Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的,分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python and R的API接口, 他还是一个优…

Spark官方文档翻译,有问题请及时指正,谢谢。

 

Overview页

http://spark.apache.org/docs/latest/index.html

 

Spark概述

Apache Spark 是一个快速的,分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python and R的API接口, 他还是一个优秀的图处理引擎. 它还支持一套高级的工具集: Spark SQL,Sql和结构化数据处理;

MLlib ,机器学习; GraphX ,图处理; 还有 Spark Streaming.

 

下载

可以去网站下载页(http://spark.apache.org/downloads.html)下载。文档的版本是2.3.1.Spark 使用了Hadoop的客户端库来访问HDFS和YARN。下载会预先打包一个最新的Hadoop版本。用户可以下载Hadoop包然后通过Spark的环境变量使用Hadoop的各种版本。Scala和Java的用户可以用Maven集成。以后Python的用户可以用Pypi安装。

 想自己编译去这页看看(http://spark.apache.org/docs/latest/building-spark.html)

Spark 可以运行在Windows  和 UNIX(比如Linux, Mac OS)系统。单机安装很简单,装java,配置JAVA_HOME环境变量。

Spark 运行在Java 8+, Python 2.7+/3.4+ ,R 3.1+.Scala 的API使用Scala 2.11。你需要使用Scala 的版本(2.11.x)来兼容。

Spark 2.2.0以后就不支持Java 7, Python 2.6和 Hadoop  2.6.5以前的版本了。

2.3.0以后就不支持Scala 2.10了。

 

运行例子和Shell

Spark 提供了几个简单的小程序。 Scala, Java, Python 、R的例子在examples/src/main文件夹下。运行java或scala简单程序,在高一级目录执行 bin/run-example <class> [params]  (更相信的spark提交指令访问http://spark.apache.org/docs/latest/submitting-applications.html),比如:

./bin/run-example SparkPi 10


你也可以用Scala shell与spark交互,这样是学习框架最好的方式。
./bin/spark-shell --master local[2]
--master 这个设置可以查看http://spark.apache.org/docs/latest/submitting-applications.html#master-urls
local是一个线程 local[N]是多个线程 可以用local作为测试 获得全部设置用 --help


Spark也提供了python api  用python解释器与spark进行交互 bin/pyspark
./bin/pyspark --master local[2]

例子也有:
./bin/spark-submit examples/src/main/python/pi.py 10



1.4以后也提供了R api
./bin/sparkR --master local[2]
例子:./bin/spark-submit examples/src/main/r/dataframe.R


集群启动
Spark集群模式可以在这查看 http://spark.apache.org/docs/latest/cluster-overview.html
Spark 可以独立运行 ,也可以几个存在的管理者协作运行,现在提供了这几种部署方式:
  • Standalone Deploy Mode: 这是最简单的部署私人集群的方式
  • Apache Mesos
  • Hadoop YARN
  • Kubernetes

可以查阅什么呢(官网菜单翻译)

Programming Guides:编程指南

 
  • Quick Start:Spark API的快速介绍
  • RDD Programming Guide: 预览Spark的核心- RDDs (旧的api), accumulators(累加器), and broadcast variables(广播变量)
  • Spark SQL, Datasets, and DataFrames:处理结构数据 关系型查询(比RDD新的API)
  • Structured Streaming: 处理结构化数据流 关系型查询 (使用Datasets 和 DataFrames, 比 DStreams更新的api)
  • Spark Streaming: 用DStreams 处理数据流 (旧 API)
  • MLlib: 机器学习
  • GraphX:图处理
 

API Docs:

 
  • Spark Scala API (Scaladoc)scala文档
  • Spark Java API (Javadoc)java文档
  • Spark Python API (Sphinx)python文档
  • Spark R API (Roxygen2)r文档
  • Spark SQL, Built-in Functions (MkDocs)  sparksql文档
 

Deployment Guides:部署指南

 
  • Cluster Overview: 集群模式概况
  • Submitting Applications: 打包和部署应用
  • Deployment modes:部署方式
    • Amazon EC2: 5分钟在EC2上部署
    • Standalone Deploy Mode: 不需要第三方管理者 部署独立集群
    • Mesos:用 Apache Mesos部署一个私有集群
    • YARN: 在Hadoop (YARN)上部署
    • Kubernetes: 在 Kubernetes上部署
 

Other Documents:其他文档

 
  • Configuration: Spark 配置系统
  • Monitoring: 应用行为的痕迹
  • Tuning Guide: 内存和使用的最佳实践
  • Job Scheduling:Spark应用的计划任务
  • Security: Spark 权限支持
  • Hardware Provisioning: 集群硬件推荐
  • Integration with other storage systems:和其他数仓整合
    • Cloud Infrastructures 云设施
    • OpenStack Swift 一个开源对象存储系统
  • Building Spark:通过maven构建spark
  • Contributing to Spark 给spark贡献
  • Third Party Projects: 其他第三方项目
 

External Resources:外部资源

 
  • Spark Homepage 首页
  • Spark Community 资源和当地聚会
  • StackOverflow tag apache-spark
  • Mailing Lists: 提问题
  • AMP Camps:训练营活动报名
  • Code Examples: 更多的例子 (Scala, Java, Python, R)
 

 

转载于:https://www.cnblogs.com/tree1123/p/9444372.html

http://www.lbrq.cn/news/2784331.html

相关文章:

  • 国家住房和城乡建设网站辅导机构
  • 学生html美食静态网页代码网站seo优化方案设计
  • 昆明营销型网站建设公司武汉网站开发公司
  • 电商网站怎样做营销推广运营
  • 网站拨测人员是干嘛的河南seo推广
  • 网站做了301怎么查看跳转前网站教育培训机构推荐
  • 网站关键词不稳定企业策划推广公司
  • 带做网站绿标seo搜索引擎优化工资薪酬
  • 建设网站服务器 知乎企业网站推广方案
  • o2o商城网站制作制作网站要花多少钱
  • wordpress 文章索引石家庄关键词优化软件
  • 向国外支付网站开发费找培训机构的网站
  • 可以做仿牌网站郑州百度seo网站优化
  • 青海城乡和住房建设厅网站南京百度
  • 贵州住房和城乡建设部网站首页关键词优化意见
  • 成都专业网站建设价格低班级优化大师手机版下载(免费)
  • 长春网站建站全网推广的方式有哪些
  • 网站的开发工具和运行环境竞价交易规则
  • 真实的做视频网站360网站推广费用
  • 有什么网站接效果图做的常见的网络营销模式
  • 古交市住房和城乡建设局网站seo搜索引擎官网
  • 自己的公司怎么做网站网络seo外包
  • 动态网站开发结束语链接买卖平台
  • html做的网站图片横着摆放seo课程培训入门
  • 网站建设品网站关键词优化排名外包
  • 企业网站做优化排名象客西安市网站
  • 代做原创毕业设计网站免费发布信息不收费的网站
  • 网站建设怎么跟客服说东莞推广系统
  • wordpress及时聊天网站优化公司开始上班了
  • 企业邮箱个人注册河北seo基础知识
  • C++进阶-----C++11
  • 简笔成画:让AI绘画变得简单而有趣
  • Linux上安装MySQL 二进制包
  • 《WINDOWS 环境下32位汇编语言程序设计》第3章 使用MASM
  • 实变函数中集合E的边界与其补集的边界是否相等
  • 7 索引的监控