博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark编译
阅读量:6692 次
发布时间:2019-06-25

本文共 995 字,大约阅读时间需要 3 分钟。

Spark的运行版本使用mvn编译,已经集成在源码中。如果机器有外网或者配置了http代理,可以直接调用编译命令来进行编译。

windows&Linux命令如下:

  ./build/mvn \

    -Phadoop-x.y \

    -Dhadoop.version=x.y.z \

    -Pyarn \

    -Dyarn.version=x.y.z \

    -Phive -Phive-thriftserver \

    -Dscala-2.10 \

    -DskipTests clean package

参数含义:

  -Phadoop-x.y :指定Hadoop的主版本号。

  -Dhadoop.version=x.y.z \:可选,指定HDFS子版本号。

  -Pyarn \:开启YARN功能。

  -Dyarn.version=x.y.z \:可选,YRAN默认使用与HDFS相同的版本,如果不同,可使用此参数设置。

  -Phive -Phive-thriftserver \:开启HDBC和Hive功能。

  -Dscala-2.10 \:指定scala版本。

  -DskipTests :忽略测试过程。

  clean package:clean和package是编译目标。clean执行清理工作,比如清除旧打包痕迹,package用于编译和打包。

在Linux下若要打成tgz格式,可以使用./make-distribution.sh --name custom-spark --tgz来替换上面的./build/mvn。

例如:

  ./make-distrubution.sh \

    --name spark-1.6.0-bin-hadoop2.6.0 --tgz \

    -Phadoop-2.6 \

    -Dhadoop.version=2.6.1 \

    -Pyarn \

     -Phive -Phive-thriftserver \

    -DskipTests clean package

注意:spark1.x和spark2.x编译方式类似,只需根据具体情况匹配相应的hadoop和scala版本即可。

转载于:https://www.cnblogs.com/yszd/p/9519034.html

你可能感兴趣的文章
CoreFoundation CFRuntimeBase下的_cfinfo[4]存储信息探究
查看>>
学习记录——盒模型
查看>>
flex布局
查看>>
四大组件之Service_绑定服务
查看>>
swift中使用Objective C代码
查看>>
MS15-106 JScript ArrayBuffer.slice 任意地址读漏洞分析
查看>>
写一个复制 GitHub 仓库目录结构的cli
查看>>
Docker了解
查看>>
我的另类秋招 | 掘金技术征文
查看>>
【刷算法】把数组排成最小的数
查看>>
flutter-dart 组件构造函数介绍
查看>>
iOS开发,轻松获取根控制器当前控制器的正确方式
查看>>
Akka系列(九):Akka分布式之Akka Remote
查看>>
JavaScript 工作原理之十四-解析,语法抽象树及最小化解析时间的 5 条小技巧...
查看>>
算法(四):图解狄克斯特拉算法
查看>>
如何针对性替换数组里的某几个对象
查看>>
阿里智能工作软件机器人——码栈应用教程,让一切变得自动化
查看>>
Angular service 详解
查看>>
百度研发面经
查看>>
深度解析 Go 语言中「切片」的三种特殊状态
查看>>