##下载包
Windows环境需要下载hadoop common包,并添加bin目录到PATH环境变量上:
https://github.com/srccodes/hadoop-common-2.2.0-bin
##SBT安装
- 下载压缩包,解压到指定位置SBT_HOME。
- 将
SBT_HOME\bin
目录添加到环境变量中,在命令行可以执行sbt命令。 - 配制SBT
##SBT配制
修改SBT_HOME\conf\sbtconfig.txt
,添加
1 | -Dsbt.ivy.home=<库文件下载到本地的位置> |
创建库配制
1 | ~/.sbt/repositories |
文件内容
1 | [repositories] |
创建插件配制
1 | ~/.sbt/0.13/plugins/plugins.sbt |
文件内容
1 | addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0") |
创建全配制文件
1 | ~/.sbt/0.13/global.sbt |
文件内容
1 | net.virtualvoid.sbt.graph.Plugin.graphSettings |
##创建spark项目
按如下结构创建目录
1 | . |
惯例:build.sbt
定义主要简单的配置,对于构建逻辑放到project下的.scala文件中,用于更复杂定义和共享代码
在build.sbt
中添加spark包依赖
1 | name := "SparkDemo" |
运行如下命令创建项目为eclipse项目:
1 | sbt eclipse |
以后每次修改了sbt依赖都要再执行一次这个命令。
##示例
一个做单词统计的例子:
1 | package com.iteedu.demo.spark |