安装Sbt

sbt是一款Spark用来对scala编写程序进行打包的工具, Spark 中没有自带 sbt , 需要自行下载 sbt-lanuch.jar

这里我们选择安装在 /usr/local/sbt 中

sudo mkdir /usr/local/sbt
sudo chown -R hadoop /usr/local/sbt    
cd /usr/local/sbt

将下载好的jar包放到该目录下, 并创建 sbt 脚本, 添加如下内容

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled"java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

并为其添加执行权限

chmod u+x ./sbt

最后执行一下命令检查一下 sbt 是否可用

./sbt sbt-version

当然在 osx 上就不用这么复杂, 直接使用 brew 安装即可 :

brew install sbt

编译程序

进入程序目录, 必须保证目录格式如下所示:

.
├── build.sbt
├── lib
│   ├── hbase-spark-1.0.0-SNAPSHOT.jar
│   └── hbase-spark-it-1.0.0-SNAPSHOT.jar
├── project
│   └── plugins.sbt
└── src
    └── main
        └── scala
            └── BulkloadHbaseData.scala

5 directories, 5 files

这里分别对几个文件目录做说明