Apache DrillをEC2上で動かしてみる

LINEで送る
Pocket

Apache Drill Advent Calendar 2015 4日目の記事です

EC2上で動かすには Marketplace から購入するか MapRのサイトからパッケージをダウンロードする方法を選択可能です。
今回はパッケージをダウンロードする方法をご紹介します。

インスタンスタイプ: m2.2xlarge
OS: CentOS 6.6
ノード数: 3ノード

インストール準備
まずはインストール前の前提条件チェックです。
下記のURLも参考にしてください。
http://doc.mapr.com/display/MapR/Preparing+Each+Node

インストールするホスト名を全てのノードに記載しておきます。

# cat /etc/hosts

127.0.0.1   localhost   localhost.localdomain
172.16.1.210 drill01
172.16.1.209 drill02
172.16.1.208 drill03

※全ノードにコピーします。

Clustershell を使用する準備をします。

Clustershell の使い方はこちらを参考に

# cat /etc/clustershell/groups
all: drill0[1-3]

# cat /etc/sysconfig/network
HOSTNAME=drill01

# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
72:27:1c:09:cc:8a:af:cf:9c:65:28:b2:a9:f3:d9:ba root@ip-172-16-1-210

# ssh-copy-id drill01
The authenticity of host 'drill01 (172.16.1.210)' can't be established.
RSA key fingerprint is 58:2f:af:16:3c:92:87:e4:ae:bc:f6:d0:13:2b:87:93.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'drill01,172.16.1.210' (RSA) to the list of known hosts.
root@drill01's password:
Now try logging into the machine, with "ssh 'drill01'", and check in:

.ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.
# clush -ac /etc/hosts

LANGの設定を変更します。

# cat /etc/sysconfig/i18n
LANG=en_US.UTF-8

# clush -ac /etc/sysconfig/i18n

カーネルパラーメータを変更します。

# tail -2 /etc/sysctl.conf
vm.overcommit_memory=0
net.ipv4.tcp_retries2=5

# clush -ac /etc/sysctl.conf
# clush -aB sysctl -p

この段階で一度OSを再起動しておきましょう。

  • JDK7 インストール
    Apache Drill は現時点で Java 8がサポートされていないので Java 1.7をインストールします。
# clush -ac jdk-7u79-linux-x64.tar

# clush -aB update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.7.0_79/bin/java 1
  • MapRインストール
    ここからが MapR のインストールです。
    下記のURLも合わせてご確認下さい
    http://doc.mapr.com/display/MapR/Installing+MapR+Software
# LANG=C

# rpm --import http://package.mapr.com/releases/pub/maprgpg.key

# cat /etc/yum.repos.d/mapr.repo
[maprtech]
name=MapR Technologies
baseurl=http://package.mapr.com/releases/v5.0.0/redhat/
enabled=1
gpgcheck=0
protect=1
[maprecosystem]
name=MapR Technologies
baseurl=http://package.mapr.com/releases/ecosystem-5.x/redhat
enabled=1
gpgcheck=0
protect=1

# clush -aB groupadd -g 5000 mapr
# clush -aB useradd -g 5000 -u 5000 mapr

# password mapr

# clush -ac /etc/yum.repo.d/mapr.repo

#clush -aB yum -y install mapr-fileserver mapr-cldb mapr-zookeeper mapr-resourcemanager mapr-nodemanager mapr-nfs mapr-core mapr-drill

#yum -y install mapr-webserver

MapR の初期設定とディスクを追加します

# cat disks.txt
/dev/xvdc
/dev/xvdd
/dev/xvde

# clush -ac disks.txt

# clush -aB /opt/mapr/server/configure.sh -C drill01,drill02,drill03 -Z drill01,drill02,drill03 -N drill-cluster01-F disks.txt -no-autostart

以上で MapR と Drill のインストールは終わりです。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です