메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


*출처 : http://bloodguy.tistory.com/entry/Hadoop-%EB%B3%B4%EC%95%88%EC%84%A4%EC%A0%95-security-kerberos-spnego-ssl


1. Namenode HA: http://bloodguy.tistory.com/948

2. ResourceManager HA: http://bloodguy.tistory.com/949

3. Kerberos Server Replication: http://bloodguy.tistory.com/954

4. Zookeeper Kerberos 보안설정: http://bloodguy.tistory.com/957

5. Hadoop 보안 설정 : http://bloodguy.tistory.com/entry/Hadoop-%EB%B3%B4%EC%95%88%EC%84%A4%EC%A0%95-security-kerberos-spnego-ssl



2.6.0 버전인 현재 Hadoop 보안의 경우 설정 등이 대단히 복잡하고,

퍼포먼스 하락도 눈에 띌 만큼 발생하므로 그다지 추천하고 싶지는 않지만,

여하튼 보안은 필요한 부분이므로 삽질한 결과를 남겨둠.


프로세스 실행이나 RPC 통신 암호화 및 HTTPS 설정 등 Hadoop 보안관련 종합선물세트임.

단, 저장 데이터 자체에 대한 암호화는 제외.




[가정사항]

아래처럼 HA 구성 상태이며 Kerberos가 설치되어 있고,

Zookeeper는 이미 보안설정이 되어 있다고 가정함.


Namenode HAhttp://bloodguy.tistory.com/948

ResourceManager HAhttp://bloodguy.tistory.com/949

Kerberos Server Replicationhttp://bloodguy.tistory.com/954

Zookeeper Kerberos 보안설정http://bloodguy.tistory.com/957




[사용자/그룹 추가]

전체 서버에 아래와 같은 사용자/그룹이 추가되어야 함.

// group은 hadoop

[root@server01]# groupadd hadoop

// user는 hdfs, yarn

[root@server01]# useradd hdfs -g hadoop

[root@server01]# useradd yarn -g hadoop


// 전체 서버에 모두 추가





[Kerberos]


principal 생성

서버가 많으면 개고생하므로 스크립트로 만들어서 처리할 것을 권장.


필요한 principal은 아래와 같음.

FQDN(FullyQualifiedDomainName)별로 생성하므로 서버별로 각 3개씩의 principal이 필요함.

hdfs/FQDN

yarn/FQDN

HTTP/FQDN


// principal 추가

// 전체 서버별로 principal 3개씩 생성.


// kadmin으로 접속

[root@server01]# kadmin -p admin/admin@BLOODGUY.COM

// server01

kadmin: addprinc -randkey hdfs/server01.bloodguy.com@BLOODGUY.COM

kadmin: addprinc -randkey yarn/server01.bloodguy.com@BLOODGUY.COM

kadmin: addprinc -randkey HTTP/server01.bloodguy.com@BLOODGUY.COM

// server02

kadmin: addprinc -randkey hdfs/server02.bloodguy.com@BLOODGUY.COM

kadmin: addprinc -randkey yarn/server02.bloodguy.com@BLOODGUY.COM

kadmin: addprinc -randkey HTTP/server02.bloodguy.com@BLOODGUY.COM

// ~~~ serverNN 까지 생성



keytab 생성

각 서버마다 아래와 같은 principal을 포함하는 2개의 keytab 파일이 필요함.

hdfs.keytab = hdfs/FQDN + HTTP/FQDN

yarn.keytab = yarn/FQDN + HTTP/FQDN


// 1. 설치된 Kerberos가 -norandkey 옵션을 지원할 경우엔 아래처럼 여러 principal을 동시에 포함하여 필요한 keytab 파일을 각각 생성하면 됨

// _____________________________________________________________________________________________

kadmin: xst -norandkey -k hdfs.keytab hdfs/server01.bloodguy.com@BLOODGUY.COM HTTP/server01.bloodguy.com@BLOODGUY.COM

kadmin: xst -norandkey -k yarn.keytab yarn/server01.bloodguy.com@BLOODGUY.COM HTTP/server01.bloodguy.com@BLOODGUY.COM


// 2. 설치된 Kerberos가 -norandkey 옵션을 지원하지 않을 경우 아래처럼 keytab을 각 principal별로 따로 만든 후 ktutil로 합쳐야 함.

// _____________________________________________________________________________________________

kadmin: xst -k HTTP.keytab HTTP/server01.bloodguy.com@BLOODGUY.COM

kadmin: xst -k hdfs-unmerged.keytab hdfs/server01.bloodguy.com@BLOODGUY.COM

kadmin: xst -k yarn-unmerged.keytab yarn/server01.bloodguy.com@BLOODGUY.COM

kadmin: quit


[root@server01]# ktutil


// hdfs.keytab

ktutil: rkt hdfs-unmerged.keytab

ktutil: rkt HTTP-unmerged.keytab

ktutil: wkt hdfs.keytab

ktutil: clear

// yarn.keytab

ktutil: rkt yarn-unmerged.keytab

ktutil: rkt HTTP-unmerged.keytab

ktutil: wkt yarn.keytab

ktutil: quit


// 필요없는 keytab 파일 삭제

[root@server01]# rm -rf *-unmerged.keytab

[root@server01]# rm -rf HTTP.keytab


생성된 keytab 파일의 퍼미션을 설정하고 적절한 위치로 이동.

각 서버마다 반복.

// 퍼미션 설정

[root@server01]# chown hdfs:hadoop hdfs.keytab

[root@server01]# chmod 400 hdfs.keytab

[root@server01]# chown yarn:hadoop yarn.keytab

[root@server01]# chmod 400 yarn.keytab


// keytab 파일은 hadoop 설정 디렉토리에 넣는다고 가정함.

[root@server01]# mv *.keytab /home/hadoop/etc/hadoop






[Directory Permission]


HDFS (로컬 디렉토리가 아니라 HDFS 디렉토리임에 주의)

/* 

/    = hdfs:hadoop (775)

*/

/home/hadoop/bin/hdfs dfs -chown hdfs:hadoop /

/home/hadoop/bin/hdfs dfs -chmod 775 /


/* 

/tmp = hdfs:hadoop (777)

*/

/home/hadoop/bin/hdfs dfs -chown hdfs:hadoop /tmp

/home/hadoop/bin/hdfs dfs -chmod 777 /tmp


/* 

/user = hdfs:hadoop (755)

*/

/home/hadoop/bin/hdfs dfs -chown hdfs:hadoop /user

/home/hadoop/bin/hdfs dfs -chmod 755 /user


/*

yarn.nodemanager.remote-app-log-dir[/tmp/logs] = yarn:hadoop (777)

*/

/home/hadoop/bin/hdfs dfs -chown yarn:hadoop /tmp/logs

/home/hadoop/bin/hdfs dfs -chmod 777 /tmp/logs


/home/hadoop/bin/hdfs dfs -chown yarn:hadoop /tmp/hadoop-yarn

/home/hadoop/bin/hdfs dfs -chmod 777 /tmp/hadoop-yarn


Local (전체 서버 대상)

각 디렉토리 경로는 설정에 맞게.

// dfs.namenode.name.dir = hdfs:hadoop (700)

[root@server01]# chown -R hdfs:hadoop /home/hadoop/data/dfs/name

[root@server01]# chmod 700 /home/hadoop/data/dfs/name


// dfs.datanode.data.dir = hdfs:hadoop (700)

[root@server01]# chown -R hdfs:hadoop /home/hadoop/data/dfs/data

[root@server01]# chmod 700 /home/hadoop/data/dfs/data


// dfs.journalnode.edits.dir = hdfs:hadoop (700)

[root@server01]# chown -R hdfs:hadoop /home/hadoop/data/dfs/journalnode

[root@server01]# chmod 700 /home/hadoop/data/dfs/journalnode


// $HADOOP_LOG_DIR       = hdfs:hadoop (775)

[root@server01]# chown -R hdfs:hadoop /home/hadoop/logs

[root@server01]# chmod 775 /home/hadoop/logs


// $YARN_LOG_DIR         = yarn:hadoop (775)

// 위와 동일한 경로(/home/hadoop/logs)로 세팅했으므로 생략.


// yarn.nodemanager.local-dirs = yarn:hadoop (755)

[root@server01]# chown -R yarn:hadoop /home/hadoop/data/yarn/nm-local-dir

[root@server01]# chmod 755 /home/hadoop/data/yarn/nm-local-dir


// yarn.nodemanager.log-dirs   = yarn:hadoop (755)

// 위와 동일한 경로(/home/hadoop/logs)로 세팅했으므로 생략.






[container-executor 빌드]


먼저 hadoop 소스코드와 빌드할 수 있는 환경이 세팅되어 있어야 함.

참고: http://bloodguy.tistory.com/939


소스코드가 있고 빌드환경 세팅이 완료되었다면 아래와 같은 과정을 거쳐 빌드 및 설정.

// /home/src/hadoop-2.6.0-src 디렉토리에 소스코드 압축이 풀려있다고 가정함.


// 빌드

[root@server01]# cd /home/src/hadoop-2.6.0-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/

[root@server01]# mvn package -Dcontainer-executor.conf.dir=/home/hadoop/etc/hadoop -DskipTests -Pnative


// 빌드 결과물 옮기기

[root@server01]# cp target/native/target/usr/local/bin/* /home/hadoop/bin


// 퍼미션

[root@server01]# cd /home/hadoop/bin

[root@server01]# chown root:hadoop container-executor 

[root@server01]# chmod 6050 container-executor


// cfg 파일 설정

[root@server01]# vi /home/hadoop/etc/hadoop/container-executor.cfg


yarn.nodemanager.linux-container-executor.group=hadoop

#banned.users=

min.user.id=500

#allowed.system.users=


// cfg 파일 퍼미션 설정

[root@server01]# chown root:hadoop /home/hadoop/etc/hadoop/container-executor.cfg

[root@server01]# chmod 0400 /home/hadoop/etc/hadoop/container-executor.cfg


// cfg 파일의 경우 전체 서버에 배포.

// 빌드된 실행파일의 경우 서버들의 하드웨어, 커널버전 등이 동일하다면 실행파일만 배포하고, 아니라면 각 서버마다 빌드를 해줘야 함.








[설정파일]


설정파일 수정 전에 먼저 secret file을 생성해줘야 함.

// core-site.xml의 hadoop.http.authentication.signature.secret.file property에 지정할 secret 파일 생성

[root@server01]# dd if=/dev/urandom of=/home/hadoop/etc/hadoop/hadoop-http-auth-signature-secret bs=1024 count=1


// 퍼미션 설정

// 데몬을 실행시킬 user 소유로 변경

// 아래는 hdfs 라는 user로 데몬들을 실행시킨다는 가정

[root@server01]# chown hdfs:hadoop /home/hadoop/etc/hadoop/hadoop-http-auth-signature-secret

[root@server01]# chmod 400 /home/hadoop/etc/hadoop/hadoop-http-auth-signature-secret


// 생성 후 전체 서버 배포



아래는 각 설정파일별로 보안설정에 필요한 property만 나열함.


core-site.xml

<!-- 보안설정 -->
<property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
</property>
<property>
    <name>hadoop.security.authorization</name>
    <value>true</value>
</property>
<property>
    <name>hadoop.rpc.protection</name>
    <value>privacy</value>
</property>
 
<!-- SPNEGO/Kerberos - 웹접속 관련 보안설정 -->
<property>
    <name>hadoop.http.filter.initializers</name>
    <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
<property>
    <name>hadoop.http.authentication.type</name>
    <value>kerberos</value>
</property>
<property>
    <name>hadoop.http.authentication.token.validity</name>
    <value>36000</value>
</property>
<property>
    <name>hadoop.http.authentication.signature.secret.file</name>
    <value>/home/hadoop/etc/hadoop/hadoop-http-auth-signature-secret</value>
</property>
<property>
    <name>hadoop.http.authentication.cookie.domain</name>
    <value>bloodguy.com</value>
</property>
<property>
    <name>hadoop.http.authentication.simple.anonymous.allowed</name>
    <value>false</value>
</property>
<property>
    <name>hadoop.http.authentication.kerberos.principal</name>
    <value>HTTP/_HOST@BLOODGUY.COM</value>
</property>
<property>
    <name>hadoop.http.authentication.kerberos.keytab</name>
    <value>/home/hadoop/etc/hadoop/hdfs.keytab</value>
</property>
 
<!-- Encrypted Shuffle - Map->Reduce 데이터 전달시 암호화 -->
<property>
    <name>hadoop.ssl.require.client.cert</name>
    <value>false</value>
    <final>true</final>
</property>
<property>
    <name>hadoop.ssl.hostname.verifier</name>
    <value>DEFAULT</value>
    <final>true</final>
</property>
<property>
    <name>hadoop.ssl.keystores.factory.class</name>
    <value>org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory</value>
    <final>true</final>
</property>
<property>
    <name>hadoop.ssl.server.conf</name>
    <value>ssl-server.xml</value>
    <final>true</final>
</property>
<property>
    <name>hadoop.ssl.client.conf</name>
    <value>ssl-client.xml</value>
    <final>true</final>
</property>


hdfs-site.xml



<!-- SECURITY -->
<property>
    <name>dfs.block.access.token.enable</name>
    <value>true</value>
</property>
<property>
    <name>dfs.data.transfer.protection</name>
    <value>privacy</value>
</property>
<property>
    <name>dfs.http.policy</name>
    <value>HTTPS_ONLY</value>
</property>
<!-- JournalNode -->
<property>
    <name>dfs.journalnode.keytab.file</name>
    <value>/home/hadoop/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.journalnode.kerberos.principal</name>
    <value>hdfs/_HOST@BLOODGUY.COM</value>
</property>
<property>
    <name>dfs.journalnode.kerberos.internal.spnego.principal</name>
    <value>HTTP/_HOST@BLOODGUY.COM</value>
</property>
<!-- NameNode -->
<property>
    <name>dfs.namenode.https-address.hadoop-cluster.nn1</name>
    <value>server01.bloodguy.com:50470</value>
</property>
<property>
    <name>dfs.namenode.https-address.hadoop-cluster.nn2</name>
    <value>server02.bloodguy.com:50470</value>
</property>
<property>
    <name>dfs.namenode.keytab.file</name>
    <value>/home/hadoop/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.namenode.kerberos.principal</name>
    <value>hdfs/_HOST@BLOODGUY.COM</value>
</property>
<property>
    <name>dfs.namenode.kerberos.internal.spnego.principal</name>
    <value>${dfs.web.authentication.kerberos.principal}</value>
</property>
<!-- DataNode -->
<property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
</property>
<property>
    <name>dfs.datanode.https.address</name>
    <value>0.0.0.0:50475</value>
</property>
<property>
    <name>dfs.datanode.keytab.file</name>
    <value>/home/hadoop/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.datanode.kerberos.principal</name>
    <value>hdfs/_HOST@BLOODGUY.COM</value>
</property>
<!-- Web -->
<property>
    <name>dfs.web.authentication.kerberos.keytab</name>
    <value>/home/hadoop/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.principal</name>
    <value>HTTP/_HOST@BLOODGUY.COM</value>
</property>

mapred-site.xml

<!-- JobHistoryServer 보안설정 -->
<property>
    <name>mapreduce.jobhistory.keytab</name>
    <value>/home/hadoop/etc/hadoop/hdfs.keytab</value>
</property>
<property>
    <name>mapreduce.jobhistory.principal</name>
    <value>hdfs/_HOST@BLOODGUY.COM</value>
</property>
<property>
    <name>mapreduce.jobhistory.http.policy</name>
    <value>HTTPS_ONLY</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.https.address</name>
    <value>server01.bloodguy.com:19888</value>
</property>
<!-- Map/Reduce Shuffle SSL 설정 -->
<property>
    <name>mapreduce.shuffle.ssl.enabled</name>
    <value>true</value>
    <final>true</final>
</property>


출처: http://bloodguy.tistory.com/entry/Hadoop-보안설정-security-kerberos-spnego-ssl [Bloodguy]


yarn-site.xml

<!-- ResourceManager 보안설정 -->
<property>
    <name>yarn.resourcemanager.keytab</name>
    <value>/home/hadoop/etc/hadoop/yarn.keytab</value>
</property>
<property>
    <name>yarn.resourcemanager.principal</name>
    <value>yarn/_HOST@BLOODGUY.COM</value>
</property>
<!-- NodeManager 보안설정 -->
<property>
    <name>yarn.nodemanager.keytab</name>
    <value>/home/hadoop/etc/hadoop/yarn.keytab</value>
</property>
<property>
    <name>yarn.nodemanager.principal</name>
    <value>yarn/_HOST@BLOODGUY.COM</value>
</property>
<!-- ContainerExecutor 관련 -->
<property>
    <name>yarn.nodemanager.container-executor.class</name>
    <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>
<property>
    <name>yarn.nodemanager.linux-container-executor.group</name>
    <value>hadoop</value>
</property>
<property>
    <name>yarn.nodemanager.linux-container-executor.path</name>
    <value>/home/hadoop/bin/container-executor</value>
</property>
<!-- WEB 관련 -->
<property>
    <name>yarn.http.policy</name>
    <value>HTTPS_ONLY</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>0.0.0.0:8090</value>
</property>
<property>
    <name>yarn.nodemanager.webapp.https.address</name>
    <value>0.0.0.0:8042</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>https://server01.bloodguy.com:19888/jobhistory/logs</value>


[SSL 인증서]


보안통신을 위한 SSL 인증서가 필요함.

third party의 진짜 리얼 인증서를 이용하거나, self-signed 를 이용하는 방법도 있지만,

여기선 openssl을 이용한 internal CA를 이용하는 방법을 사용함.


// internal CA setup

[root@server01]# openssl genrsa -out ca.key 8192

[root@server01]# openssl req -new -x509 -extensions v3_ca -key ca.key -out ca.crt -days 18250

[root@server01]# mkdir -m 0700 /root/CA /root/CA/certs /root/CA/crl /root/CA/newcerts /root/CA/private

[root@server01]# mv ca.key /root/CA/private

[root@server01]# mv ca.crt /root/CA/certs

[root@server01]# touch /root/CA/index.txt ; echo 1000 >> /root/CA/serial

[root@server01]# chmod 0400 /root/CA/private/ca.key


// openssl 설정파일 수정

[root@server01]# vi /etc/pki/tls/openssl.cnf


#######################################################################################

[ CA_default ]


dir         = /root/CA          # Where everything is kept

certs       = $dir/certs        # Where the issued certs are kept

crl_dir     = $dir/crl          # Where the issued crl are kept

database    = $dir/index.txt    # database index file.

#unique_subject = no            # Set to 'no' to allow creation of

                                # several ctificates with same subject.

new_certs_dir = $dir/newcerts   # default place for new certs.


certificate = $dir/cacert.pem   # The CA certificate

serial      = $dir/serial       # The current serial number

crlnumber   = $dir/crlnumber    # the current crl number

                                # must be commented out to leave a V1 CRL

crl         = $dir/crl.pem           # The current CRL

private_key = $dir/private/cakey.pem # The private key

RANDFILE    = $dir/private/.rand     # private random number file


x509_extensions = usr_cert      # The extentions to add to the cert

#######################################################################################


// cluster trust store 

[root@server01]# openssl genrsa -out clusterCA.key 2048

[root@server01]# openssl req -x509 -new -key clusterCA.key -days 18250 -out clusterCA.pem

[root@server01]# keytool -importcert -alias clusterCA -file clusterCA.pem -keystore clusterTrustStore -storepass "비밀번호"


[root@server01]# mkdir /home/hadoop/etc/hadoop/security

[root@server01]# mv clusterCA.key clusterCA.pem clusterTrustStore /home/hadoop/etc/hadoop/security

[root@server01]# cd /home/hadoop/etc/hadoop/security


// host key store

[root@server01]# keytool -genkeypair -alias `hostname -s` -keyalg RSA -keysize 1024 -dname "CN=`hostname -f`,OU=foo,O=corp" -keypass "비밀번호" -keystore hostKeyStore -storepass "비밀번호" -validity 18250

[root@server01]# keytool -keystore hostKeyStore -alias `hostname -s` -certreq -file host.cert -storepass "비밀번호" -keypass "비밀번호"

[root@server01]# openssl x509 -req -CA clusterCA.pem -CAkey clusterCA.key -in host.cert -out host.signed -days 18250 -CAcreateserial

[root@server01]# keytool -keystore hostKeyStore -storepass "비밀번호" -alias clusterCA -import -file clusterCA.pem 

[root@server01]# keytool -keystore hostKeyStore -storepass "비밀번호" -alias `hostname -s` -import -file host.signed -keypass "비밀번호"


// 나머지 전체 서버들 동일하게 세팅

// 전체 서버 대상으로

// 디렉토리 만들고

[root@server01]# ssh root@server02.bloodguy.com mkdir -p /home/hadoop/etc/hadoop/security

// 필요한 파일 전송

[root@server01]# scp clusterCA.key clusterCA.pem clusterTrustStore root@server02.bloodguy.com:/home/hadoop/etc/hadoop/security


// 각 서버별 key store 생성 

[root@server02]# cd /home/hadoop/etc/hadoop/security

[root@server02]# keytool -genkeypair -alias `hostname -s` -keyalg RSA -keysize 1024 -dname "CN=`hostname -f`,OU=foo,O=corp" -keypass "비밀번호" -keystore hostKeyStore -storepass "비밀번호" -validity 18250

[root@server02]# keytool -keystore hostKeyStore -alias `hostname -s` -certreq -file host.cert -storepass "비밀번호" -keypass "비밀번호"

[root@server02# openssl x509 -req -CA clusterCA.pem -CAkey clusterCA.key -in host.cert -out host.signed -days 18250 -CAcreateserial

[root@server02]# keytool -keystore hostKeyStore -storepass "비밀번호" -alias clusterCA -import -file clusterCA.pem 

[root@server02]# keytool -keystore hostKeyStore -storepass "비밀번호" -alias `hostname -s` -import -file host.signed -keypass "비밀번호"



SSL 관련 설정파일 세팅

// 예제 파일을 복사해서 설정파일로 사용함.

[root@server01]# cd /home/hadoop/etc/hadoop

[root@server01]# cp ssl-client.xml.example ssl-client.xml

[root@server01]# cp ssl-server.xml.example ssl-server.xml


ssl-client.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
 
<property>
  <name>ssl.client.truststore.location</name>
  <value>/home/hadoop/etc/hadoop/security/clusterTrustStore</value>
</property>
<property>
  <name>ssl.client.truststore.password</name>
  <value>비밀번호</value>
</property>
<property>
  <name>ssl.client.truststore.type</name>
  <value>jks</value>
</property>
<property>
  <name>ssl.client.truststore.reload.interval</name>
  <value>10000</value>
</property>
<property>
  <name>ssl.client.keystore.location</name>
  <value>/home/hadoop/etc/hadoop/security/hostKeyStore</value>
</property>
<property>
  <name>ssl.client.keystore.password</name>
  <value>비밀번호</value>
</property>
<property>
  <name>ssl.client.keystore.keypassword</name>
  <value>비밀번호</value>
</property>
<property>
  <name>ssl.client.keystore.type</name>
  <value>jks</value>
</property>
 
</configuration>


ssl-server.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
 
<property>
  <name>ssl.server.truststore.location</name>
  <value>/home/hadoop/etc/hadoop/security/clusterTrustStore</value>
</property>
<property>
  <name>ssl.server.truststore.password</name>
  <value>비밀번호</value>
</property>
<property>
  <name>ssl.server.truststore.type</name>
  <value>jks</value>
</property>
<property>
  <name>ssl.server.truststore.reload.interval</name>
  <value>10000</value>
</property>
<property>
  <name>ssl.server.keystore.location</name>
  <value>/home/hadoop/etc/hadoop/security/hostKeyStore</value>
</property>
<property>
  <name>ssl.server.keystore.password</name>
  <value>비밀번호</value>
</property>
<property>
  <name>ssl.server.keystore.keypassword</name>
  <value>비밀번호</value>
</property>
<property>
  <name>ssl.server.keystore.type</name>
  <value>jks</value>
</property>
 
</configuration>





여기까지 설정 후 ssl-client.xml과 ssl-server.xml을 전체 서버에 배포.






[확인]


위 설정을 완료하고 클러스터 재시작.


hdfs

콘솔에서 예전처럼 그냥 hdfs 명령어를 실행할 경우 엄청난 양의 보안관련 에러 메세지를 볼 수 있음.

보안설정 이후엔 아래처럼 Kerberos 인증을 완료한 후 적절한 user로 명령어를 실행해야 함.

[root@server01]# sudo -u hdfs kinit -k -t /home/hadoop/etc/hadoop/hdfs.keytab hdfs/server01.bloodguy.com@BLOODGUY.COM

[root@server01]# sudo -u hdfs /home/hadoop/bin/hdfs dfs -ls / 



Map/Reduce

hdfs와 마찬가지로 보안설정 이후엔 Map/Reduce 실행도 Kerberos 인증을 완료하고 해야하고,

거기에 더하여 system 계정 등은 사용할 수 없는 좀 더 까다로운 부분이 있음.

그냥 yarn 계정으로 해버리면 됨.

[root@server01]# sudo -u yarn kinit -k -t /home/hadoop/etc/hadoop/yarn.keytab yarn/server01.bloodguy.com@BLOODGUY.COM

[root@server01]# sudo -u yarn MAPREDUCE_SCRIPT


만약 Map/Reduce가 실패할 경우 경험상 거의 전부 퍼미션 관련 오류였음. 

로그를 뒤져보고 HDFS 각 디렉토리의 퍼미션을 잘 맞춰볼 것.

/user/yarn 이라든가, MapReduce 결과가 저장될 result 디렉토리 라든가..


그리고 혹시나 해서 보안설정 여부에 따른 Map/Reduce 수행시간을 비교해봤는데,

약 1.7배 가량의 수행시간 차이가 나는 것을 확인했음.

1G 정도 되는 텍스트 파일을 이용한 테스트였는데,

수행시간은 각각 보안설정을 하지 않았을 경우 98초, 보안설정을 했을 경우 166초가 걸렸음.

일단 테스트용으로 구성한 클러스터 환경이 정확한 테스트를 하기엔 매우 부적절한 환경이라 전부 믿을 수는 없지만,

예상을 뛰어넘는 퍼포먼스 하락이 발생하여 약간 멘붕...;



Web

각종 모니터링 웹페이지 역시 Kerberos 인증을 거친 뒤 https로 접속해야 접근이 가능함.


내 Windows PC는 사용가능한 Active Directory 서버가 없어서 Kerberos 인증을 통한 SPNEGO 접속이 안되므로,

그냥 VirtualBox에 Linux 설치 후 Kerberos 인증하고 접속 성공.

(Windows에서 어떻게든 해보려고 완전 개삽질한 걸 엄청나게 후회하고 있음...)


SPNEGO로 접근하려면 브라우저에서도 뭔가 설정을 해줘야 함.

나는 FireFox를 사용했는데 아래처럼 설정함.

(각 브라우저별로 설정방법이 다르므로 나머지 브라우저는 각자 구글링을 통해 알아서 해결하면 됨)


// FireFox SPNEGO 세팅하는 법


1. 주소창에 about:config 입력하고 설정 페이지 진입


2. network.negotiate-auth.trusted-uris 항목에 접속하고자 하는 hostname 입력.

ex) server01.bloodguy.com,server02.bloodguy.com


[주의]

*.domain.com 이런 건 안 먹힘. hostname을 정확히 기입해야 함. 여러개일 경우 쉼표(,)로 연결.





[해결하지 못한 것]


브라우저로 namenode에 접근했을 때 다 되는데,

/logs 만 접근이 실패함.

아래와 같은 에러 메세지.

HTTP ERROR 403

Problem accessing /logs/. Reason:

    User $USERNAME is unauthorized to access this page.




번호 제목 날짜 조회 수
504 각 서버에 설치되는 cloudera서비스 프로그램 목록(CDH 5.14.0의 경우) 2018.03.29 632
503 Cloudera설치중 실패로 여러번 설치하는 과정에 "Running in non-interactive mode, and data appears to exist in Storage Directory /dfs/nn. Not formatting." 오류가 발생시 조치하는 방법 2018.03.29 1105
502 Cloudera설치중에 "Error, CM server guid updated"오류 발생시 조치방법 2018.03.29 338
501 Cloudera가 사용하는 서비스별 포트 2018.03.29 1085
500 Cloudera가 사용하는 서비스별 디렉토리 2018.03.29 675
499 cloudera-scm-agent 설정파일 위치및 재시작 명령문 2018.03.29 981
498 [CentOS] 네트워크 설정 2018.03.26 637
497 Components of the Impala Server 2018.03.21 599
496 HDFS Balancer설정및 수행 2018.03.21 681
495 hadoop 클러스터 실행 스크립트 정리 2018.03.20 1677
» HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 250
493 자주쓰는 유용한 프로그램 2018.03.16 1532
492 에러 추적(Error Tracking) 및 로그 취합(logging aggregation) 시스템인 Sentry 설치 2018.03.14 425
491 update 샘플 2018.03.12 1325
490 이미지 관리 오픈소스 목록 2018.03.11 693
489 Scala에서 countByWindow를 이용하기(예제) 2018.03.08 1025
488 Scala를 이용한 Streaming예제 2018.03.08 913
487 scala application 샘플소스(SparkSession이용) 2018.03.07 1115
486 fuseki의 endpoint를 이용한 insert, delete하는 sparql예시 2018.02.14 311
485 프로세스를 확인해서 프로세스를 삭제하는 shell script예제(cryptonight) 2018.02.02 869
위로