메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다.

gooper 2022.06.10 17:59 조회 수 : 2668

https://imp51.tistory.com/entry/CDP-ADLDAP%EC%97%B0%EB%8F%99-%EC%8B%9C-%EC%82%AC%EC%9A%A9%EC%9E%90-%EB%B0%8F-%EA%B7%B8%EB%A3%B9%EC%9D%B4-numeric%EC%9D%B8-%EA%B2%BD%EC%9A%B0-%EA%B3%A0%EB%A0%A4%EC%82%AC%ED%95%AD


Cloudera Data Platform에서 보안 인증을 구성할 때, 주요 구성 요소는 다음과 같다.

- 인증 : MS AD 또는 Open-ldap, MS AD를 권장(디렉토리 서비스와 MIT Kerberos 기능을 동시에 제공하며, 기업 환경에서 운영하기 안정적임) 및 Kerberos

- 접근제어 : Ranger

- 데이터 거버넌스 : Atlas

CDP의 경우 사용자 계정으로 인증을 할 때, LDAP에 등록된 사용자 기반으로 Kerberos 인증을 수행하며, LDAP에 등록된 사용자 및 사용자 그룹은 물리적인 빅데이터 시스템의 OS 계정 및 그룹이 동기화되어야 한다. 

대부분 Linux의 SSSD를 활용하여 LDAP에 사용자 및 사용자 그룹 정보와 CDP의 시스템 계정(hdfs, impala 등)을 동기화되도록 구성한다.

- 참고 내용 : docs.cloudera.com/cdp-private-cloud-base/7.1.5/security-kerberos-authentication/topics/cm-security-pam-ldap.html

일부 기업 환경에 Enterprise LDAP에 등록된 사용자의 계정이 numeric으로 구성되어 있는 경우, 

OS가 linux 7이상인 경우, 다음의 원인으로 numeric username을 OS 사용자로 등록하지 못하는 제약사항이 존재한다.

access.redhat.com/solutions/3103631

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
710 [Ranger]RangerAdminRESTClient Error gertting pplicies; Received NULL response!!, secureMode=true, user=rangerkms/node01.gooper.com@ GOOPER.COM (auth:KERBEROS), serviceName=cm_kms 2023.06.27 2030
709 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 3196
708 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 4953
707 Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 2023.05.19 2964
706 [Atlas Server]org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)] 2023.05.15 2656
705 [Solr in Cloudera]Solr Data Directory변경 방법/절차 2023.04.21 3055
704 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 2023.04.18 2736
703 [DataNode]org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: hdfs/datanode03@GOOPER.COM from keytab hdfs.keytab오류 2023.04.18 8453
702 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 2023.03.28 3097
701 Hadoop Clsuter에 이미 포함된 host의 hostname변경시 처리 절차 2023.03.24 2910
700 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 3805
699 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. 2023.03.10 3069
698 [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항 2023.03.10 3060
697 호출 url현황 2023.02.21 1060
696 ./gradlew :composeDown 및 ./gradlew :composeUp 를 성공했을때의 메세지 2023.02.20 1025
695 [ftgo_application]Unable to infer base url오류 발생시 조치방법 2023.02.20 3531
694 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified 2023.02.02 2498
693 [Kerberos]병렬 kinit 호출시 cache파일이 손상되어 Bad format in credentials cache 혹은 No credentials cache found 혹은 Internal credentials cache error 오류 발생시 2023.01.20 2754
692 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 3114
691 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 2914
쓰기 태그
위로