메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


https://imp51.tistory.com/entry/CDP-ADLDAP%EC%97%B0%EB%8F%99-%EC%8B%9C-%EC%82%AC%EC%9A%A9%EC%9E%90-%EB%B0%8F-%EA%B7%B8%EB%A3%B9%EC%9D%B4-numeric%EC%9D%B8-%EA%B2%BD%EC%9A%B0-%EA%B3%A0%EB%A0%A4%EC%82%AC%ED%95%AD


Cloudera Data Platform에서 보안 인증을 구성할 때, 주요 구성 요소는 다음과 같다.

- 인증 : MS AD 또는 Open-ldap, MS AD를 권장(디렉토리 서비스와 MIT Kerberos 기능을 동시에 제공하며, 기업 환경에서 운영하기 안정적임) 및 Kerberos

- 접근제어 : Ranger

- 데이터 거버넌스 : Atlas

CDP의 경우 사용자 계정으로 인증을 할 때, LDAP에 등록된 사용자 기반으로 Kerberos 인증을 수행하며, LDAP에 등록된 사용자 및 사용자 그룹은 물리적인 빅데이터 시스템의 OS 계정 및 그룹이 동기화되어야 한다. 

대부분 Linux의 SSSD를 활용하여 LDAP에 사용자 및 사용자 그룹 정보와 CDP의 시스템 계정(hdfs, impala 등)을 동기화되도록 구성한다.

- 참고 내용 : docs.cloudera.com/cdp-private-cloud-base/7.1.5/security-kerberos-authentication/topics/cm-security-pam-ldap.html

일부 기업 환경에 Enterprise LDAP에 등록된 사용자의 계정이 numeric으로 구성되어 있는 경우, 

OS가 linux 7이상인 경우, 다음의 원인으로 numeric username을 OS 사용자로 등록하지 못하는 제약사항이 존재한다.

access.redhat.com/solutions/3103631

번호 제목 날짜 조회 수
692 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 4977
691 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 4966
690 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 2022.11.10 4817
689 kudu의 내부 table명 변경하는 방법 2022.11.10 4185
688 kerberos연동된 CDH 6.3.4에서 default realm값이 잘못된 상태에서 서비스 기동시 오류 2022.10.14 4339
687 [impala]쿼리 수행중 발생하는 오류(due to memory pressure: the memory usage of this transaction, Failed to write to server) 2022.10.05 4355
686 [Kerberos인증] /var/log/krb5kdc.log파일 기준으로 인증요청(AS), 티켓확인(TGS)이 진행되는 로그 기록 2022.09.21 4879
685 Oracle 12c DB의 LOB타입 컬럼이 있는 테이블을 import할 때 주의 할 사항 2022.09.14 4621
684 [kerberos]Kerberos HA구성 참고 페이지 2022.08.31 3381
683 [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다. 2022.07.29 4519
682 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 2022.07.14 5133
681 [Cloudera 6.3.4, Kudu]]Service Monitor에서 사용하는 metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법 2022.07.08 4649
680 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) 2022.07.04 5825
679 javax.net.ssl.SSLHanshakeException: SSLHandshakeException invoking https://mainCluster.gooper.com:7183/api/v1/users: sun.security.validator.ValidatorException: No trusted certificate found 2022.06.29 3934
678 Cloudera Manager의 Java Heap Size변경하는 방법 2022.06.27 4898
677 [Sentry] sentry메타 DB를 이용하여 테이블에 매핑되어 있는 role명칭 찾는 방법. 2022.06.22 4251
676 Authorization within Hadoop Projects 2022.06.13 3106
675 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 2022.06.10 3942
» [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. 2022.06.10 4811
673 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle 2022.06.10 4257
위로