메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.




MySQL 다운로드]
 
1)  사이트 방문하여 소스 다운로드 하기
- 각 OS 버전에 맞게 설치파일을 다운로드를 받을 수 있다.
 
http://dev.mysql.com/downloads/mysql/
(주의) 컴파일용으로 다운받기 위해서는 Platform을 "Source Code"를 선택하고 Compressed TAR Archive 를 다운받는다.)
 
2) wget으로 소스 다운로드 하기
# wget http://downloads.mysql.com/archives/mysql-5.0/mysql-5.0.85.tar.gz
 
[MySQL 리눅스에 간단 설치하기]
 
1) usr/local/src          <-- 여기에 다운로드
2) /usr/local/src 에 압축품 (# tar zxvf mysql-5.0.85.tar.gz )
3) mysql-5.0.85 폴더 생성됨 ( /usr/local/mysql-5.0.85 )
4) ./configure --prefix=/usr/local/mysql
--localstatedir=/usr/local/mysql/data
--with-charset=utf8
--with-innodb
--with-mysqld-user=mysql
--without-debug
--enable-large-files
--with-unix-socket-path=/var/lib/mysql/mysql.sock
--with-client-ldflags=-all-static --with-mysqld-ldflags=-all-static
--without-debug
--without-docs
5) make
6) make install
또는 5) 6) make && make install 같음.
이것으로 설치는 완료 됨.
---------------------------
 
[mysql DBA 생성 및 mysql 설정]
- mysql동작을 root가 아닌 mysql유저가 하도록 하는 것이다. 보안상의 문제
 
1. dba 그룹추가 및 mysql 사용자 추가.
# groupadd dba
# useradd -M -o -r -d /usr/local/mysql -s /sbin/nologin -c "Mysql Server" -u 27 -g dba mysql >/dev/null 2>&1 || :
 
2. 설치된 폴더에 대해 권한을 부여
# chown -R root:dba /usr/local/mysql
# chown -R mysql:dba -R /var/lib/mysql
 
3. 초기 데이터를 생성.
# /usr/local/mysql/bin/mysql_install_db
 
4. data 저장 디렉토리 권한부여
# chown -R mysql:dba /usr/local/mysql/data/mysql
 
5. mysql 권한설정
chown -R mysql.mysql /usr/local/mysql
 
6. mysql 실행.
# /usr/local/mysql/bin/mysqld_safe &

 
7. root 권한 설정
# /usr/local/mysql/bin/mysqladmin -u root password 'new-password'
 
8. 라이브러리에 등록(root 권한으로).
# echo /usr/local/mysql/lib/mysql >> /etc/ld.so.conf && ldconfig
 
9. mysqld 자동 시작을 위해 다음과 같이 스크립트를 복사 및 컨피그 설정.
# cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld
# chkconfig --add mysqld
# chkconfig --level 35 mysqld on (런레벨 35일때 자동 실행 된다)
 
10  support-files폴더에 있는 my.cnf파일을 /etc/my.cnf로 복사.
# cp /usr/local/src/mysql-5.0.85/support-files/my-huge.cnf /etc/my.cnf
 
11  support-files폴더에 있는 my.cnf파일을 /etc/my.cnf로 복사.
 
12. my.cnf 편집
- 아래와 같이 /etc/my.cnf 파일을 수정한다.
#cat /etc/my.cnf
...
[client]
#password       = your_password
port            = 3306
socket          = /var/lib/mysql/mysql.sock
default-character-set = euckr
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
# Default to using old password format for compatibility with mysql 3.x
# clients (those using the mysqlclient10 compatibility package).
default-character-set = euckr  # <--여기부터 3라인 추가 또는 수정
language = korean
old_passwords=1
[mysql.server]
user=mysql
basedir=/var/lib
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
...
 

13. mysql 재시작 시

# service mysqld start|stop|restart
또는
/etc/rc.d/init.d/mysqld start
------------------------
 
[기타]
[] mysql path 설정
# vi ~/.bash_profile
PATH=$PATH:/usr/local/mysql/bin 추가
# source ~/.bash_profile

 

가.

/var/lib/mysql 혹은 /usr/local/mysql에 접근할 수 없다는 메세지가 나오면

mkdir mysql한후 sudo mv mysql /var/lib/ 혹은 /usr/local/하여 디렉토리를 만들어주면 현재 계정으로 만들수 있음

 

나. /usr/local/mysql/bin/mysqld_safe &를 수행후 $mysql -u root -p로 들어가서

   create user gooper;을 실행하여 사용자를 만들고 create database hadoop;을 수행하여 hadoop용 database를 생성한다.

  이어서

  grant all privileges on hadoop.* to gooper@'localhost' identified by 'gooper';를 수행하여 gooper계정에게 hadoop데이타베이스의

  권한을 부여한다.

 

다. root의 패스워드 변경

 $mysql  -u root로 들어가서

 mysql>SET PASSWORD FOR root@localhost=PASSWORD('rubberchicken');로 패스워드를 변경함

  (패스워드 변경후에는 $mysql -u root -p로 접근하여 패스워드를 입력해야 접근가능함)

번호 제목 글쓴이 날짜 조회 수
741 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 gooper 2024.04.19 0
740 [Impala] alter table구문수행시 "WARNINGS: Impala does not have READ_WRITE access to path 'hdfs://nameservice1/DATA/Temp/DB/source/table01_ccd'" 발생시 조치 gooper 2024.04.26 0
739 [CDP7.1.7]Hive Replication수행시 Target Cluster에서 Specified catalog.database.table does not exist 오류 gooper 2024.05.08 0
738 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 gooper 2024.01.15 1
737 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 gooper 2024.04.05 1
736 [CDP7.1.7][Replication]Table does not match version in getMetastore(). Table view original text mismatch gooper 2024.01.02 2
735 ./gradlew :composeDown 및 ./gradlew :composeUp 를 성공했을때의 메세지 gooper 2023.02.20 6
734 호출 url현황 gooper 2023.02.21 6
733 [vue storefrontui]외부 API통합하기 참고 문서 총관리자 2022.02.09 7
732 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. gooper 2022.05.16 7
731 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 gooper 2023.12.27 7
730 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 gooper 2024.01.05 7
729 eclipse editor 설정방법 총관리자 2022.02.01 10
728 주문히스토리 조회 총관리자 2022.04.30 10
727 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 총관리자 2022.04.30 10
726 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 gooper 2023.07.26 10
725 주문 생성 데이터 예시 총관리자 2022.04.30 11
724 [EncryptionZone]User:testuser not allowed to do "DECRYPT_EEK" on 'testkey' gooper 2023.06.29 11
723 [CDP7.1.7]Encryption Zone내부/외부 간 데이터 이동(mv,cp)및 CTAS, INSERT SQL시 오류(can't be moved into an encryption zone, can't be moved from an encryption zone) gooper 2023.11.14 11
722 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 gooper 2023.11.16 11

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로