메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


마이바티스(MyBatis)쿼리로그 출력및 정렬하기

1. gradle파일 수정

build.gradle파일에 아래 내용을 추가후 eclipse 프로젝트에서 오른쪽 마우스 클릭 Gradle->"Refresh Dependencies"에서 한다.
compile group: 'org.lazyluke', name: 'log4jdbc-remix', version:'0.2.7'

2. log4j파일 수정

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration PUBLIC "-//APACHE//DTD LOG4J 1.2//EN" "log4j.dtd">
<log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/">

	<!-- Appenders -->

	<!-- 콘솔 로그 -->
	<appender name="stdout" class="org.apache.log4j.ConsoleAppender">
		<!-- 패턴 레이아웃 설정.. -->
		<layout class="org.apache.log4j.PatternLayout">
			<param name="ConversionPattern" value="[%d{yyyy-MM-dd HH:mm:ss}] [%c{1}] [%L] [%p] %m %n" />
		</layout>
	</appender>

	<!-- 날짜별 로그 -->
	<appender name="dailyout" class="org.apache.log4j.DailyRollingFileAppender">
		<!-- 이것은 날짜별로 로그를 남김. 파일명.확장자.DatePattern으로 정의 함 -->
		<param name="file" value="/home/hadoop/daily-log.log" />
		<param name="Append" value="true" />
		<param name="DatePattern" value="'.'yyMMdd" />
		<layout class="org.apache.log4j.PatternLayout">
			<param name="ConversionPattern" value="[%d{yyyy-MM-dd HH:mm:ss}] [%c{1}] [%L] [%p] %m %n" />
		</layout>
	</appender>

	<logger name="com.gooper.hadoop" additivity="false">
		<level value="DEBUG" />
		<appender-ref ref="dailyout" />
		<appender-ref ref="stdout" />
	</logger>

	<logger name="org.springframework" additivity="false">
		<level value="INFO" />
		<appender-ref ref="dailyout" />
		<appender-ref ref="stdout" />
	</logger>

	<logger name="jdbc.sqlonly" additivity="false">
		<level value="DEBUG" />
		<appender-ref ref="dailyout" />
		<appender-ref ref="stdout" />
	</logger>

	<logger name="jdbc.resultsettable" additivity="false">
		<level value="DEBUG" />
		<appender-ref ref="dailyout" />
		<appender-ref ref="stdout" />
	</logger>


	<!-- root 로거 기본 설정 -->
	<root>
		<level value="WARN" />
		<appender-ref ref="dailyout" />
		<appender-ref ref="stdout" />
	</root>

</log4j:configuration>

3. jdbc 설정정보 변경

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xmlns:tx="http://www.springframework.org/schema/tx"
	xmlns:context="http://www.springframework.org/schema/context"
	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
						http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
						http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">

    <!-- bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close"  -->
    <bean id="dataSourceSpied" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close" >
        <property name="driverClassName" value="org.mariadb.jdbc.Driver"/>
        <property name="url" value="jdbc:mariadb://localhost:3306/db명"/>
        <property name="username" value="username"/>
        <property name="password" value="username_password"/>
        <property name="initialSize" value="10" />
    </bean>
    
    <bean id="dataSource" class="net.sf.log4jdbc.Log4jdbcProxyDataSource">
        <constructor-arg ref="dataSourceSpied" />
        <property name="logFormatter">
            <bean class="net.sf.log4jdbc.tools.Log4JdbcCustomFormatter">
                <property name="loggingType" value="MULTI_LINE" />
                <property name="sqlPrefix" value="SQL         :  "/>
            </bean>
        </property>
    </bean>
    
    
	<tx:annotation-driven transaction-manager="transactionManager" />
	<bean id="transactionManager"
		class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
		<property name="dataSource" ref="dataSource"></property>
	</bean>
	    
</beans>


4. 설명

  • 기존에 DB연결을 dataSource를 이용했으나 log4j-remix를 쿼리의 중간을 가로채 정렬하고 쿼리를 출력하는 역할을 합니다.
  • 기존에 사용한 DB연결은 dataSourceSpied로 변경하고, 새로 dataSource를 만들고 로그타입과 쿼리를 어떻게 출력하지 설정함
  • log4j에서 jdbc.sqlonly로거를 이용하여 쿼리를 출력하도록 하고 dataSourceSpied(log4j-remix)가 쿼리를 정렬함
  • log4j설정에 추가한 jdbc.resultsettable가 쿼리결과를 출력하도록 합니다.(이부분을 생략하면 쿼리결과 출력은 없어짐)


번호 제목 글쓴이 날짜 조회 수
280 LUBM 개수별 hadoop HDFS data사이즈 정리 총관리자 2017.04.06 142
279 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 총관리자 2018.05.22 141
278 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 총관리자 2016.05.27 141
277 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 141
276 SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. 총관리자 2015.09.30 141
275 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
274 바나나 파이의 /tmp폴더를 외장하드로 변경하기 총관리자 2015.07.24 136
273 scala application 샘플소스(SparkSession이용) 총관리자 2018.03.07 135
272 halyard 1.3의 console을 이용하여 100억건의 데이타에 대한 쿼리수행시 ScannerTimeoutException 발생시 조치사항 총관리자 2017.09.06 134
271 jena jar파일실행시 org.apache.jena.tdb.TDB.init에서 java.lang.NullPointerException발생시 조치사항 총관리자 2016.08.19 134
270 한번에 여러값 update하기 총관리자 2016.01.13 134
269 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 총관리자 2020.06.05 133
268 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 132
267 like검색한 결과를 기준으로 집계를 수행하는 java 소스 총관리자 2016.12.19 129
266 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 총관리자 2017.03.30 127
265 streaming작업시 입력된 값에 대한 사본을 만들게 되는데 이것이 실패했을때 발생하는 경고메세지 총관리자 2017.04.03 126
264 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 126
263 protege 4.3 다운로드 총관리자 2015.12.09 126
262 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 총관리자 2022.01.07 125
261 Ubuntu에서 sbt및 scala설치하기 총관리자 2017.06.20 124

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로