Configuring the Balancer Threshold

1. HDFS 서비스로 이동 후, Configuration 탭을 클릭.
2. "Scope > Balancer"를 선택.
3. "Category > Main"를 선택

4. Rebalancing Threshold 속성 값을 설정  

5. 변경사항을 저장하기 위해서 "Save Changes"를 클릭.

Configuring Concurrent Moves

"dfs.datanode.balance.max.concurrent.moves" 옵션은 DataNode Balancer가 사용하는 최대 스레드의 수를 의미합니다. 이 옵션은 Balacner가 데이터를 이동하는 작업이 전체 DataNode의 리소스를 점유하여 정상적인 작업이 진행되는 현상을 방지하는 용도로 사용됩니다. 이 값을 늘리면 더 많은 Balancer Thread가 작업을 하기 때문에 데이터 이동을 좀 더 빠르게 진행할 수 있지만, 다른 정상적인 워크로드 작업과 리소스 경합을 할 가능성이 높아집니다. 또한 이 값을 작게 설정을 하면 데이터 Balacner 작업은 느리게 진행되지만 다른 워크로드의 작업과 데이터 노드의 리소스 경합이 될 가능성을 낮게 할 수 있습니다. 이 속성의 값을 변경하기 위해서는 Balancer와 DataNode의 두 옵션을 모두 수정해야 합니다. 

• Datanode의 옵션을 구성하기 위해서는:

  • HDFS 서비스로 이동 후, Configuration 탭을 클릭.
  • DataNode Advanced Configuration Snippet (Safety Valve) for hdfs-site.xml를 선택.

  • 다음과 같이 구성 - 예를 들면, 50으로 설정.

    <property>
      <name>dfs.datanode.balance.max.concurrent.moves</name>
      <value>50</value>
    </property>

  • DataNode 재시작.

• Balancer의 옵션을 구성하기 위해서:

  1. HDFS 서비스로 이동 후, Configuration 탭을 클릭.
  2. Balancer Advanced Configuration Snippet (Safety Valve) for hdfs-site.xml를 선택.
  3. 다음과 같이 구성 - 예를 들면, 50으로 설정.
     

     <property>
       <name>dfs.datanode.balance.max.concurrent.moves</name>
       <value>50</value>
     </property>

기타 옵션 : dfs.balance.bandwidthPerSec 

밸런서에 할당할 노드당 네트워크 대역폭은 일반적으로 사용 가능한 총 대역폭의 최대 10%으로 설정하는 것이 좋다고 합니다. 실제 프로덕션 환경에서 10Gb Ethernet인 경우 아래 설정값을 추천 합니다.

dfs.balance.bandwidthPerSec 10MB -> 최대 1GB

Running the Balancer

1. HDFS 서비스로 이둥 후, HDFS 서비스에 Balancer 역할이 추가되어 있는지를 확인. 
2. Actions > Rebalance를 차례로 선택.
3. Rebalance 클릭. - 완료된 상태로 변경이 되며, Balancer가 성공적으로 실행된 것을 의미합니다.