들어가며 앞서 클러스터를 구축하는 방법에 대해서 설명을 하였다. [Cloudera] 클라우데라 설치하는 방법 - (Linux, Cloudera Manager) 그렇다면 이렇게 구축된 클러스터에 새로운 노드를 추가하기 위해서는 어떤 작업을 진행해야할까에 대해서 이번 글에 적으려고 한다. 막상 클러스트러를 구축할때 처럼만 설정하면 되지 라고 생각하지만, 막상 내가 각 노드에 어떤 내용을 추가했는지 기억이 안난다는 함정이 있다. 그래서 DataNode를 추가하거나 Spark의 WorkerNode를 추가를 할 경우에 어떤 설정 및 설치를 해야하는지 아래 설명한다. 1. 스토리지 추가하기 일단 새로운 노드를 클라우드에서 생성을 한다. 기존 노드들에서도 스토리지를 추가했기 때문에 생성이 완료되면 스토리지를 추가하자..

Elasticsearch local 환경에서 하나의 클러스터에 n개 이상의 노드(인스턴스)생성 데이터 경로는 다른 클러스터의 여러 노드에 의해 공유 될수 있다. 이는 개발 시스템에서 장애 조치 및 다른 구성을 테스트하는데는 유용하다. 하지만 운영환경에서는 하나의 서버당 하나의 노드만 실행하는 것이 좋다. 즉, 하나의 서버에 하나의 노드만 실행시키기 위해서는 node.max_local_storage_nodes:1 로 설정하고, 만약 하나의 머신에서 여러 개의 노드를 실행시키기 위해서는 설정을 1 이상으로 조정해야된다. 만약 한 머신에서 두개 이상의 노드를 운영한다면 샤드들은 elasticsearch에서 자동으로 분배해준다. elasticsearch.yml의 적당한 위치에 node.max_local_stor..

개요 Redis Cluster는 데이터가 자동으로 sharding 되우 Redis node로 분산되어 들어가도록 해줍니다. - 16384개의 hash slot을 사용하고 key modulo 16384를 사용하는 CRC16를 사용하고 hash slot을 계산 합니다. - 대량의 memory를 사용 하는 경우 scale out을 위해 사용될 수 있습니다. cluster bus port 는 (client pot + 10000) 으로 설정 되며 다른 node cluster에게 항상 개방되어 있어야 합니다. 구성된 cluster nodes들중 하나가 다운이 되면, 다른 살아 있는 nodes들도 더 이상 입력을 받지 않습니다. 이때 slave가 존재 한다면 해당 slave가 mater node가 되어 대체 되어 정..