Elastic Stack Data flow

---

Elastic Stack의 Data processing flow에 대해 알아보겠습니다.
중점적으로 봐야 할 부분은 Data가 어떻게 수집되고 처리되어 어떤 방식으로 표출되는지 정리를 해두는 게 좋을 것 같다.

 

Elastic Stack에서 Data를 elastic search 저장소에 저장하는 행위를 인덱싱(indexing)한다고 표현한다.

먼저, 수집 유닛인 beats에 의해 각종 유형(file, packet, metric)의 Data들이 경량 에어전트에 의해 수집되어 indexing 되거나,

logstash로 전송 후 filtering을 거쳐 elastic search로 indexing 될 수도 있다.
수집된 대용량의 Data들은 elastic search에 저장되어 kibana를 통해 다양한 시각도구 형태(그래프, 차트, 히스토그램)로 표출된다.

elastic search는 json 형식을 사용하여 Data를 저장하고 있으며, DSL query, cluster setting 정보 또한 json 형식을 사용한다.

Http 프로토콜로 접근 가능한 REST API를 지원하고 http 메서드를 이용하여 Data 자원들을 처리한다.

(PUT, POST, GET, DELETE)