Logstash

Logstash

- 오픈 소스 서버측 데이터 처리 파이프 라인

 

- 다양한 소스( DB, csv파일 등 )의 로그 또는 트랜잭션 데이터를 수 집, 집계, 파싱하여 Elasticsearch로 전달

 

- 실시간으로 수집된 데이터를 확인할 수 있게 해주는 파이프 라인 도구

 

- 데이터를 수집하는 동시에 변환하며 Elasticsearch 같은 “stash”로 전송하는 Server-side 의 Data 처리 Pipeline 역할

 

- 다양한 플러그인을 제공할 뿐만 아니라 직접 플러그인을 제공할 수 있으며, 다양한 입력 (input)에 포함되는 데이터와 로그를 가공 (filter)하여 원하는 목적에 업로드(output) 가 가능하도록 만든 도구

 

- Logstash는 데이터를 동적으로 수집, 전환, 전송하여 전반적인 처리 를 손쉽게 처리

 

- 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력 을 지원

 

Input

- Logstash로 데이터를 가져오는 작업

 

- file : UNIX 명령 -OF와 비슷하게 파일 시스템의 파일에서 읽음

 

- syslog : RFC3164 형식에 따라 syslog 메시지 및 구문 분석 을 위해 잘 알려진 포트 514를 수신

 

- redis : redis 채털과 redis 목록을 모두 사용하여 redis 서버 에서 읽음

 

- beat : Filebeat에서 보낸 이벤트를 처리

데이터를 동적으로 수집, 전환, 전송하여 전반적인 처리를 손 쉽게 처리

 

plugins

- Files

 

- SQL Queries

 

- HTTP request

 

- Elasticsearch

 

- Beats

 

- Metrics systems

 

- Logstash pipelines

 

Filter

- Logstash 파이프 라인의 중간 처리 장치

 

- 데이터가 이동하는 과정에서 분석과 식별을 통해 구조를 구 축하고 이를 바탕으로 변환 통합하여 강력한 분석을 제공

 

- 형식이나 복잡성에 관계 없이 데이터를 동적으로 변환

 

- grok : 임의의 텍스트를 구성하고 현재 구조화되지 않은 로 그 데이터를 구문 분석

 

- mutate : 이벤트 필드에서 일반적인 변환을 수행합니다. 이 벤트의 데이터 수정 및 제거

 

- clone : 이벤트를 복사

 

- geoip : ip주소의 지리적 위치에 대한 정보를 추가(키바나의 지도 차트로 사용)

 

plugins

- Log Parshing

 

- Expended Data

 

- Add tags

 

output

- 최종 단계로 이벤트를 여러 출력으로 사용 가능

 

- elasticsearch : Elasticsearch에 데이터를 전송, 데이터를 효율 적이고 편리하며 쉽게 쿼리 형식으로 저장

 

- file : 이벤트 데이터를 디스크의 파일로 저장

 

- graphite : 이벤트 데이터를 Graphite에 전송, 이 데이터는 통계를 저장하고 그래프로 나타내기 위한 널리 사용되는 오픈 소스 도구

 

- statsd : statsd에 이벤트 데이터를 전송, 카운터 및 타이머와 같은 통계를 수신하고 UDP를 통해 전송되며 하나 이상의 플 러그 가능한 백엔드 서비스에 집계를 보내는 서비스

 

- 원하는 데이터를 라우팅할 수 있도록 다양한 출력을 제공하 며, 이는 Plugins을 통해 확인

 

plugins

- Elasticsearch

 

- Data 보관소 (ex. Amazon S3 , Google storages)

 

- Alterting & Monitoring System

 

Codes

- 코덱은 기본적으로 입력 또는 출력의 일부로 작동할 수 있 는 스트림필터

 

- json : JSON 형식의 데이터를 인코딩하거나 디코딩

 

- multiline : 자바 예외 및 스택 추적 메시지와 같은 여러 줄 텍스트 이벤트를 단일 이벤트로 병합