DevOps

[Vector] Logstash 대체안 Vector

땅지원 2024. 4. 19. 10:48
 

대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기

일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다.

toss.tech

 

Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다. 

때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다.

Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행했다.

 

Rust로 만들어져서 그런지 상당히 가벼운 것이 장점이다.

 

Vector Components

Components enable you to collect, transform, and route data with ease

vector.dev