DevOps
[Vector] Logstash 대체안 Vector
땅지원
2024. 4. 19. 10:48
대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기
일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다.
toss.tech
Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다.
때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다.
Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행했다.
Rust로 만들어져서 그런지 상당히 가벼운 것이 장점이다.

Vector Components
Components enable you to collect, transform, and route data with ease
vector.dev