대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기
일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다.
toss.tech
Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다.
때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다.
Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행했다.
Rust로 만들어져서 그런지 상당히 가벼운 것이 장점이다.
Vector Components
Components enable you to collect, transform, and route data with ease
vector.dev
'DevOps' 카테고리의 다른 글
[Airflow] Airflow 설치 (Docker) (0) | 2024.10.22 |
---|---|
Dockerfile을 이용한 코드에 의한 서버 구축 (0) | 2024.10.21 |
[Grafana] Customizing Grafana Alerting Notification Templates (0) | 2024.03.08 |
[SonarQube/Jenkins] SonarQube + Jenkins + GitLab 연동하기 (0) | 2023.04.24 |
[Jenkins] Jenkins로 SpringBoot/Django/React 배포하기 (ver.2) (1) | 2023.03.22 |