DevOps

[ELK] Reindex 적용

새로운 데이터 스트림 생성PUT /_data_stream/logs-errpt-infra-test  해당 index를 새로운 데이터 스트림에 reindex 시킴POST _reindex?wait_for_completion=false{ "source": { "index": ".ds-logs-errpt-infra-2024.08.19-000012" }, "dest": { "index": "logs-errpt-infra-test", "op_type": "create" }}동일한 데이터스트림에서 reindex 시도 시 이미 존재하고 있는 index 때문에 정상적인 수행이 안됨.따라서 새로운 인덱스에 reindex를 임시로 수행op_type : create 없이 진행한다고 해도 추천하는 방법이 아님 여기서 ind..

[ELK] Logstash JDBC 설정

jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/test" jdbc_user => "test" jdbc_password => "test" jdbc_driver_class => "org.postgresql.Driver" jdbc_driver_library => "D:\elastic-logstash\logstash-8.10.2\lib\postgresql-42.6.0.jar" statement => "select * from pgdb12.ora_alarm_history where time > now() - interval '5 min'" jdbc_pool_timeout => 300 ..

[ELK] Elasticsearch Bool 복합 쿼리

must : 쿼리가 참인 도큐먼트들을 검색합니다.must_not : 쿼리가 거짓인 도큐먼트들을 검색합니다.should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높입니다.filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다.

[ELK] CCS, CCR 방법

[ELK] Elasticsearch Watcher 설정

회사에서 ELK를 통한 알림 시스템을 구축하려고 하는데 Alerting 및 Watcher 기능을 살펴보려고 한다. Alerting : kibana 에서 발생시킴Watcher : Elasticsearch 에서 발생시킴 Alerting Kibana 8.10.2 기준으로 Kibana에서 Alerting 설정은 Rules을 만들어서 알림을 발생시키는데 GUI 기반으로 편하게 만들 수 있는 장점이 있다. 다양한 임계값 설정과 알림 예시들이 많아서 쉽게 사용가능하고 QueryDSL도 사용가능해서 검색옵션을 풍부하게 할 수 있다. 하지만 여러개의 인덱스를 통해 조건을 거는건 불가능하며 간단한 알림 설정을 할 때 유용하다. Watcherwatcher는 Alerting 보다 더 자세하게 알림을 만들 수 있다.  Watc..

[Vector] Logstash 대체안 Vector

대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기 일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. toss.tech Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다. 때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다. Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행..