전체

[Vector] Logstash 대체안 Vector

대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기 일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. toss.tech Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다. 때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다. Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행..

리눅스 기초

IBM : AIX HP사 : HP-UX Oracle : Solaris DEC : Tru64 Unix Xinuos : OpenServer 쉘과 쉘스크립트 하드웨어 : 컴퓨터의 기계적인 부분들 kernel : 물리적인 기계를 직접적으로 제어하는 그 운영체제에서 가장 중심이 되는 그 코어이다. (핵심, 알갱이, 코어) shell : 사용자가 입력한 명령을 해석하는 프로그램 (껍데기, 주변) 사용자로 리눅스에서 우리가 입력한 명령이 Shell(셸)을 대상으로 해서 명령을 입력해 준다. 이후 Shell(셸)은 입력한 그 명령을 해석해서 Kernel(커널)이 이해 할 수 있는 방식으로Kernel(커널)에게 전달해준다. 그러면 Kernel(커널)이라고 하는 프로그램은 하드웨어를 제어해서 어떠한 처리를 수행할수 있도록..

[Elastic Stack] Elasticsearch 기본 개념

검색 엔진분산처리고가용성 제공수평적 확장성JSON 기반의 REST API 제공데이터 안정성다양한 플러그인을 통한 확장 지원준실시간 검색트랜잭션이 지원되지 않음사실상 조인을 지원하지 않음엘라스틱서치 기본 동작 빠르게 둘러보기[문서 색인]_id를 지정하여 색인_id 값은 이 문서를 인덱스 내에서 고유하게 식별하기 위한 값. 엘라스틱서치에 저장된 모든 문서가 _id 값을 가지고 있다.PUT [인덱스 이름]/_doc/[_id값]{ [문서 내용]}  _id를 지정하지 않고 색인자동으로 _id 값을 생성해준다.PUT [인덱스 이름]/_doc{ [문서 내용]}[문서 조회]GET [인덱스 이름]/_doc/[_id값][문서 업데이트]POST [인덱스 이름]/_upd..

[Elastic Stack] Elasticsearch Command line tools

Command line tools | Elasticsearch Guide [8.12] | Elastic www.elastic.co [elasticsearch] 엘라스틱서치 실행 명령어 # 데몬으로 실행 > elasticsearch -d -p pid [elasticsearch-create-enrollment-token] elasticsearch 노드 및 Kibana 인스턴스에 대한 등록 토큰을 생성 > elasticsearch-create-enrollment-token [-f, --force] [-h, --help] [-E ] [-s, --scope] [--url] -E 표준 Elasticsearch 또는 X-Pack 설정을 구성 -f, --force 비정상 클러스터에 대해 명령을 강제로 실행 -h, --..

[Elastic Stack] Elasticsearch.yml 파일 세팅

Elasticsearch 다운로드 페이지에서 Elasticsearch를 다운로드하고 설치할 수 있으며 설치 후, elasticsearch.yml 파일을 열어 Elasticsearch를 구성해야 한다. Default location : elasticsearch x.xx.x/config/elasticsearch.yml# ======================== Elasticsearch Configuration =========================## NOTE: Elasticsearch comes with reasonable defaults for most settings.# Before you set out to tweak and tune the configuration, ..

[Elastic Stack] Ingest Pipeline + processor

Logstash는 Elastic Stack에 원래 포함되어 있는 구성 요소로서, 구문을 분석하고 데이터를 보강하며 처리를 할 때 사용하던 도구이다.  Ingest Node는 Elasticsearch 5.0부터 도입되었으며 최소한의 구성으로 간단한 아키텍처를 가능하게 하며, Logstash의 상위개념이라고 볼 수 있다. 일부 기능은 중복되지만 서로의 사용처가 분명하게 다르다. 실습으로 경험해본 차이점은 Logstash의 Filter 부분을 구성할 때 .yaml 파일로 작성하게 되는데 만약 관련 설정이 길어지거나 추가사항이 많을때는 가독성과 유지보수가 힘들다.하지만 Ingest Node를 사용하여 관리했을땐 GUI기반으로 설정하기가 매우 간단했으며 편리하게 관리할 수 있었다. 인제스트 노드(In..