전체

[ELK] Logstash JDBC 설정

jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/test" jdbc_user => "test" jdbc_password => "test" jdbc_driver_class => "org.postgresql.Driver" jdbc_driver_library => "D:\elastic-logstash\logstash-8.10.2\lib\postgresql-42.6.0.jar" statement => "select * from pgdb12.ora_alarm_history where time > now() - interval '5 min'" jdbc_pool_timeout => 300 ..

[ELK] Elasticsearch Bool 복합 쿼리

must : 쿼리가 참인 도큐먼트들을 검색합니다.must_not : 쿼리가 거짓인 도큐먼트들을 검색합니다.should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높입니다.filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다.

[ELK] CCS, CCR 방법

랭체인과 LLM에 대해

챗GPT가 쏘아올린 인공지능(AI) 열풍이 여전히 뜨겁다. 보다 정확히 말하면 챗GPT가 쏘아올린 대형 언어 모델(Large language model, LLM) 열풍이라고도 할 수 있겠다. 내로라하는 빅테크들이 너도나도 생성형 AI를 이야기하며 앞다퉈 시장에 뛰어들고 있다. 그리고 그 중심에는 LLM이 있다. 혜성처럼 등장한 챗GPT 이후 다양한 LLM이 개발되고 공개됐다. 구글이나 오픈AI 등 업계 대표 기업들이 폐쇄적인 생태계를 구축하며 독자적인 모델 성능 개선에 열을 올리는 가운데, 오픈소스 진영에서도 유사한 LLM들이 하나둘씩 선보여지고 있다. 특히 메타가 자체 LLM ‘라마 2(Llama 2)’를 오픈소스로 공개한 기점을 시작으로 LLM을 내놓는 기업들이 크게 늘어났다. 이렇듯 최근의 트렌드는..

[ELK] Elasticsearch Watcher 설정

회사에서 ELK를 통한 알림 시스템을 구축하려고 하는데 Alerting 및 Watcher 기능을 살펴보려고 한다. Alerting : kibana 에서 발생시킴Watcher : Elasticsearch 에서 발생시킴 Alerting Kibana 8.10.2 기준으로 Kibana에서 Alerting 설정은 Rules을 만들어서 알림을 발생시키는데 GUI 기반으로 편하게 만들 수 있는 장점이 있다. 다양한 임계값 설정과 알림 예시들이 많아서 쉽게 사용가능하고 QueryDSL도 사용가능해서 검색옵션을 풍부하게 할 수 있다. 하지만 여러개의 인덱스를 통해 조건을 거는건 불가능하며 간단한 알림 설정을 할 때 유용하다. Watcherwatcher는 Alerting 보다 더 자세하게 알림을 만들 수 있다.  Watc..

리눅스 네트워크 관련 개념 & 명령어 정리

파일의  압축과 묶기파일 압축압축 파일 확장명은 xz, bz2, gz, zip, Z 등xz나 bz2 압축률이 더 좋음 파일 압축 관련 명령xz: 확장명 xz로 압축을 하거나 풀어준다.ex) xz [파일명]ex) xz -d [파일명].xzbzip2: 확장명 bz2로 압축을 하거나 풀어준다.압축 -> bzip2 [파일명]압축 풀기 -> bzip2 -d [파일명].bz2bunzip2: bzip2 -d 옵션과 동일한 명령어gzip: 확장명 gz로 압축을 풀거나 풀어준다.압축 -> gzip [파일명]압축 풀기 -> gzip -d [파일명].gzgunzip: gzip -d 옵션과 동일한 명령어 파일 묶기리눅스(유닉스)에서는 '파일 압축'과 '파일 묶기'는 원칙적으로 별개의 프로그램으로 수행한다.파일 묶기의 명령어는..