티스토리

천천히, 그러나 꾸준히

검색하기

블로그 홈

천천히, 그러나 꾸준히

aimb.tistory.com/m

번역가->데이터 엔지니어->SRE

구독자: 107

방명록 방문하기

주요 글 목록

Metricbeat로 Logstash 모니터링하기 Kafka -> Logstash -> ES 의 데이터 파이프라인에서 Kafka lag이 심하게 생기는 현상이 발생했다. 어느 곳이 문젠지 알아보려면 Kafka, Logstash, ES 각각의 모니터링 지표가 필요하다. ES는 Kibana에서 모니터링을 활성화할 수 있는데, Logstash는 데이터독 agent로 연결하려다가 잘 안되어서 ES로 모니터링을 보내기로 했다. 참고 : https://www.elastic.co/guide/en/logstash/current/monitoring-with-metricbeat.html Collect Logstash monitoring data with Metricbeat | Logstash Reference [8.6] | Elastic In production envi.. 공감수 0 댓글수 0 2023. 2. 3.
ELK란? + ELK 8.2.0 버전에 추가된 사항 ELK(Elastic) Stack Elasticsearch 분산 검색 엔진 (검색 엔진 + NoSQL 데이터베이스) 모든 레코드를 JSON 도큐멘트 형태로 입력, 관리 텍스트, 숫자, 날짜, IP 주소, 지리 정보 등 다양한 데이터 타입에 대해 최적화되어 있음 인덱싱 시점에 분석을 거쳐 용어 단위로 분해해 역인덱스 사전 구축 숫자, 키워드 타입의 데이터들은 집계에 최적화된 컬럼 기반 자료구조로 저장됨 → 병렬이나 분산 처리 가능 검색어에 따른 유사도 스코어를 기반으로 데이터 정렬 → 복잡한 문자열 콘텐츠를 검색할 때 큰 효과 통신을 REST API를 이용하도록 만들어 사용자가 쉽게 접근할 수 있음 AWS, GCP, 애져 모두 엘라스틱서치 서비스를 제공하고 있음 단점 저장공간이 크게 압축되지 않고 시스템 .. 공감수 1 댓글수 0 2022. 5. 15.
Logstash multiple kinesis input Logstash로 Kinesis Data Streams를 연결하고 나서, 추가적으로 Data Streams 하나를 더 생성해서 연결하려고 하는데 계속 제대로 연결되지 않았다. 🤔 왜일까... 하고 찾아봤는데, Logstash Kinesis input plugin (Kinesis Data Streams만 지원한다. Kinesis Firehose Delivery streams는 지원되지 않으니 주의! 대신 Kinesis Firehose Delivery Streams 의 목적지를 S3으로 하면 Logstash S3 input을 사용해서 S3에서 데이터를 받아오고 바로 지울 수 있다.) 은 Dynamodb를 사용하는데, 이 Dynamodb는 기본적으로 'logstash'라는 이름으로 생성되고, 로그스태시 플러그.. 공감수 1 댓글수 0 2022. 3. 12.
Logstash 6.3.x 버전에서의 GC(Garbage Collector) Logstash로 kinesis input 플러그인을 설치하려는데 Unrecognized VM option 'UseParNewGC' Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit. 오류가 났다. 찾아보니 jdk 버전 문제인 것 같았다. Remove or comment line: -XX:+UseParNewGC Remove or comment line: -XX:+UseConcMarkSweepGC Add this line instead: -XX:+UseG1GC Apparently the previously used GC in Java 8 and older was de.. 공감수 1 댓글수 0 2022. 3. 10.
Logstash file input시 파일 열고 수정하면 데이터 중복 집계되는 이유 input { file { path => "/home/test/*.log" start_position => "beginning" } } start_position => "beginning" 으로 로그스태시가 파일을 처음부터 읽도록 설정한다. 오래된 데이터를 임포트할 때 유용하다. (매번 파일의 처음에서 읽는 게 아니다.) 로그스태시 file input 설정을 주면, 로그스태시가 시작하면서 sincedb path를 자동으로 생성한다. [INFO ] 2022-02-25 06:21:51.942 [[main]-pipeline-manager] file - No sincedb_path set, generating one based on the "path" setting {:sincedb_path=>"/usr/sha.. 공감수 2 댓글수 0 2022. 2. 25.
Logstash는 로그를 왜 message라는 field로 저장할까? 요새 Fluent Bit를 써서 EKS 안의 애플리케이션 로그를 수집하고 Kinesis firehose를 버퍼로 사용한 후, 이를 Logstash에서 수집한 후 ES로 보내 Kibana에서 분석하는 환경을 구성 중이다. "log"=>"* 2022-02-16 12:38:44,245 [Timer-0] INFO |c.e.demo.SpringBootLoggerApplication: 12:38:44 ::: Hello World ::: 1"} 그 중에서 Fluent Bit는 로그 파일을 "log"라는 key에 저장해서, 기존 Logstash 설정을 사용하기 위해서는 "log" 를 "message"로 바꿔주어야 했다. { "message" => "Hello Logstash!" } 그럼 애초에 왜 Logstash는 ".. 공감수 0 댓글수 0 2022. 2. 16.
Logstash에서 SQS, Elasticsearch로 데이터가 들어가지 않을 때 [상황] 로그를 수집하는 과정에서 예상보다 굉장히 많은 로그가 Logstash에서 수집되어 SQS로 보내졌고, 그 과정에서 오버헤드가 생겨 SQS에서 제대로 처리할 수 없었다. [에러 메시지] - 로그스태시 [WARN ] 2022-01-05 23:00:52.337 [[main]"test_queue", :exception=>Seahorse::Client::NetworkingError, :message=>"Connection refused - Failed to open TCP connection to sqs.ap-northeast-2.amazonaws.com:443 (Connection refused - connect(2) for \"sqs.ap-northeast-2.amazonaws.com\" port 4.. 공감수 0 댓글수 0 2022. 1. 7.
Logstash nested json, json in json parsing error 부제 : 로그스태시에서 잘 되던 metric log가 갑자기 이상하게 파싱이 안 될때. { \"system\": { \"cpu\": { \"core\":4, \"cpuPct\":, \"loadavg1\":0.18, \"loadavg5\":0.23, \"loadavg15\":0.25 }, \"mem\": { \"total\":7624.00, \"used\":3731.00, \"free\":3894.00, \"memPct\":48.94 }, \"disk\": { \"total\":51188.00, \"used\":16209.00, \"free\":34980.00, \"diskPct\":32 } } 메트릭 로그는 이런 형태이다. 해결 : 1. 오류메시지 잘 보기. :exception=># 공감수 0 댓글수 0 2022. 1. 4.
Logstash 7.16.2 버전에서 로그 파싱하기 {"svctype":"test-svc-type","instance_name":"test-instance_ip-0.0.0.0", "@timestamp":"2021-12-30T12:30:06.731Z","environment":"test","role":"api","filename":"test.log","@version":"1","message":"* 2021-12-30 21:30:06,690 test log message","host":"ip-0.0.0.0.ap-northeast-2.compute.internal","team":"test"} 위와 같은 로그가 있다. 각 서버에서 위와 같은 로그를 받아와, 로그스태시에 input 형태로 넣고, SQS로 아웃풋을 보낸다. 중요한 것은 설정 파일에서 input {.. 공감수 0 댓글수 0 2021. 12. 30.
엘라스틱서치를 시작할때 systemctl을 쓰지 말자! 엘라스틱서치나 키바나를 실행할 때 systemctl은 웬만하면 쓰지 않는 게 좋다고 사수가 그랬다. sudo /bin/systemctl daemon-reload sudo /bin/systemctl enable elasticsearch.service sudo systemctl start elasticsearch.service sudo systemctl stop elasticsearch.service 아니, rpm으로 엘라스틱서치 설치하면 콘솔창에서 위 명령어로 시작하라고 알려주는데, 왜일까 궁금했다. 이유를 찾아보니, 위의 방식으로 엘라스틱서치를 사용하면 시스템이 부팅될 때 자동으로 엘라스틱서치가 시작하도록 설정하는 것이며, 이 명령어는 엘라스틱서치가 성공적으로 시작했는지 아닌지에 대한 피드백을 제공하지 .. 공감수 1 댓글수 1 2021. 11. 4.
하나의 로컬환경(도커)에 2개의 엘라스틱서치 노드 띄우기 엘라스틱서치 설치 후, useradd user 로 새 유저를 추가해준다. 다음의 명렁어를 실행하여 각각의 폴더에 유저와 그룹 소유권을 변경한다. (마지막 명령어는 user로도 로그를 남길 수 있게 한다.) chown -R user:user /etc/elasticsearch chown -R user:user /usr/share/elasticsearch chown -R user:user /var/lib/elasticsearch chown -R user:user /var/log/elasticsearch chown -R user:user /etc/sysconfig/elasticsearch chmod 777 -R /var/log/elasticsearch su user 로 유저를 바꿔준다. (엘라스틱서치는 root.. 공감수 0 댓글수 0 2021. 11. 3.
도커로 ELK 환경 만들기 - 멀티 노드 Docker-compose.yml version: '2.2' services: # master-node의 Docker 서비스입니다. # Kibana에서 기본적으로 호출하는 ES host주소가 'http://elsaticsearch:9200'이기 때문에 서비스명은 elasticsearch로 쓰시는게 편합니다. # 다른 서비스명을 사용시 Kibana ES host 설정도 같이 추가해주어야 정상 동작합니다. elasticsearch: container_name: elasticsearch image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2 environment: # ES Cluster명입니다. ES 서비스마다 동일한 명칭을 사용해야합니다. - cluster... 공감수 2 댓글수 1 2021. 7. 2.
도커로 ELK 연결, 컨테이너 생성하기 - 싱글 노드 먼저 폴더를 만든다. docker-compose.yml 파일도 만들어준다. version: '3.7' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2 ports: - '9200:9200' environment: - discovery.type=single-node ulimits: memlock: soft: -1 hard: -1 kibana: image: docker.elastic.co/kibana/kibana:6.3.2 ports: - '5601:5601' logstash: image: docker.elastic.co/logstash/logstash:6.3.2 ports: - '5000:5000' volu.. 공감수 1 댓글수 0 2021. 6. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.