본문 바로가기

인프라,데이터/Elasticsearch, Logstash, Kibana

 (13)
Logstash 7.16.2 버전에서 로그 파싱하기 {"svctype":"test-svc-type","instance_name":"test-instance_ip-0.0.0.0", "@timestamp":"2021-12-30T12:30:06.731Z","environment":"test","role":"api","filename":"test.log","@version":"1","message":"* 2021-12-30 21:30:06,690 test log message","host":"ip-0.0.0.0.ap-northeast-2.compute.internal","team":"test"} 위와 같은 로그가 있다. 각 서버에서 위와 같은 로그를 받아와, 로그스태시에 input 형태로 넣고, SQS로 아웃풋을 보낸다. 중요한 것은 설정 파일에서 input {..
엘라스틱서치를 시작할때 systemctl을 쓰지 말자! 엘라스틱서치나 키바나를 실행할 때 systemctl은 웬만하면 쓰지 않는 게 좋다고 사수가 그랬다. sudo /bin/systemctl daemon-reload sudo /bin/systemctl enable elasticsearch.service sudo systemctl start elasticsearch.service sudo systemctl stop elasticsearch.service 아니, rpm으로 엘라스틱서치 설치하면 콘솔창에서 위 명령어로 시작하라고 알려주는데, 왜일까 궁금했다. 이유를 찾아보니, 위의 방식으로 엘라스틱서치를 사용하면 시스템이 부팅될 때 자동으로 엘라스틱서치가 시작하도록 설정하는 것이며, 이 명령어는 엘라스틱서치가 성공적으로 시작했는지 아닌지에 대한 피드백을 제공하지 ..
하나의 로컬환경(도커)에 2개의 엘라스틱서치 노드 띄우기 엘라스틱서치 설치 후, useradd user 로 새 유저를 추가해준다. 다음의 명렁어를 실행하여 각각의 폴더에 유저와 그룹 소유권을 변경한다. (마지막 명령어는 user로도 로그를 남길 수 있게 한다.) chown -R user:user /etc/elasticsearch chown -R user:user /usr/share/elasticsearch chown -R user:user /var/lib/elasticsearch chown -R user:user /var/log/elasticsearch chown -R user:user /etc/sysconfig/elasticsearch chmod 777 -R /var/log/elasticsearch su user 로 유저를 바꿔준다. (엘라스틱서치는 root..
도커로 ELK 환경 만들기 - 멀티 노드 Docker-compose.yml version: '2.2' services: # master-node의 Docker 서비스입니다. # Kibana에서 기본적으로 호출하는 ES host주소가 'http://elsaticsearch:9200'이기 때문에 서비스명은 elasticsearch로 쓰시는게 편합니다. # 다른 서비스명을 사용시 Kibana ES host 설정도 같이 추가해주어야 정상 동작합니다. elasticsearch: container_name: elasticsearch image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2 environment: # ES Cluster명입니다. ES 서비스마다 동일한 명칭을 사용해야합니다. - cluster...
도커로 ELK 연결, 컨테이너 생성하기 - 싱글 노드 먼저 폴더를 만든다. docker-compose.yml 파일도 만들어준다. version: '3.7' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2 ports: - '9200:9200' environment: - discovery.type=single-node ulimits: memlock: soft: -1 hard: -1 kibana: image: docker.elastic.co/kibana/kibana:6.3.2 ports: - '5601:5601' logstash: image: docker.elastic.co/logstash/logstash:6.3.2 ports: - '5000:5000' volu..

티스토리툴바