본문 바로가기

회고

 (23)
7월 회고 더 지나면 8월 회고랑 같이 쓸 각이라... ^^ 간단하게라도 써봐야지! 업무 회사에서 사용하는 ELK 버전이 2018년에 나온 6.3.x 버전이라 최근 버전의 공식 문서와 다른 게 많다. 인덱스 자동 롤오버라던지, 쿼리 문법이라던지, 클러스터 보안 기능이라던지... 그래서 ELK를 최근에 출시된 8.3.x 버전으로 고도화시키는 것을 목표로, ELK의 기능과 원리 자체를 세세하게 서베이하는 것이 7-8월의 업무이다. ELK에 대해 궁금증이 생기면 20년차 사수님이라도 나에게 믿고 물어볼 수 있을 정도가 되면 좋겠다고 하셔서 (그럼 나는 문제의 원인을 파고들어 ~한 레벨에서 문제의 원인은 ~에 있다 고 답변을 드리는 큰 그림) 그거 가능은 한 걸까,, 싶긴 했지만, 시중의 ELK 관련 책을 더 사고 (아마..
6월 회고 업무 EC2 골든 이미지에 기존 로그 수집 프로그램인 Logstash 대신 Fluentd를 세팅하는 업무를 끝냈다. 생각 외로 작업이 지연되어 꽤 스트레스를 받았는데, 자그마한 것을 하나씩 레고처럼 쌓아 올리더라도 초기부터 철저하게, 꼼꼼히 하나하나 검증하는 자세의 필요성을 실감했다. 이번 작업을 통해서, 나는 처음 접하는 오픈 소스라도 공식 문서를 참조하며 원하는 기능을, 원하는 성능을 내도록 튜닝을 할 수 있는 사람이라는 것을 알았다. 요건 팀 내에서도 인정받은 부분이라 기쁘다. Fluentd로 S3 output path에 field(key) 값 넣기 Fluentd tail input 로그 1개 손실 & 로그 느리게 들어오는 이유 해결 Fluent Bit을 다루면서 C 코드를 보다가 Fluentd의 ..
4~5월 회고 업무 회사 기술 블로그에 글을 업로드했다! (고료도 받았다 🎉) 사수님이 5고에 걸쳐 봐주셨는데 😇 그만큼 빠꾸도 많이 맞았지만 여러모로 글을 다듬으며 보완할 수 있는 계기가 되었다. EKS 환경에서 로그 모니터링을 꾸준히 하고, 여러 가지 에러 로그를 만나며 대응을 했다. 로그를 보며 문제의 근본적인 원인을 찾고 해결해나가는 법을 배우고 있다. 업무 시 마주치는 문제 상황에서 어떻게 처리해야 하는지 점점 체감되고 있다. 예전에는 이거 어떻게 하죠???? 하는 뉘앙스로 물어봤다면 이제는 문제의 원인을 나름 찾아보고, 해결책도 찾아보고, 근데 거기엔 이런 문제가 있더라고요. 그러면 이 방법은 어떨까요?? 하는 식으로 여쭤보고 있다. 3달 전에는 못 하던 것을 할 수 있게 되었다. Fluent Bit에는 오..
2022.3월 회고 회사 3개월간 하던 프로젝트를 끝냈다! 야호 이제야 회사생활이 좀 살 만한 것 같다. ㅋㅋㅋ... 사내 첫 프로젝트 회고 팀 내에서도 회고를 진행했는데, 배운 점들에 대해 좋게 봐주셨다 ㅎㅎ 배운 점들을 잊지 말고, 앞으로 계속 좋은 자세를 지켜나가면 좋겠다! 새 프로젝트는 FluentD를 사용할 것 같은데, 개발 관련된 프로젝트도 하고 싶어서 파이썬 공부를 열심히 할 예정이다! 스터디 13주간 하던 이산수학 스터디가 끝났다. 챌린저스로 출석률을 관리했는데 수익률이 무려 50%에 달한다.... 다들 수학 포기하지 마.. ㅜㅜ 매주 공부하면서 책의 개념들이 알고리즘, 자료구조 강의를 수강하는데 굉장히 유용하기도 했고, 한 번 듣고는 완전히 내 것이 되지 않을 것 같아 좀 텀을 두고 다시 같은 책으로 스터디..
사내 첫 프로젝트 회고 2021년 12월 말부터, 2022년 3월 말에 이르기까지 3개월 동안 진행했던 프로젝트가 끝났다. 수습 기간 이후에 특정한 목표를 가지고 장기간 진행하여, 기간 내에 끝을 낸 프로젝트는 처음이라 회고 글을 적고자 한다. 프로젝트의 목표와 기술 스택 사내에서 운영되는 애플리케이션과, API들을 Amazon Kubernetes(EKS) 환경 위로 이전하기 시작했다. EKS 환경 위에서 애플리케이션에서 만드는 로그들을 일괄적으로 Fluent Bit, Fluentd로 수집하여 Elasticsearch와 S3으로 보냈는데, 사용자 로그와 시스템 로그가 분리되지 않아 Elasticsearch에 부담이 간다. 사용자 로그의 파싱이 기존 로그의 형식처럼 파싱되지 않아 개발자들이 보기에 불편하다. 한 로그가 여러 개의..
2022.2월 회고 업무 EKS(Amazon Kubernetes) 위에서 Fluent bit을 사용해 로그를 모으고, 로그를 s3의 어떤 경로에 전송할지 path를 설정하는 과정에서 적지 않은 시간을 소모했다. Kubernetes - Fluent Bit 로 사용자 로그 S3에 output 설정하기 개발자들이 폴더와 파일 이름을 (가이드 외의) 여러 가지로 정하는 예외 상황을 가정하고, 그런 상황이 있어도 안정적으로 로그를 수집할 수 있도록 설정을 잡아야 했기 때문이다. Fluent bit 자체가 경량화된 로그 수집 프로그램이라 제약사항이 좀 있는 편이기도 했다. 하지만 이 과정에서 많이 배웠다. 단순히 내가 '개발자들이 다 가이드대로 따라주겠지~' 하고 경로를 잡고 끝내버리는 게 아니라, 예외 상황을 가정하고 로그를 놓치는..
2022.1월 회고 업무 Amazon Kubernetes인 EKS에 기존 로그 수집 프로그램인 Logstash 대신 Fluent Bit을 연동하고 S3와 연결했다. Fluent Bit의 내부 버퍼 대신 SQS같은 외부 버퍼를 사용하기 위해 키네시스, 카프카를 사용할 예정인데, 새로운 스택을 쓰게 되어 설렌다. 2주간 한 내용을 중간 보고, 발표하는 시간이 있었는데 그간 내가 했던 일들을 제대로 어필하지 못했다. 앞으로는 윗분들이 들어오는 발표는 철저하게 준비하고, 이걸 하는 이유와 목표, 기대 효과와 내가 한 것들을 조목조목 잘 설명할 수 있도록 하자. Fluent Bit의 output을 S3로 내보내는 과정에서 1주일을 헤맸다. 예외 케이스를 가정하고 설계를 해야 했는데, 그 점을 가정하지 못해 보완하느랴 엄청 시간을 썼..
버터나이프크루 3기 활동, 빅시스터 회고 버터나이프 크루? 빅시스터? 왜 하게 되었나? 어떻게 했나? 하는 중 애로사항은? 하면서 좋았던 점은? 하면서 아쉬웠던 점은? 내년에 도전할 팀에게 한 마디! 버터나이프 크루? 여성가족부에서 후원하는 버터나이프 크루는 만 19세-34세 청년으로 구성된 3명 이상의 팀이 성평등한 변화의 흐름을 만들어나갈 수 있는 주제로 활동하면 최대 600만 원의 사업비를 지원하는 프로젝트입니다. 이번 연도에는 4월 말-5월 초까지 모집했으니, 관심 있으신 분이라면 2022년에 한 번 체크해 보시길. (성평등한 변화의 흐름..이라는 말이 애매한데, 여성이라는 이유로 받았던 차별을 조금씩 부술 수 있는 프로젝트라면 되지 않을까 싶습니다.) 다만 버터나이프크루에 선정된 아이템으로는 추후 다른 사업에 지원하기 어렵다고 하니, ..

티스토리툴바