2022.2월 회고

업무

 

EKS(Amazon Kubernetes) 위에서 Fluent bit을 사용해 로그를 모으고, 로그를 s3의 어떤 경로에 전송할지 path를 설정하는 과정에서 적지 않은 시간을 소모했다. 

Kubernetes - Fluent Bit 로 사용자 로그 S3에 output 설정하기

개발자들이 폴더와 파일 이름을 (가이드 외의) 여러 가지로 정하는 예외 상황을 가정하고, 그런 상황이 있어도 안정적으로 로그를 수집할 수 있도록 설정을 잡아야 했기 때문이다.
Fluent bit 자체가 경량화된 로그 수집 프로그램이라 제약사항이 좀 있는 편이기도 했다.
하지만 이 과정에서 많이 배웠다.

단순히 내가 '개발자들이 다 가이드대로 따라주겠지~' 하고 경로를 잡고 끝내버리는 게 아니라, 예외 상황을 가정하고 로그를 놓치는 상황을 최소화할 수 있도록 환경을 만드는 법을 배웠기 때문이다. 시간이 갈수록 자괴감은 들었지만, 톡톡히 배웠다.

2월은 Fluent Bit에 매진했던 달이었는데, 설정을 계속 바꾸다 보니 특정 조건에서는 Fluent Bit가 제대로 동작하지 않는다거나, 메모리가 튀는 현상도 발견했고, 어떤 상황에서 그런 일들을 피할 수 있는지 체크해서 기록하기도 했다. 

Fluent bit 깃허브에 이슈도 두 건 썼다. ㅎㅎ 나도 나중에 개발 환경에 기여할 수 있도록 C언어 공부도 틈틈히 해야지... 

Kinesis data streams와 firehose delivery streams의 차이가 처음 접했을 때는 잘 이해가 가지 않았는데, 직접 로그를 수집하면서 부딪혀보니 확실히 그 차이를 알고 설명할 수 있게 되었다. 

로그를 실시간으로 스트리밍 할 수 있는 Kinesis data streams를 사용하고 싶었지만, 최소 24시간 동안 데이터를 보관해야 하는데, 비용은 시간당으로 들고 24시간 이하로 보관 주기를 줄일 수는 없어서..ㅎㅎ firehose를 사용하기로 했다. 

firehose delivery streams에 데이터를 전송하면 데이터를 최소 60초 간격으로 목적지로 전달하는데, 목적지가 S3이라면 Logstash에서 데이터를 바로 받아올 수 있고, 받아오자마자 S3에 있던 데이터를 지울 수 있는 옵션도 있다(!)

외에는 기존에 수집이 안되던 로그가 있다는 걸 찾고, 그 로그들을 어떻게 하면 제대로 받아올 수 있을지 기존 환경 + Fluent bit 환경에서 설정을 바꿔 각각 로그 수집이 제대로 될 수 있도록 했는데, 좀 뿌듯했다. 

 

스터디

1월에 이어 한... 8개의 스터디를 하고 있다. 
주 5일 외국어 공부, 파이썬(주 2시간 이상), 스파크(스파크 완벽 가이드 4주안에 400p 읽고 정리하기), CS 기초 스터디로 자료구조와 알고리즘, 선형대수학, 혼공 머신러닝+딥러닝, 이산수학, 직무 관련 블로그 작성 등을 하고 있는데, 빡세지만 확실히 도움이 되고 있다.

월, 수, 금은 CS 기초를 전공자 수준의 강의를 들으면서 쌓고, 
화, 목은 직무 관련 스킬셋을 공부하는 게 목표다. (현재 파이썬과 스파크를 공부하고 있다. 여담인데 스파크 공부 시작했다고 하니 사수님이 지금 업무로 하는 ELK부터 잘하는게 좋지 않겠냐고 하셔서 마음이 흔들렸음... )
토요일은 머신러닝 스터디를,
일요일은 이산수학과 선형대수학 스터디를 하고 있다!

각 스터디들이 루틴화가 되어가니 부담도 덜 하고, 어차피 내가 해낼 수 있다는 걸 아니까 마음 편하게 공부할 수 있는 환경이 조성되는 거 같다. 

지인들한테 농담으로 고3처럼 살고 있다고 말하는데..ㅋㅋㅋ 한 2년이면... 고3 생활을 벗어날 수 있겠지....??? 

 

서평단

한빛미디어의 서평단으로 선정되었다! 올 한해 동안 한빛미디어의 다양한 신간을 읽어보고 글 쓰는 연습도 할 수 있다니, 일석이조인 것 같다. 물론 스터디로 엄청 바쁠 때에는 아... 내가 2-3만원 하는 책 무료로 받자고 이렇게까지 시간을 들여야 하는 걸까 하는 생각도 들었지만, 서평단으로 받은 책으로 직접 안드로이드 애플리케이션을 만들어보니 너무너무 신기했다.

1시간 20분만에 코틀린 앱 만들기 : 오준석의 안드로이드 생존코딩

 

책 

북적북적 앱을 깔아놓은게 무색하리만큼 많이 못 읽었다... 😭 

그래도 독서모임을 정기적으로 시작하면서, 여러 책을 꾸준히 읽을 환경을 조성했다. 

<팩트풀니스>는 통계와 수치를 기반으로 사람들이 세상에 가지고 있는 편견을 지적하고, 세상이 우리의 생각보다 그렇게 단순하지 않음을, 그리고 그렇게 나쁘지 않고 점점 좋아지고 있다고 말하는 책이다. 

앞부분에 퀴즈가 있는데, 겨우 2문제를 맞춰서 '와 나 진짜 심각하다' 싶었는데, 사실 세계에서 내로라 하시는 분들의 정답률도 침팬지가 찍은 것보다 못하다. 우리는 세계를 얼마나 오해하고 있고, 편견 어린 시각으로 바라보고 있는지, 이 책을 읽으면 깨닫게 될 것이다. 

3월에는 <진리의 발견>을 매주 3장(페이지 아님) 씩 읽고 독서모임을 하기로 해서, 매우 기대가 된다!

 

취미활동

동네 그림모임을 개설하였으나... ^^... 파토가 났다....  그래서 2월에도 그린 그림은 0개... 
혼자라서도 꾸준히 그림을 그리고 싶은데, 쉽지 않다. 🙃