본문 바로가기

회고

 (22)
6월 회고 업무 EC2 골든 이미지에 기존 로그 수집 프로그램인 Logstash 대신 Fluentd를 세팅하는 업무를 끝냈다. 생각 외로 작업이 지연되어 꽤 스트레스를 받았는데, 자그마한 것을 하나씩 레고처럼 쌓아 올리더라도 초기부터 철저하게, 꼼꼼히 하나하나 검증하는 자세의 필요성을 실감했다. 이번 작업을 통해서, 나는 처음 접하는 오픈 소스라도 공식 문서를 참조하며 원하는 기능을, 원하는 성능을 내도록 튜닝을 할 수 있는 사람이라는 것을 알았다. 요건 팀 내에서도 인정받은 부분이라 기쁘다. Fluentd로 S3 output path에 field(key) 값 넣기 Fluentd tail input 로그 1개 손실 & 로그 느리게 들어오는 이유 해결 Fluent Bit을 다루면서 C 코드를 보다가 Fluentd의 ..
4~5월 회고 업무 회사 기술 블로그에 글을 업로드했다! (고료도 받았다 🎉) 사수님이 5고에 걸쳐 봐주셨는데 😇 그만큼 빠꾸도 많이 맞았지만 여러모로 글을 다듬으며 보완할 수 있는 계기가 되었다. EKS 환경에서 로그 모니터링을 꾸준히 하고, 여러 가지 에러 로그를 만나며 대응을 했다. 로그를 보며 문제의 근본적인 원인을 찾고 해결해나가는 법을 배우고 있다. 업무 시 마주치는 문제 상황에서 어떻게 처리해야 하는지 점점 체감되고 있다. 예전에는 이거 어떻게 하죠???? 하는 뉘앙스로 물어봤다면 이제는 문제의 원인을 나름 찾아보고, 해결책도 찾아보고, 근데 거기엔 이런 문제가 있더라고요. 그러면 이 방법은 어떨까요?? 하는 식으로 여쭤보고 있다. 3달 전에는 못 하던 것을 할 수 있게 되었다. Fluent Bit에는 오..
2022.3월 회고 회사 3개월간 하던 프로젝트를 끝냈다! 야호 이제야 회사생활이 좀 살 만한 것 같다. ㅋㅋㅋ... 사내 첫 프로젝트 회고 팀 내에서도 회고를 진행했는데, 배운 점들에 대해 좋게 봐주셨다 ㅎㅎ 배운 점들을 잊지 말고, 앞으로 계속 좋은 자세를 지켜나가면 좋겠다! 새 프로젝트는 FluentD를 사용할 것 같은데, 개발 관련된 프로젝트도 하고 싶어서 파이썬 공부를 열심히 할 예정이다! 스터디 13주간 하던 이산수학 스터디가 끝났다. 챌린저스로 출석률을 관리했는데 수익률이 무려 50%에 달한다.... 다들 수학 포기하지 마.. ㅜㅜ 매주 공부하면서 책의 개념들이 알고리즘, 자료구조 강의를 수강하는데 굉장히 유용하기도 했고, 한 번 듣고는 완전히 내 것이 되지 않을 것 같아 좀 텀을 두고 다시 같은 책으로 스터디..
사내 첫 프로젝트 회고 2021년 12월 말부터, 2022년 3월 말에 이르기까지 3개월 동안 진행했던 프로젝트가 끝났다. 수습 기간 이후에 특정한 목표를 가지고 장기간 진행하여, 기간 내에 끝을 낸 프로젝트는 처음이라 회고 글을 적고자 한다. 프로젝트의 목표와 기술 스택 사내에서 운영되는 애플리케이션과, API들을 Amazon Kubernetes(EKS) 환경 위로 이전하기 시작했다. EKS 환경 위에서 애플리케이션에서 만드는 로그들을 일괄적으로 Fluent Bit, Fluentd로 수집하여 Elasticsearch와 S3으로 보냈는데, 사용자 로그와 시스템 로그가 분리되지 않아 Elasticsearch에 부담이 간다. 사용자 로그의 파싱이 기존 로그의 형식처럼 파싱되지 않아 개발자들이 보기에 불편하다. 한 로그가 여러 개의..
2022.2월 회고 업무 EKS(Amazon Kubernetes) 위에서 Fluent bit을 사용해 로그를 모으고, 로그를 s3의 어떤 경로에 전송할지 path를 설정하는 과정에서 적지 않은 시간을 소모했다. Kubernetes - Fluent Bit 로 사용자 로그 S3에 output 설정하기 개발자들이 폴더와 파일 이름을 (가이드 외의) 여러 가지로 정하는 예외 상황을 가정하고, 그런 상황이 있어도 안정적으로 로그를 수집할 수 있도록 설정을 잡아야 했기 때문이다. Fluent bit 자체가 경량화된 로그 수집 프로그램이라 제약사항이 좀 있는 편이기도 했다. 하지만 이 과정에서 많이 배웠다. 단순히 내가 '개발자들이 다 가이드대로 따라주겠지~' 하고 경로를 잡고 끝내버리는 게 아니라, 예외 상황을 가정하고 로그를 놓치는..
2022.1월 회고 업무 Amazon Kubernetes인 EKS에 기존 로그 수집 프로그램인 Logstash 대신 Fluent Bit을 연동하고 S3와 연결했다. Fluent Bit의 내부 버퍼 대신 SQS같은 외부 버퍼를 사용하기 위해 키네시스, 카프카를 사용할 예정인데, 새로운 스택을 쓰게 되어 설렌다. 2주간 한 내용을 중간 보고, 발표하는 시간이 있었는데 그간 내가 했던 일들을 제대로 어필하지 못했다. 앞으로는 윗분들이 들어오는 발표는 철저하게 준비하고, 이걸 하는 이유와 목표, 기대 효과와 내가 한 것들을 조목조목 잘 설명할 수 있도록 하자. Fluent Bit의 output을 S3로 내보내는 과정에서 1주일을 헤맸다. 예외 케이스를 가정하고 설계를 해야 했는데, 그 점을 가정하지 못해 보완하느랴 엄청 시간을 썼..
버터나이프크루 3기 활동, 빅시스터 회고 버터나이프 크루? 빅시스터? 왜 하게 되었나? 어떻게 했나? 하는 중 애로사항은? 하면서 좋았던 점은? 하면서 아쉬웠던 점은? 내년에 도전할 팀에게 한 마디! 버터나이프 크루? 여성가족부에서 후원하는 버터나이프 크루는 만 19세-34세 청년으로 구성된 3명 이상의 팀이 성평등한 변화의 흐름을 만들어나갈 수 있는 주제로 활동하면 최대 600만 원의 사업비를 지원하는 프로젝트입니다. 이번 연도에는 4월 말-5월 초까지 모집했으니, 관심 있으신 분이라면 2022년에 한 번 체크해 보시길. (성평등한 변화의 흐름..이라는 말이 애매한데, 여성이라는 이유로 받았던 차별을 조금씩 부술 수 있는 프로젝트라면 되지 않을까 싶습니다.) 다만 버터나이프크루에 선정된 아이템으로는 추후 다른 사업에 지원하기 어렵다고 하니, ..
AI 부트캠프의 4번째 섹션 : 딥러닝을 배우다 이번 섹션에는 AI 부트캠프 과정의 핵심인 딥러닝을 배웠다. 딥러닝의 기초인 퍼셉트론, 경사 하강법, 역전파부터 자연어 처리, 최신 언어처리 모델들, 컴퓨터 비전, 이미지처리 등의 과거를 배우고 현재를 엿볼 수 있었다. 번역 일을 하다보니, 번역기를 만드는 데 관심이 많아 Attention+GRU(2014), Transformer(2018), mT5(2020) 세 개의 딥러닝 모델을 이용해서 여러 데이터셋을 학습시키고, 어떤 모델을 써야 가장 자연스러운지 알 수 있었다. Attention을 사용한 인공 신경망 기계 번역 만들기(한->영) Transformer를 사용한 인공 신경망 한영 번역기 코드 예제 실습 (Colab 버전) 딥러닝 프로젝트 4 : mT5 모델로 번역기 만들기 아쉬운 점은 코랩 프로를 ..

티스토리툴바