행궁동 데이터 엔지니어

앤디 위어, 프로젝트 헤일메리, 알에이치코리아(2021)

엔지니어- — Mon, 11 May 2026 16:30:43 +0900

읽은 날짜: 2026년 1월
- 마션 작가인 앤디 위어의 책, 두껍지만 재밌었고 보다가 울었다.
- 책 내용과 관계없지만 읽고 신기했던건 책을 쭉 읽고나니 2~3일 정도 오랜만에 머리가 잘 돌아갔었다..
- 포스팅 하면서 알게 됐는데 앤디 위어가 개발자 출신(워크래프트2 개발)이라니 반가웠다.

https://product.kyobobook.co.kr/detail/S000000479333

프로젝트 헤일메리 | 앤디 위어 - 교보문고

프로젝트 헤일메리 | 2026년 3월, 영화 〈프로젝트 헤일메리〉 개봉! 다음 세기까지 SF 고전으로 남을 대작전 세계 SF 팬들을 사로잡은 화제의 소설 《프로젝트 헤일메리》가 마침내 스크린으로 향

product.kyobobook.co.kr

독서 모임에서 같이 읽었던 책이라 질문과 생각을 주고 받았었고 나눴던 질문 중 2개를 올려본다.
- 질문 그대로 올리려하니 스포가 있기에 간략하게만..

질문1. 스트라트가 그레이스에게 한 행위는 정당한가?

질문2. 그레이스는 선한 사람인가? 그리고 "자리가 사람을 만든다" 라는 말에 동의하는가?

타인을 당신과 비슷한 소망과 필요를 가진 한 사람으로 당신과 같은 사람으로 여기는 것

엔지니어- — Thu, 30 Apr 2026 22:06:55 +0900

<메모>

타인을 당신과 비슷한 소망과 필요를 가진 한 사람으로 당신과 같은 사람으로 여기는 것 (상자 밖에 있는 사람 78Page)

상자 밖에 있는 사람 | 아빈저연구소 - 교보문고

상자 밖에 있는 사람 | 『상자 밖에 있는 사람』은 개인과 조직의 본질적인 문제를 다룸으로써 조직 구성원들이 자신의 일에 책임을 갖고 정성을 다하는 문화적 신념을 갖도록 한다. 가족 관계,

product.kyobobook.co.kr

새로운 문명에서 인간은 선택적으로 연대하고자 합니다. '찾고 싶은 사람'이 되기 위해 각자는 매력적인 핵개인이 되기 위해 노력할 것입니다. 단순히 외모를 꾸미는 것이 나리, 상대를 동등하게 대하며 서로를 도구화하지 않는 쿨한 관계를 만드는 이들이 매력적인 사람으로 환영 받을 것 입니다. 상대를 이용하는 사람과의 관계는 오래가지 못합니다. (시대예보: 경량문명의 탄생, 194Page)

시대예보: 경량문명의 탄생 | 송길영 - 교보문고

시대예보: 경량문명의 탄생 | ※ 일부 매장 및 교내 서점에서는 리커버 표지와 병행 판매됩니다. 바로드림 주문 시 이용에 참고 바랍니다. 거대함은 더 이상 안전을 보장하지 않는다. 가볍고 빠

product.kyobobook.co.kr

자신의 삶을 소중히 여기고 단단한 경력을 쌓아온 이들 (시대예보: 경량문명의 탄생, 196Page)

경량문명에서 각자를 각성하게 만드는 것은 무서운 선배의 호령이 아니라 스스로에게 엄격한 각자의 자존입니다. (198Page)

첫 러닝크루 활동! 2026년 4월 29일

엔지니어- — Wed, 29 Apr 2026 23:24:27 +0900

그동안 미뤄왔던 러닝 모임에 처음으로 나간날이다.

집앞이라 부담없이 나갔고 매일 혼자 뛰다가 이렇게 같이 뛰는건 거의 3년만 이었다.

Km당 6분 페이스로 약 8.7Km를 50분 정도 같이 뛰었는데 생각보다 편안했고 이런 저런 이야기를 하며 뛰는게 즐거웠다(나는 낯가림이 있어서 별 이야기를 안했지만 듣기만 해도 좋았다).

2026년 4월 29일 기록

준비운동, 달리기, 마무리 운동까지 총 1시간 20분 정도의 시간이 정말 빠르게 갔고, 다음주 수요일 모임에도 참여하려고 한다.

추가로 고무적인건 갤럭시 워치 기준 항상 '나쁨'으로 나왔던 '강성' 지표가 처음으로 좋음으로 나왔다.
경험 많은 분들 뒤에서 뛰다보니 나도 자연스럽게 그 분들의 케이던스에 맞춰지고 '강성' 지표가 개선된 것 같다.

강성이... 좋음으로 나온게 처음이다...

아무튼 멤버 분들의 에너지도 좋았고 더불어 달리기 지표까지 좋아졌다.

다음주 수요일에도 같이 달려보자!

위노트 인터뷰 영상을 보고 — 상담센터 서비스 개발을 위한 인사이트를 얻었다

엔지니어- — Tue, 28 Apr 2026 23:00:17 +0900

위노트 인터뷰 영상을 보고

예전에 OO공단 프로젝트에서 인연이 있던 K박사님과 함께 중소형 상담센터의 센터장·상담사를 위한 서비스를 개발하고 있고, 현재 K박사님 지인들을 대상으로 베타 테스트를 진행 중이다.

얼마 전 K박사님이 영상 하나를 추천해주셔서 보게 되었는데, 그때 메모했던 내용들을 정리해 본다.

(영상) 혼자 AI로 만든 SaaS, 월 2,000만 원 찍었습니다

https://www.youtube.com/watch?v=Sed9O2Mn3uE

위노트(Wenote)는 어떤 서비스인가

영상의 인터뷰이는 위노트라는 학교 상담 시스템을 개발한 분이었다 (초등학교 교사 + 개발자 경력).

위노트는 학교 상담 선생님들이 그동안 상담 후 엑셀/한글로 정리하던 상담일지를 손쉽게 작성하고, 나이스(NEIS) 에도 연동해 주는 서비스이다.

상담 선생님들이 일지 정리·업로드 파일 정리에 쓰던 약 2시간의 시간을 10분으로 단축
상담 선생님들의 니즈를 잘 맞춰, 2026년 4월 28일 기준 780개 기관에서 사용 중

메모들 (작성일: 2026-04-22)

1. 우리도 '문서 작업'을 더 깊게 도와야겠다

위노트 사례를 보며, 우리도 행정 처리를 위한 문서 작업 영역을 더 발굴해서 도와드려야겠다는 생각이 들었다.

이유: 시간 절약이라는 가장 직접적인 가치 제공이 가능하기 때문이다.

후보 작업

심리검사, 심리검사 결과 취합, 통계 서비스 제공
센터장의 행정 처리를 지금보다 더 손쉽게 해주기
상담사의 문서 작업 지원
- 상담일지 정리 시 원하는 포맷을 지정해 PDF로 다운로드 가능하게 하기
- AI 기능을 단순 상담일지 정리를 넘어, 상담사가 "이거 괜찮네" 라고 느낄 정도의 전문성으로 업데이트
- 상담사 자격 취득을 위한 문서 정리 지원

2. 데이터 저장 방식

위노트는 학생 상담일지라는 민감한 정보를 다루기에 데이터를 로컬에 저장하게 한다.
반면 우리가 타깃하는 중소형 상담센터의 소속 상담사 분들은 센터 직원보다 프리랜서 형태가 많다.
따라서 상담사 개개인이 서로 다른 기기를 사용하게 되므로, 로컬 데이터 저장 방식을 적용하기 어렵다.

3. 상담사 분들의 'AI'라는 단어에 대한 거부감

인터뷰이는 상담사 분들과 이야기해 보니 'AI'라는 단어를 좋게 생각하지 않는 경우가 많다고 했다.
우리가 개발 중인 서비스 역시 이름 뒤에 'AI'가 붙어 있는 형태("OO AI")였다.
K박사님이 센터장·상담사 분들과 직접 이야기해 본 결과, AI라는 단어를 별로 내켜하지 않았고 실제 서비스 내 AI 기능 사용률도 저조했다.
결론: 서비스명에서 'AI'를 제거했다.

4. 테스트와 버그에 대한 생각

위노트는 개발 후 프론트에서 E2E 테스트를 진행했는데 시간이 많이 들어 풀타임 테스터까지 고용했다고 한다.
그럼에도 서비스의 모든 버그를 해결할 수는 없었고, 사용자들의 다양한 유즈케이스를 완벽히 만족시키기는 어려웠다 (베타 테스터로 실제 상담 선생님들을 모집해 피드백을 병행했음에도).
결국 인터뷰이도 모든 케이스를 사전에 해결하는 것은 무리라는 결론에 도달했고, 어느 정도 다듬어진 시점에 일단 론칭한 뒤 피드백을 받아 빠르게 수정하는 방향을 택했다.
단, 우선순위는 명확하게:
- 치명적 오류 (데이터 삭제, 민감 정보 유출 등) → 두 번 세 번 사전 검토
- 사소한 버그 (다양한 유즈케이스 완성도, 필수 기능에 영향 없는 수준) → 유저와 함께 빠르게 수정

5. 우리는 어떤 문제를 해결하는가?

상담센터의 행정 업무 시간 절약
상담의 질 상승
커뮤니티

한국의 "문 앞에 놔주세요"는 인도네시아에서 통하지 않는다 (Feat. 배송메모 추천)

엔지니어- — Mon, 27 Apr 2026 23:12:09 +0900

회사에서 새 패션 플랫폼을 만들 때 있었던 일이다.

개발 스펙에 배송메모 추천 기능이 들어 있었다. 아래 이미지처럼 체크아웃 페이지에서 자주 사용하는 배송 메모를 드롭다운 리스트로 보여주는 기능이었다.

배송메모 추천 예시(출처: 스마트스토어)

문제는 어떤 옵션을 보여줄지였다. 한국이라면 "문 앞에 놓아주세요" 같은 익숙한 보기가 떠오르겠지만 인도네시아는 다를 수 있었다.

그때 새 패션 플랫폼의 PO였던 J님이 제안했다.

PlugoStore 셀러들이 받은 배송 메모를 보면 답이 나올 것 같은데, 데이터 한번 확인해 주실 수 있을까요?

PlugoStore는 우리 회사에서 운영하는 D2C 쇼핑몰 빌더 서비스다(한국으로 치면 카페24나 아임웹 같은 서비스이다).

확인해 보니 Store에는 수십만 개의 배송메모가 쌓여있었고 새 플랫폼의 배송메모 문구를 정하기에 이보다 좋은 레퍼런스가 없었다.

그래서 데이터를 뽑아봤다.

데이터에서 보인 것

배송메모의 상위 키워드는 대략 이랬다.

순위	키워드	빈도	한국어 의미
1	Tolong	33%	부탁드려요
2	bungkus	26%	포장
3	tebal	26%	두껍게
8	aman	8%	안전하게
10	rapi	7%	깔끔하게
-	warna	2%	색상
-	size/ukuran	4%	사이즈

가장 눈에 띈 건 포장 관련 단어가 압도적이라는 점이었다.

포장(bungkus) 관련 문구의 빈도를 합치면 전체 메모의 절반이상에서 등장했다. 또한 두껍게(tebal)이라는 키워드도 1/4에서 등장했다.

여기서 한국과 비교가 자연스럽게 됐다.

한국의 커머스 사이트의 배송메모 옵션을 보면 거의 다 수령 방식에 관한 내용이다.

문 앞에 놔주세요, 경비실에 부탁드려요, 부재 시 연락 주세요, 배송 전 미리 연락해 주세요...

반면 인도네시아 데이터에서는 "문 앞", "경비실" 같은 키워드는 거의 등장하지 않았다.

작성률 20%

또 하나 의외였던 건 배송메모의 작성률이 약 20%나 된다는 것이었다. 다섯 명 중 한 명이 메모를 쓰고 있었다.

한국에서 배송메모를 쓰는 사람이 얼마나 될까?(일단 나는 거의 써본 적이 없었다)

배송메모를 작성한다 해도 대부분 "선택 안 함"이거나 써도 의례적인 한 줄로 끝날 것 같았다.

그런데 인도네시아 구매자는 적극적으로 셀러에게 무언가를 요청하고 있었다.

왜 인도네시아 구매자는 포장 얘기를 많이 할까

이 질문이 사실 가장 흥미로웠다. 이야기하며 정리해 본 이유는 대략 이렇다.

물류 환경: 인도네시아는 1만 개가 넘는 섬으로 이뤄진 나라라 물건을 배/차량/항공기에 싣고/내리는 과정이 많다 또한 인도네시아 내에서도 상품 배송까지 2주 가까이 걸리기도 한다. 배송 과정에서 택배 박스가 잘못된 경험을 많은 구매자가 했었을 것이다.
asal-asalan 문화: asal-asalan은 "대충, 적당히"라는 뜻의 일상어다. 한국의 이커머스는 말하지 않아도 알아서 잘해주겠지가 기본 기댓값이다. 하지만 인도네시아의 경우 말하지 않으면 "대충, 적당히" 포장될 것이라는 가정이 기본 값이다.

정리하며

처음에는 배송메모 데이터를 확인해서 드롭다운 옵션 몇 개 고르는 일이라고 생각했는데,

끝나고 보니 인도네시아 시장을 조금 더 이해하게 된 작업이었다.

배운 게 있다면 두 가지다.

하나는, 다른 문화권에 한국에서 익숙한 UI를 그대로 옮기면 안 된다는 것.

- 만약 배송메모 옵션에 "문 앞에 놓아주세요"를 인도네시아어로 번역해서 넣었다면 사용하지 않는 문구가 됐을 것이다.

또 하나는, 사내에 이미 쌓인 데이터가 가장 좋은 레퍼런스일 때가 있다는 것.

PlugoStore의 메모 데이터가 없었다면 우리는 추측으로 옵션을 정했을 거고, 결과물도 어색했을 가능성이 크다.

좋은 제안을 주셨던 J님께 감사드린다.

<지나 보니 아쉬운 점>

저때로 돌아간다면 두 가지를 더 해봤을 것 같다.

1. 패션 카테고리 구매자의 배송메모만 따로 뽑아봤을 것 같다.
당시에 확인한 데이터는 PlugoStore 전체 셀러의 메모였다. 큰 틀에서는 패션이든 아니든 패턴이 비슷할 것 같지만 패션상품 구매자는 색상/사이즈 확인의 비중이 높거나 다른 특징의 메모가 있었을 수 있다.

2. PlugoStore에도 이 내용을 적용했으면 어땠을까 한다. 데이터를 PlugoStore에서 가져왔는데 정작 분석 결과는 새 플랫폼에만 적용했다. PlugoStore 셀러들도 동일한 추천 옵션을 체크아웃 페이지에 쓸 수 있었을 텐데..

메르, 1%를 읽는 힘, 토네이도 출판사(2023)

엔지니어- — Sun, 26 Apr 2026 21:31:59 +0900

읽은 날짜: 2025년 2월 23일

- 몰랐던 세상, 생태계를 알려주는 저자의 블로그를 구독하다가 알게 된 책

- 세상의 현상을 여러가지 요소를 연결해서 해석하는 관점이 좋았다.

- 최근 블로그 글 중에는 전쟁을 예측할 때 볼 수 있는 펜타곤 피자지수, 민항기 실시간 움직임(Flightradar24) 글들이 흥미로웠다.

https://product.kyobobook.co.kr/detail/S000208590459

1%를 읽는 힘 | 메르 - 교보문고

1%를 읽는 힘 | 네이버 블로그 경제·주식 분야 1위 SERICEO 비즈니스 북클럽 선정도서 국내 최고의 자본시장 분석가 메르의 세상을 연결해 기회를 발견하는 생각 혁신거인의 어깨에서 보는 세계,

product.kyobobook.co.kr

누군가는 "찾으면 다 나오는 정보의 나열. 블로그에나 올릴 수준의 지식자랑. 분석과 통찰, 비전은 없음"이라고 박하게 평가했지만

개인적으로는 몰랐던 내용도 많고 여러 요소를 연결해서 풀어주는 이야기가 좋아 재미있게 읽었다.

어떤 현상을 둘러싼 다양한 이해관계자의 입장과 생태계를 함께 조망하는 시각이 특히 신선했다.

재미있게 읽고 메모해둔 내용은 다음과 같다.

1. 미국이 셰일 유전을 확보해 에너지 독립이 가능해지면서 국제 사회에서 태도를 바꾼 이야기
2. 부동산 PF를 둘러싼 시공사, 건설사, 대출 금융기관들의 생태계
3. 희토류 등 희소 자원을 확보하기 위한 국가 간 무역 전쟁
4. 계란을 생산하는 산란계가 순계 => 원종계 => 종계 => 산란계로 이어지는 구조
- 순계를 생산하는 미국 하이라인사의 기술이 1년에 10알 낳던 닭을 300알 낳는 닭으로 만들었고
- 여기에 더해 산란계가 낳은 유정란에서 부화한 닭은 열성으로 알을 적게 낳도록 만드는 기술까지 적용했다는 점 (기술을 확실하게 보호하는구나..)
5. 무역풍과 관련된 엘니뇨 이야기

단편적인 사실들을 다른 요소와 연결해 하나의 이야기를 보여주는 게 좋았고

출판사 서평에서 말하듯 "세상이 그물처럼 연결되어 있다"는 감각을 얻게 된 것이 큰 수확이었다.

정보 자체는 검색하면 나올지 모르지만 그것들을 어떻게 연결해서 자신만의 뷰로 만들어낼지는 또 다른 문제다.

그런 의미에서 이 책이 '무엇을 알 것인가' 보다 '어떻게 연결해서 볼 것인가'에 대해 생각해보게 해줬다.

<출판사 서평 일부>

“세상의 보이지 않는 흐름을 읽어낼 줄 아는 사람이 모든 것을 가져간다!”
나만의 독창적인 뷰와 관점을 만들어내는 ‘생각 확장법’ 전격 공개

기존의 상식과 통념을 깨고 완전히 새로운 시각으로 시장을 바라보는 방법은 무엇일까? 이 책에서 자신만의 뷰를 만들고 발전시키는 방법으로 강조하는 것은 ‘세상을 연결해서 보라’는 것이다. 세상이 마치 그물처럼 연결되어 있다는 사실을 깨닫는 순간, 기존에 가지고 있었던 좁은 시야와 생각의 경계는 허물어질 수밖에 없다.

아라키 슌야(신찬 옮김), 카피라이터의 표현법, 현대 지성(2024)

엔지니어- — Sat, 25 Apr 2026 19:49:17 +0900

https://product.kyobobook.co.kr/detail/S000212798265

카피라이터의 표현법 | 아라키 슌야 - 교보문고

카피라이터의 표현법 | 머릿속에 둥둥 떠다니는 아이디어를 가장 적확한 언어로 표현해내는 하루 6분 메모의 놀라운 힘회의나 발표에서 독창적인 아이디어를 똑 부러지는 언어로 표현하는 사람

product.kyobobook.co.kr

읽은 날짜: 2025-12-17

- 책 부제: 1초 만에 생각을 언어화하는 표현력 트레이닝

- 이 책을 언제 왜 샀는지는 기억이 안 나는데 읽어보니 좋았다.

- 저자인 아라키 슌야는 "덴츠" 라는 일본 1위 광고 회사에서 20년 일한 카피라이터라고 한다.

* 덴츠가 어떤 광고 회사인지 궁금해서 찾아보니 우리나라 제일기획, 이노션 같은 재벌 인하우스 에이전시가 아니고 독립적인 광고대행사라고 한다. (2024년에 제일기획의 취급액이 약 9조인데 덴츠는 140조를 취급했다고.. 엄청 큰 회사다)

책내용은 "무엇"을 "어떻게" 말할 것인가에 대한 내용이었다.

- 말을 할 때, 의견을 전달 할 때, 피를 보여줄 때

- 무엇을 어떻게 말할 것 인가

책은 "무엇"을 말할지가 중요하다고 시작됐는데 아래 문장 때문에 더 읽고 싶어 졌었다.

세상에 어떻게 말할 것인가 하는 화술에 관한 책은 많다.
하지만 무엇을 말할지에 대한 책은 거의 없다.
사람들은 그 사람이 어떻게 말했는지 보다 무엇을 말했는지를 더 많이 기억한다.

어떤 자리에서 어떤 타이밍에 말할지 어떤 톤으로 말할지도 중요하겠지만

신뢰관계가 쌓였거나 사이가 나쁘지 않은 사람들과 함께라면 거의 대부분 "무엇"이 중요할 거라는 생각이 강하게 들었었다.

책에서 생각의 해상도를 높일 수 있는 구체적인 방법도 제안하는데 그 방법은 아래에 남겨본다.

<생각의 해상도를 높이는 2분 훈련>

1. A4용지와 펜, 2분 타이머를 준비한다.

2. 타이머를 키고질문을 적는다

3. 종이를 위아래로 나눠 각 칸에 "사고", "이유"라고 적는다.

4. "사고" 칸에 일단 떠오르는 생각을 한 줄 써본다.

5. 처음 쓴 한 줄을 보고 추가로 떠오른 생각들을 아래에 덧붙인다.

6. "사고" 칸 마지막 문장에 동그라미를 치고 아래 "이유" 칸을 채우며 생각을 구체화한다.

생각의 해상도를 높이는 2분 훈련 예시 (책을 본 후 옵시디언 플러그인을 만들었었는데.. 사용은 안했었다 ㅎㅎ)

책에서 인상 깊었던 예시 (40 ~ 41 Page)

당신은 팀의 팀장이고
신규 상품 홍보 디자인 시안 1, 2번을 두고 직원들과 회의하고 있다.

직원 A님 어떤 디자인이 더 좋은 거 같아요?
- 직원 A: 디자인이 깔끔해서 1안이 좋아 보여요

직원 B님 어떤 디자인이 더 좋은 거 같아요?
- 직원 B: 음.. 제가 보기에는 1안이 심플해서 좋아 보여요

직원 C님은 어떤 디자인이 더 좋아 보여요?
- 직원 C: 이번 상품은 바쁜 주부 고객도 쉽게 사용할 수 있다는 점을 강조하는 제품인데, 시안 2가 주부를 대상으로 하는 상품임을 바로 알 수 있고 글자 크기도 적절해서 이번 광고 콘셉트에 맞아 보입니다.

당신은 이 상황에서 어떤 시안을 선택하겠는가?
또한 팀장으로서 직원 A, B, C 중 어떤 직원과 함께 일할 때 든든하겠는가?
왜 주위 사람을 납득시킬 만큼 설득력 있는 의견을 제시하는 게 그토록 어려울까?

Christian Mayer, 클린 코드의 기술, 단순함의 노하우

엔지니어- — Sun, 16 Mar 2025 23:59:22 +0900

클린 코드의 기술

190페이지의 얇은 책이지만 복잡성과 생산성 그리고 코드 작성의 목적에 대해 생각해보게 해준 책이었습니다.

주요 내용들

1장: 복잡성은 어떻게 생산성을 해치는가

2장: 80:20원칙
- 기존의 중요한 기능을 개선하는데 시간을 들여라
3장: 최소 기능 제품 만들기

4장: 클린하고 단순한 코드 작성하기
- 큰 그림을 생각하라
- 거인들의 어깨 위에 서라
- 기계가 아닌 사람의 코드
- 필요하지 않아요
- 보이 스카웃 법칙과 리팩터링

5장: 성급한 최적화는 모든 악의 근원
- 성급한 최적화의 유형

코드 함수들을 최적화하기
기능들을 최적화하기
계획을 최적화하기
확장성을 최적화하기
테스트 설계를 최적화하기
객체지향 세계로 최적화하기

- 성능 튜닝을 위한 6가지 팁

측정을 먼저, 개선은 다음
파레토가 왕
알고리즘 최적화가 최고
캐시 만세
적은 게 더 많다: 기능을 제거하거나 단순화 할 수도 있다.
멈춰야 할 때를 알기

6장: 몰입
- 코딩하는 시간을 큰 단위로 잡으세요.

7장: 한 개의 일을 잘하기와 다른 유닉스 원칙들
- 각 함수는 한개의 일을 잘한다.
- 단순함이 복잡함 보다 좋다.
- 작은 것이 아름답다.
- 프로토타입을 가능한 빠르게 만든다.
- 효율성보다는 이식성을 선택한다.
- 클린 코드가 영리한 코드보다 좋다.

8장: 디자인은 적은 것이 더 많다: 생략

9장: 집중: 생략

책을 통해 개인적으로는 상황에 따라 필요한 기능만 빠르게 개발하고
최적화는 의도적으로 미뤄야할 때도 있다는 것을 생각해보게 되었습니다.

- 만약 필요한 기능한 빠르게 개발하게 되었고 빠른 시일 내에 문제가 발생할 것이 분명하다면 주석은 남겨두는게 좋은 것 같습니다.
(책의 내용을 빌리자면 다른 팀원들이 우리 코드베이스는 대충만든 거니까 나도 대충 개발해도 되겠지? 라고 오해하여 클린 코드가 아닌 대충? 코드를 만드는 것을 방지하기 위해서..)

- 또한 병목지점으로 장애나 사용자 경험 저하의 원인이 되거나 자주 호출되어 많은 비용을 발생시키는 API나 프로세스에 대한 최적화는 가치가 있는 것 같습니다.

측정을 통해 병목 지점을 알아내고 개선하는 것
하루에 100만번 호출 되는 API, 하루에 100번 호출되는 API 어떤 것을 개선할 것인가?
- 100번 호출되는 10초 걸리는 API를 0.1초로 만들 것인가
- 100만번 호출되고 1초 걸리는 API를 0.2초로 만들 것인가?

액션

신규 프로젝트, 독립된 신규 기능 개발

1. 소통을 통해 현 상황에서 필요한 것을 명확히 정의 후
2. 지금 필요한 코드를 읽기 쉽게 만들고
3. 명백히 빠른 시일내에 최적화가 필요할 코드는 주석을 남기기

유지 보수, 기존 기능에 추가 기능 개발

1. 버그 수정, 추가 기능 개발시 영향도를 파악하고
2. 이번 변경이 기존 코드에 많은 영향을 주거나 최적화가 필요할 것 같다면 해당 코드에 대해 잘 아는 동료들과 의논하여 개발
3. 다른 기능에 영향이 없고 병목지점도 아닌 것 같다면 깔끔하게 개발
- 의도적인 기술 부채를 피하고 이전보다 나은 코드가 되도록..

데이터 분석, 추출, 대시보드 제작 시 고려하면 좋은 것들

엔지니어- — Sun, 2 Mar 2025 23:56:43 +0900

포스팅 제목은 거창한데 엄청난 내용은 아닙니다.

GPT의 답변 위에 7년 정도 데이터관련 업무를 직/간접적으로하며 느낀 제 경험을 코멘트 형식으로 적어 봤습니다.

(GPT)

데이터 분석, 추출, 대시보드 제작 시 고려해야 할 중요한 점

디지털 시대에서 데이터는 기업의 핵심 자산이며, 올바르게 분석하고 시각화하는 것이 경쟁력을 결정짓는다. 그러나 단순히 데이터를 수집하는 것만으로는 충분하지 않다. 데이터를 효과적으로 활용하려면 명확한 목표 설정, 전략적인 KPI 선정, 그리고 사용자 중심의 대시보드 설계가 필수적이다.

1. 분석의 목표를 명확히 설정하기

데이터 분석의 출발점은 목적을 분명하게 정의하는 것이다. 분석 목표가 불명확하면 불필요한 데이터를 다루게 되고, 핵심 인사이트를 놓칠 가능성이 높아진다.

1.1. 해결하려는 문제를 구체적으로 정의하기

분석을 시작하기 전, 다음과 같은 질문을 던져야 한다.

• 해결해야 할 핵심 문제는 무엇인가?

• 데이터 분석을 통해 어떤 의사 결정을 내릴 것인가?

• 분석 결과가 적용될 실제 비즈니스 상황은 무엇인가?

예를 들어, “매출 증대 방안 분석”이라는 목표보다는 "최근 6개월간 특정 카테고리의 매출 감소 원인을 파악하고, 고객 구매 패턴을 분석하여 효과적인 프로모션 전략을 도출한다”처럼 구체적인 목표를 설정하는 것이 중요하다.

1.2. 이해관계자와 협력하여 목표를 조율하기

데이터 분석은 단독 작업이 아니라 다양한 이해관계자(경영진, 마케팅 팀, 운영팀 등)와 협력해야 하는 과정이다. 따라서 다음 사항을 고려해야 한다.

• 최종 보고서나 대시보드는 누구를 위한 것인가?

• 어떤 지표가 주요 의사결정자에게 가장 의미 있는가?

• 분석 결과를 어떻게 활용할 것인가?

목표 설정 단계에서 명확한 기대치를 설정하면 불필요한 반복 작업을 줄이고, 분석 결과의 실효성을 높일 수 있다.

의견:

분석, 데이터 사용 목적이 분명할때 확실히 데이터 추출/분석 작업이 수월하게 끝나고 수요자의 만족도 높았던 같습니다.
추가로 이해관계자에 따라 정확한 데이터가 아닌 러프한 트렌드 데이터가 빠르게 필요한 경우도 있어 일단 러프하게 공유하는게 더 효과적이었던 기억도 많습니다.
추가로 저는 원래 데이터 분석 / 사용 목적을 잘 안물어봤었는데 (목적을 물어보는게 약간 실례같기도하고 알아서 해드려야할거 같은 느낌도 있고 뭔가 앞으로 불편해하실까봐 그랬던거 같아요) 대부분 물어보는걸 더 좋아하는거 같습니다.

(기억나는 구체적인 질문들?)
- 고객 메모 자동 완성을 드랍다운 메뉴로 제공하기 위해 기존 고객 메모에서 많이 나온 질문들의 목록이 필요해요.
- 지난번에 도입한 신규 결제 기능이 얼마나 사용되는지 궁금해요.
- 결제 수단의 배치를 변경하려고하는데 결제 수단별 사용현황과 최종 결제 비율을 알 수 있을까요?
- 일 단위로 실적을 추적해야하는데 매번 요청드리니 서로 불편한거 같아요 일별 실적 자동으로 업데이트할 수 있을까요?

2. 전략적인 KPI 선정

데이터 분석에서 가장 중요한 것은 무엇을 측정할 것인가를 정하는 것이다. 잘못된 KPI를 선택하면 분석의 방향이 어긋날 수 있으며, 유의미한 인사이트를 얻지 못할 가능성이 높다.

2.1. KPI 선정 원칙

좋은 KPI는 다음과 같은 특성을 갖는다.

• 측정 가능성(Measurable): 명확한 수치로 평가할 수 있어야 한다.

• 비즈니스 연관성(Relevant): 조직의 목표와 직접적인 관련이 있어야 한다.

• 행동 가능성(Actionable): KPI의 변화에 따라 실행 전략을 수립할 수 있어야 한다.

• 이해 용이성(Understandable): 주요 이해관계자가 쉽게 이해할 수 있어야 한다.

예를 들어, “고객 만족도 증가”라는 KPI보다는 “월별 NPS(Net Promoter Score) 5점 이상 증가”처럼 구체적인 수치를 포함하는 것이 더 효과적이다.

2.2 핵심 KPI와 보조 KPI의 균형 맞추기

• 핵심 KPI(Key KPI): 비즈니스의 최종 목표를 직접적으로 반영하는 지표 (예: 매출, 고객 유지율, 신규 고객 수)

• 보조 KPI(Supporting KPI): 핵심 KPI에 영향을 미치는 요소를 측정하는 보조 지표 (예: 웹사이트 방문자 수, 장바구니 이탈률)

핵심 KPI만 추적하면 원인을 분석하기 어려워지고, 반대로 너무 많은 보조 KPI를 포함하면 분석이 복잡해진다. 따라서 핵심 KPI 3~5개를 설정하고, 이를 보조하는 KPI를 추가적으로 활용하는 전략이 효과적이다.

3) KPI 모니터링 및 피드백 루프 구축

KPI는 한 번 정하고 끝나는 것이 아니라, 지속적으로 모니터링하고 조정해야 한다.

• KPI의 변동이 큰 경우, 실시간 알림 시스템을 구축하여 신속한 대응이 가능하도록 한다.

• KPI가 기대한 방향으로 개선되지 않는다면, 분석 방식이나 데이터 소스를 점검해야 한다.

예를 들어, “고객 재방문율”을 KPI로 설정했는데 기대만큼 증가하지 않는다면, “첫 구매 이후 30일 내 재구매율”을 추가적으로 분석하여 문제점을 찾을 수 있다.

의견:

너무 많은 보조 KPI를 포함하면 분석이 복잡해진다 라는 말에 공감이 많이 갑니다.
일단 데이터가 한눈에 들어오지 않으면 사람들이 읽지 않게 되는 것 같습니다.
복잡한 콤보차트보다 오히려 월별 매출액 변화 같은 이해하기 쉬운 데이터가 한눈에 들어올 때
매출액이 6월에 갑자기 증가했네? 사용자수는 그대로인거 같은데 매출액이 왜이렇게 높아? 데이터가 잘못 된건가? 특정 사용자가 엄청 구매했나? 지난달에 무슨일 있었어요? 이런 질문이 먼저 들어오게 되는거 같습니다.
(이상하게 대시보드를 만든 후 질문이 들어오면 반갑더라고요)

데이터는 한눈에 이해가 가능해야 효과가 있는 것 같습니다. (KPI 이야기가 아닌거 같은....)

3. 사용자 중심의 대시보드 설계

대시보드는 데이터를 단순히 보여주는 것이 아니라, 사용자가 원하는 인사이트를 빠르게 얻을 수 있도록 설계해야 한다. 효과적인 대시보드 설계를 위해 고려해야 할 요소는 다음과 같다.

3.1. 데이터 시각화의 원칙 적용

대시보드는 한눈에 중요한 정보를 전달해야 하므로, 차트 유형과 디자인을 신중하게 선택해야 한다.

• 시간 흐름을 분석할 때 → 라인 차트

• 비교 분석이 필요할 때 → 바 차트

• 비율을 나타낼 때 → 도넛 차트, 파이 차트

• 트렌드 패턴을 분석할 때 → 히트맵

또한, 중요한 지표는 시각적으로 강조하고, 보조 지표는 서브 영역에 배치하여 가독성을 높이는 것이 좋다.

3.2. 맞춤형 필터 및 인터랙티브 기능 제공

대시보드를 사용하는 대상이 다양하다면, 사용자가 원하는 데이터만 볼 수 있도록 필터 기능을 제공해야 한다.

• 날짜 범위 선택

• 특정 카테고리별 데이터 필터링

• 지역, 연령대별 세분화

또한, 드릴다운(Drill-down) 기능을 제공하여 특정 지표를 클릭하면 더 상세한 분석 데이터가 나오도록 설계하면 사용성이 향상된다.

3.3. 실시간 데이터 vs. 배치 데이터 고려

• 실시간 대시보드는 빠른 의사 결정을 돕지만, 시스템 부하가 크다.

• 실시간이 필요 없는 경우, 특정 주기(예: 하루 1회, 1시간 단위)로 업데이트하는 것이 효율적이다.

예를 들어, “실시간 매출 현황”은 실시간 데이터가 필요하지만, “월별 고객 유지율”은 배치 처리 방식으로도 충분할 수 있다.

의견:

여기서도 사용자가 원하는 인사이트를 빠르게 얻을 수 있도록 설계라는 부분에 공감이 많이 갑니다.
사용자가 대시보드를 봤을 때 바로 정보를 얻을 수 있어야 자주 보게되고 추가 질문도 생기기에
중요한 정보가 적절한 차트로 보기 쉽게 제시되는게 제일 중요한 것 같습니다.

이후 그룹, 일자 별로 데이터를 볼 수 있는 차트나 필터 기능은 소수의 사용자만 사용하는 기능이고
먼저 데이터에 흥미가 생겨야 사용하는 기능이기에 한눈에 중요한 정보를 전달하는게 제일 중요하다고 생각합니다.

이외 신뢰할 수 있는 데이터 확보 ~ 보안과 개인정보 보호는 데이터 활용, 분석 보다는 엔지니어링이나 정책적인 부분에 가까운거 같아 제목과 GPT의 내용만 남겨봤습니다.

4. 신뢰할 수 있는 데이터 확보

데이터의 품질이 낮으면 분석의 신뢰도도 떨어진다. 이를 위해 데이터 수집 단계에서 다음 사항을 고려해야 한다.

• 데이터의 출처는 신뢰할 수 있는가?

• 데이터 정제 과정이 필요할까? (중복 제거, 오류 수정 등)

• 최신성과 정확성을 유지할 수 있는가?

5. 효율적인 데이터 추출 및 변환(ETL) 전략

데이터는 원본(raw) 형태로 존재하는 경우가 많으며, 분석 및 시각화를 위해 가공이 필요하다.

• ETL(Extract, Transform, Load) 프로세스를 어떻게 설계할 것인가?

• 처리 속도와 데이터 정합성을 고려해야 하는가?

• 자동화 가능한 부분은 어떤 것인가?

6. 실시간 데이터 vs 배치 데이터 고려

대시보드를 실시간으로 운영할지, 일정 주기로 업데이트할지 결정해야 한다.

• 실시간 데이터가 필요한 경우, 시스템 부하와 성능을 고려했는가?

• 배치 처리로 충분한 경우, 적절한 주기를 설정했는가?

• 데이터 갱신이 사용자의 의사 결정에 어떤 영향을 미치는가?

7. 확장성과 유지보수성 고려

데이터 분석과 대시보드는 한 번 만들어서 끝나는 것이 아니라 지속적으로 유지·보수해야 한다.

• 데이터 증가에 대비한 확장성을 고려했는가?

• 유지보수하기 쉬운 구조로 설계되었는가?

• 새로운 요구사항이 발생했을 때 쉽게 추가할 수 있는

8. 보안과 개인정보 보호

데이터에는 민감한 정보가 포함될 수 있으므로 보안 정책을 고려해야 한다.

• 데이터 접근 권한을 적절히 설정했는가?

• 개인정보 보호법(GDPR, CCPA 등)에 위배되지 않는가?

• 데이터 암호화 및 익명화를 고려했는가?

결론

효과적인 데이터 분석과 대시보드 제작을 위해서는 분석 목표를 명확히 설정하고, KPI를 전략적으로 선정하며, 사용자 친화적인 대시보드를 설계하는 것이 핵심이다. 이를 통해 단순한 데이터 수집을 넘어, 실제 의사 결정에 도움이 되는 인사이트를 제공할 수 있다.

이제 훨씬 더 정리된 느낌이야. 혹시 더 다듬고 싶은 부분이 있으면 말해줘!

[데이터 중심 애플리케이션 설계] 3장 저장소와 검색

엔지니어- — Sun, 23 Feb 2025 17:34:07 +0900

데이터 중심 애플리케이션 설계

데이터는 오늘날 시스템을 설계할 때 마주치는 많은 도전 과제 중에서도 가장 중심에 있다. 확장성, 일관성, 신뢰성, 효율성, 유지보수성과 같은 해결하기 어려운 문제를 파악해야 할 뿐 아니라 관계형 데이터베이스, NoSQL 데이터스토어, 스트림 처리자 또는 일괄 처리 처리자, 메시지 브로커 등을 포함한 도구의 다양성에 압도된다. 어떤 선택이 애플리케이션에 적합한가? 이 유행어들을 얼마나 이해하고 있는가? 마틴 클레프만은 이 실용적이고 포괄적인

저자: 마틴 클레프만

출판: 위키북스

출판일: 2018.04.12

2년 전에 데이터 중심 애플리케이션 설계 책으로 스터디를 진행했던 적이 있습니다.

얼마 전에 글또 슬랙에서 데이터 중심 애플리케이션 설계 책을 읽는 스터디가 있길래
2년 전에 책 내용의 한 30%정도 이해하고 넘어갔던 것 같은데
조금 더 경험이 쌓인 지금은 책의 내용이 더 와닿고 실무에 사용할 것도 많지 않을까 하는 기대에 스터디에 신청하게 됐습니다.

이번에 읽고 간단히 적어보는 요약

데이터저장소

데이터를 저장하고
데이터를 읽는 것이 핵심 역할

로그의 경우 다시보게될 확률이 낮음

대게 문제가 있는 경우에만 보게됨, 일단 Append Only로 빠르게 쌓는게 합리적일 수 있음
Append Only는 그냥 데이터를 추가로 저장하면 되기에 쓰기 처리량이 매우 높음

트랜잭션 데이터의 경우 다시보게될 확률이 높음

따라서 쓰기 성능만 보는 것이 아니고 읽기 성능도 많이 신경써야함

LSM 기반의 저장소가 대두된 이유? (추측: 쓰기 + 읽기가 모두 빨라야하는 서비스에서 쓰기가 병목이 되는 경우가 발생함)

LSM 방식은 결국 뒷단에서 컴팩션을 해줘야함
때때로 많은 세그먼트의 데이터를 읽어야하거나, 컴팩션 도중에 데이터를 조회하면 조회속도가 매우 느릴 수 있음
반면, 페이지 방식의 데이터 저장은 일관된 읽기 속도를 보임

분석 데이터는 조회하는 패턴이 트랙잭션 데이터와는 또 다름

조회하는 Rows는 많고 전체 Column을 조회하는 경우는 거의 없음
따라서 Column 단위로 데이터를 압축해서 디스크에 저장하면 I/O를 최소화할 수 있음

select
    month
    , product_name
    , sum(quantity) as quantity
from fact_orders
group by month, product_name 
order by month, quantity desc

분석 조회 패턴에 맞게 컬럼 지향으로 데이터를 저장하면 잇점을 가질 수 있음
데이터 분석 수요가 많다면 별도 저장소를 가져갈만함
단 추가적인 관리포인트와 비용이 발생하니 기존 데이터저장소에서 충분히 분석이 가능하다면 필수는 아닌..

(아래는 2년 전에 데이터 중심 애플리케이션 설계책으로 스터디를 하며 준비했던 내용을 요약한 내용입니다.)

스터디 자료 원문 링크: https://github.com/Learning-Is-Vital-In-Development/23-11-DesigningDataIntensiveApplications/blob/main/w04/jongmin.md

23-11-DesigningDataIntensiveApplications/w04/jongmin.md at main · Learning-Is-Vital-In-Development/23-11-DesigningDataIntensive

Contribute to Learning-Is-Vital-In-Development/23-11-DesigningDataIntensiveApplications development by creating an account on GitHub.

github.com

1. 데이터베이스의 기본 역할과 저장소 엔진 선택

• 데이터베이스는 (1) 데이터를 저장하고 (2) 데이터를 제공하는 것이 핵심 역할.

• 애플리케이션 개발자는 서비스의 작업 부하(Workload)에 맞는 저장소 엔진을 선택해야 함.

• 트랜잭션(OLTP)과 분석(OLAP)에 최적화된 엔진이 다르므로, 적절한 선택이 필요.

• 저장소 엔진의 성능을 최적화하려면 내부 동작을 이해해야 함.

2. 데이터 저장 방식

데이터 저장 방식에는 크게 Log-Structured(로그 구조화) 방식과 Page-Oriented(B-Tree) 방식이 있음.

(1) Log-Structured 방식

• Append-Only (추가 전용) 저장 방식으로 데이터를 계속 추가.

• 데이터 변경이 없으며, 컴팩션(compaction) 과정을 통해 중복 제거 및 최적화 수행.

• 쓰기 속도가 빠르고, 장애 복구가 간단.

• 그러나 데이터 검색 시 비효율적일 수 있으며, 읽기 속도가 느려질 가능성이 있음.

(2) Page-Oriented (B-Tree) 방식

• 저장소를 고정 크기 페이지 단위로 나누고 데이터를 업데이트할 때 해당 페이지를 갱신.

• 색인(Index) 구조를 활용하여 검색 속도가 빠름.

• 그러나 쓰기 성능이 비교적 느릴 수 있음(특히 WAL, Write-Ahead Logging 방식 사용 시).

3. 데이터베이스를 강력하게 만드는 데이터 구조

(1) 인덱스 (Index)

• 인덱스는 기존 데이터에서 파생된 추가적인 데이터로, 읽기 속도를 빠르게 하는 역할.

• 그러나 인덱스를 갱신하는 추가 작업이 필요하므로 쓰기 속도를 늦출 수 있음.

(2) 해시 색인 (Hash Index)

• Key-Value 형태로 색인하며, 메모리에 유지.

• 단점: 메모리 사용량이 많고, 범위 검색(Range Query)이 어려움.

(3) SS-테이블 & LSM 트리

• SS-테이블(Sorted String Table): 데이터를 키 순서로 정렬한 데이터 구조.

• LSM(Log-Structured Merge) 트리는 SS-테이블을 기반으로 쓰기 성능을 향상시키는 저장소 방식.

• LSM 방식의 예시: LevelDB, RocksDB, Cassandra, HBase 등.

(4) B-Tree

• 전통적으로 가장 많이 사용되는 색인 구조.

• 데이터를 고정 크기 페이지로 관리하며, 읽기 성능이 뛰어남.

• 그러나 쓰기 연산 시 페이지 갱신이 필요하므로 쓰기 속도가 상대적으로 느릴 수 있음.

4. B-Tree vs. LSM 트리 비교

특성	B-Tree	LSM-Tree
쓰기 속도	느림 (기존 페이지 갱신 필요)	빠름 (Append-Only + 컴팩션)
읽기 속도	빠름 (즉시 검색 가능)	가변적 (여러 SS-테이블 조회 필요)
디스크 I/O	페이지 덮어쓰기로 I/O 부담 있음	순차적 쓰기로 I/O 부담 적음
컴팩션 필요 여부	없음	있음 (백그라운드에서 수행)
사용 예시	MySQL, PostgreSQL	Cassandra, LevelDB, RocksDB

• B-Tree는 읽기 성능이 뛰어나며, OLTP(트랜잭션 시스템)에 적합.

• LSM-Tree는 쓰기 성능이 뛰어나며, 로그 구조 기반 데이터베이스에 적합.

5. 트랜잭션 처리(OLTP) vs. 분석 시스템(OLAP)

OLTP (Online Transaction Processing)

• 트랜잭션 처리 시스템으로, 낮은 지연시간의 읽기/쓰기가 핵심.

• 인덱스를 활용하여 소량의 데이터를 빠르게 조회하는 것이 중요.

• 예: MySQL, PostgreSQL

OLAP (Online Analytical Processing)

• 분석 시스템으로, 대량의 데이터를 조회하여 집계하는 것이 핵심.

• 수많은 레코드를 읽고 연산해야 하므로 디스크 대역폭이 병목이 됨.

• 데이터 웨어하우스에서 주로 사용.

• 예: Amazon Redshift, Google BigQuery, Snowflake

특성	OLTP (트랜잭션)	OLAP (분석)
주요 읽기 패턴	적은 수의 레코드 조회 (Key 기반)	대량의 레코드 집계
주요 쓰기 패턴	임의 접근(랜덤) 쓰기	대규모 일괄 쓰기 (ETL)
사용 사례	웹 애플리케이션	비즈니스 분석, 데이터 마이닝
데이터 크기	기가바이트 ~ 테라바이트	테라바이트 ~ 페타바이트

6. 컬럼 지향 저장소 (Column-Oriented Storage)

• 행(Row)-지향 저장소는 한 행의 모든 컬럼을 함께 저장 → OLTP에 적합.

• 컬럼(Column)-지향 저장소는 컬럼별로 데이터를 저장 → OLAP에 적합.

컬럼 지향 저장소의 장점

• 필요한 컬럼만 읽으면 되므로 디스크 I/O가 줄어듦.

• 같은 컬럼의 값들은 유사한 패턴을 가지므로 압축 효율이 높음.

• 예: Amazon Redshift, ClickHouse, Apache Parquet, Google BigQuery

7. 최적화 기법

(1) 컬럼 압축

• 컬럼 데이터는 비슷한 값이 많기 때문에 RLE(Run-Length Encoding), 비트맵 인덱싱 등을 활용해 압축 가능.

• 압축된 데이터는 CPU 캐시에 효율적으로 로드되어 분석 성능 향상.

(2) 정렬 (Sort Key)

• 컬럼 저장소에서는 특정 컬럼을 기준으로 정렬하면 범위 조회가 훨씬 빨라짐.

• 정렬된 데이터는 압축률도 높아짐.

(3) 집계 및 캐싱

• 자주 사용되는 질의를 미리 집계하여 저장하는 구체화 뷰(Materialized View) 사용.

• 데이터 큐브(Data Cube)를 활용해 다차원 분석을 수행.

8. 정리

(1) 저장소 엔진은 OLTP vs. OLAP에 따라 선택해야 함

• OLTP: 빠른 랜덤 접근 & 인덱스 활용 → B-Tree 기반 엔진 사용

• OLAP: 대량 데이터 분석 & 디스크 대역폭 최적화 → 컬럼 지향 저장소 사용

(2) 로그 구조화 vs. 제자리 갱신 저장소

• 로그 구조화 저장소 (LSM-Tree): 쓰기 성능이 뛰어나며, 로그 기반 데이터 저장.

• 사용 예시: LevelDB, RocksDB, Cassandra, HBase

• 제자리 갱신 저장소 (B-Tree): 빠른 읽기 성능, 페이지 기반 저장.

• 사용 예시: MySQL, PostgreSQL

(3) 컬럼 저장소는 분석용 데이터베이스에 적합

• OLAP 시스템에서는 컬럼 지향 저장 방식 + 압축 + 정렬 최적화를 활용.

• 컬럼 저장소는 데이터 웨어하우스, 빅데이터 분석 환경에서 필수적.

이 요약을 보면 B-Tree vs. LSM-Tree, OLTP vs. OLAP, 컬럼 지향 저장소의 핵심 원리를 한눈에 정리할 수 있습니다.

쇼핑몰 별 실시간 접속자 추적 하기(feat. Redis ZSET)

엔지니어- — Sun, 2 Feb 2025 23:04:41 +0900

저희 회사는 셀러가 자사몰을 쉽게 만들고 상품을 판매할 수 있도록 있도록 홈페이지 빌더 서비를 제공하고 있습니다.

때때로 셀러들이 현재 자사몰에 접속 중인 유저가 몇 명인지 궁금해하는 경우가 있어 쇼핑몰별 실시간 접속자 수를 가져오는 코드를 테스트해봤습니다.

- 실시간 접속자는 최근 30분 이내 접속한 유저로 정의했습니다.

✅ 구현 목표

셀러의 자사몰별로 접속자 추적: 개별 셀러 페이지에 접속한 유저를 Redis에 저장
30분 기준 세션 관리: 30분이 지난 유저 세션을 자동 삭제
API를 통해 실시간 접속 유저 조회
기술 스택: Vue (Frontend) + Node.js (Backend) + Redis
Test Code Link (GitHub)

(테스트 결과 샘플)

ABCShop에 방문

(왼쪽: Redis, 오른쪽: Active user 가져오기): 최근 30분 동안 ABCShop에 4명의 유저가 접속

테스트 개요

Redis의 Sorted Set (ZSET)을 활용하여 실시간 접속자 수를 관리

✔ 유저가 자사몰에 접속하면 session_id를 발급
✔ Redis ZSET(active_users:sellerId)에 session_id와 timestamp를 저장

(POST /track-active-users)

✔ 30분이 지난 유저 세션은 삭제 (접속자 목록을 조회하는 시점에 삭제)
✔ API를 호출하여 현재 접속자 목록을 확인 가능
(GET /get-active-users/:sellerId)

1. Backend (Node.js + Express + Redis)

✅ 주요 기능

POST /track-active-users → 유저 접속 기록을 Redis에 저장
GET /get-active-users/:sellerId → 최근 30분 내 접속한 유저 목록 조회
ZSET(ZADD, ZREMRANGEBYSCORE, ZRANGEBYSCORE)을 활용하여 유저 관리

server.ts (Backend 코드)

import express, { Request, Response, Application } from "express";
import cors from "cors";
import { createClient } from "redis";
import dotenv from "dotenv";

dotenv.config(); // .env 환경 변수 로드

const app: Application = express(); // ✅ Application 타입 지정
app.use(express.json()); // JSON 요청을 처리하기 위한 미들웨어 추가
app.use(cors());

//   Redis 클라이언트 설정 (비밀번호 포함)
const redisClient = createClient({
  url: `redis://:${process.env.REDIS_PASSWORD}@${process.env.REDIS_HOST}:${process.env.REDIS_PORT}`, // Redis 인증 추가
});

redisClient.on("error", (err) => console.error("Redis error:", err));

(async () => {
  try {
    await redisClient.connect();
    console.log("✅ Connected to Redis");
  } catch (err) {
    console.error("❌ Redis connection failed:", err);
  }
})();

//   요청 데이터 타입 정의
interface TrackActiveUsersRequest {
  sellerId: string;
  sessionId: string;
}

//   방문자 추적 API (타입 오류 해결)
app.post(
  "/track-active-users",
  async (req: Request<{}, {}, TrackActiveUsersRequest>, res: Response): Promise<void> => {
    try {
      const { sellerId, sessionId } = req.body;

      //   요청 데이터 유효성 검사
      if (typeof sellerId !== "string" || typeof sessionId !== "string") {
        res.status(400).json({ error: "Invalid sellerId or sessionId" });
        return;
      }

      const now = Math.floor(Date.now() / 1000); // 현재 타임스탬프 (초 단위)

      //   Redis ZSET에 추가 (배열 형식 사용)
      await redisClient.zAdd(`active_users:${sellerId}`, [
        { score: now, value: sessionId },
      ]);

      res.json({ message: "User tracked successfully" });
    } catch (error) {
      console.error("❌ Error tracking active users:", error);
      res.status(500).json({ error: "Internal server error" });
    }
  }
);

//   요청 데이터 타입 정의
interface SellerRequest {
  sellerId: string;
}

//   최근 30분 내 접속 유저 가져오는 API
app.get("/active-users/:sellerId", async (req: Request<SellerRequest>, res: Response): Promise<void> => {
  try {
    const { sellerId } = req.params;

    if (!sellerId) {
      res.status(400).json({ error: "Missing sellerId" });
      return;
    }

    const now = Math.floor(Date.now() / 1000); // 현재 타임스탬프 (초 단위)
    const cutoffTime = now - 1800; // 30분 전 시간 계산

    //   1️⃣ 30분이 지난 유저 삭제
    await redisClient.zRemRangeByScore(`active_users:${sellerId}`, 0, cutoffTime);

    //   2️⃣ 최근 30분 내 접속한 유저 목록 가져오기
    const activeUsers = await redisClient.zRangeByScore(`active_users:${sellerId}`, cutoffTime, now);

    res.json({ sellerId, activeUsers, count: activeUsers.length });
  } catch (error) {
    console.error("❌ Error fetching active users:", error);
    res.status(500).json({ error: "Internal server error" });
  }
});

//   서버 실행
const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`  Server running on http://localhost:${PORT}`);
});

2. Frontend (Vue)

✅ 주요 기능

페이지 접속 시 session_id 발급 (로컬 스토리지에 저장)
유저가 셀러 페이지에 방문하면 서버에 접속 정보 전송

SellerPage.vue (Frontend 코드)

<script setup>
import { onMounted } from "vue";
import { useRoute } from "vue-router";
import { v4 as uuidv4 } from "uuid";

const route = useRoute();
const sellerId = route.params.sellerId;

onMounted(() => {
  let sessionId = localStorage.getItem("session_id");

  if (!sessionId) {
    sessionId = uuidv4();
    localStorage.setItem("session_id", sessionId);
  }

  fetch("http://localhost:3000/track-active-users", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ sellerId, sessionId }),
  });
});
</script>

<template>
  <div>
    <h2>Welcome to {{ sellerId }}'s Shop</h2>
    <p>Tracking your visit...</p>
  </div>
</template>

사용한 REDIS ZSET (Sorted Set) 명령어 정리

Redis ZSET을 이용하니 생각보다 간단하게 실시간 접속자를 추적할 수 있었고 아래에 사용한 Redis ZSET 명령어를 정리해 봤습니다.

- ZSET 특징: 집합의 멤버들이 Score순으로 자동 정렬되고 O(N)이 아닌 O(log N + M) → 탐색(log N) + 삭제 개수(M)의 효율적인 시간복잡도로 멤버를 삭제할 수 있습니다.

기능	Redis 명령어	명령어 샘플	설명
유저 접속 기록 저장	ZADD	ZADD active_users:ABCShop 1717215600 "session_123"	유저 세션을 ZSET에 저장
30분이 지난 유저 삭제	ZREMRANGEBYSCORE	ZREMRANGEBYSCORE active_users:ABCShop 0 {current_timestamp - 1800}	30분 이전 데이터 삭제
최근 30분 접속자 조회	ZRANGEBYSCORE	ZRANGEBYSCORE active_users:ABCShop {current_timestamp - 1800} {current_timestamp}	특정 시간 범위의 유저 조회

ZSET으로 저장된 데이터 샘플: 집합의 멤버들이 Score순으로 자동 정렬됩니다.

상세 코드 링크도 아래에 남깁니다.

혹시 테스트하고 싶은 분들은 편하게 사용하세요.
GitHub: https://github.com/menthamin/live-user-monitor

GitHub - menthamin/live-user-monitor

Contribute to menthamin/live-user-monitor development by creating an account on GitHub.

github.com

Github

Last Name으로도 고객 이름 검색이 가능하도록 하기 (Elasticsearch, Opensearch)

엔지니어- — Sun, 5 Jan 2025 23:58:57 +0900

Opensearch에 저장된 고객 데이터를 이름으로 검색할 때

대소문자 구분없이 First, Last Name으로 검색이 가능해야하는 요구사항이 생겼습니다.

(요구사항 예시)

David Buss와 같은 이름이 있을 때

da, dav, davi, david, David 그리고 bu, bus, buss, Buss 로 검색했을 때 David Buss라는 고객이 나와야 합니다.

가장 간단하게는 기존 데이터를 리인덱싱하지 않고 wildcard를 이용해 *bus*와 같이 조회 하는 것도 방법이었습니다.

wildcard로 시간이 얼마나 걸리는지 확인해보니 고객이 많은 고객사의 경우 500ms ~ 1000ms (0.5~1초)까지 걸리는 것을 확인했습니다. 기존 prefix 매치 형태는 20ms면 조회가 가능했었는데 말이죠..

고객 검색에 1초가 소요되어도 사용하지 못할 응답속도는 아니니 wildcard로 해결해도 될 것 같았지만 ES에 고객 검색용 Index외에도 상품, 주소 등의 Index도 저장되어 있기에 wildcard 검색이 아닌 다른 방식을 찾아보기로 했습니다.

Wildcard 검색 대신 ngram으로 인덱싱 적용

목표:
First, Last Name으로 구성된 David Buss와 같은 이름이 있을 때

대소문자 구분없이 First, Last Name으로 검색가능하게 하기

위처럼 인덱싱하기 위해 name 저장 시 인덱싱 방법(analyzer)에 edge_ngram을 적용했고 2글자 이상부터 검색가능하도록 하기위해 min_gram은 2로 설정했습니다.

검색할때는 Space 기준으로 문자를 나눠서 검색하도록 했습니다. (search_analyzer: whitespace_analyzer)

결과적으로 아래 스크린샷(kibana: dev tools) 처럼 검색이 잘되는 것을 확인할 수 있었습니다.

Kibana: 웹 GUI에서 Elasticsearch의 데이터를 조작/조회하고 대시보드를 생성할 수 있는 툴

로컬에서 테스트를 해보고 싶은 분들은 아래 github 링크를 참고해주세요.
- https://github.com/menthamin/code-snippets/tree/main/elk/search

(테스트 방법)

1. docker-compose.yml으로 es와 kibana를 띄우고

2. text 디텍토리의 create-index.md를 kibana dev tools에서 실행해 인덱스를 생성한 후

3. add-documents.py로 샘플 데이터를 넣고 조회 테스트를 해볼 수 있습니다.

인덱스 매핑 예시

PUT /people-new
{
  "settings": {
    "analysis": {
      "filter": {
        "edge_ngram_filter": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 20
        }
      },
      "analyzer": {
        "edge_ngram_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "edge_ngram_filter"
          ]
        },
        "whitespace_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "edge_ngram_analyzer",
        "search_analyzer": "whitespace_analyzer",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      }
    }
  }
}

인덱스 설정에 대해 설명은 GPT에서 받은 응답을 아래에 남겨봤습니다.

2줄 요약

- edge_ngram_filter로 인덱싱했다 (analyzer)

- 띄어쓰기(whitespace)로 검색어를 쪼개서 검색하도록 했다. (search_analyzer)

1. 인덱스 설정(Settings) 설명

a. Analysis Settings

Analysis 설정은 텍스트 데이터를 어떻게 분해하고 처리할지를 정의합니다. 여기서는 두 가지 주요 구성 요소인 필터(Filters)와 분석기(Analyzers)가 설정되어 있습니다.

i. Filters

"filter": { "edge_ngram_filter": { "type": "edge_ngram", "min_gram": 2, "max_gram": 20 } }

edge_ngram_filter:

Type: edge_ngram
- 텍스트의 시작 부분에서부터 일정한 길이의 부분 문자열을 생성합니다.
Parameters:
- min_gram: 2
  - 최소 2자의 n-그램을 생성합니다.
- max_gram: 20
  - 최대 20자의 n-그램을 생성합니다.

용도: 사용자가 입력한 검색어의 접두사(prefix)에 기반하여 부분 일치 검색을 가능하게 합니다. 예를 들어, "David"라는 단어는 "Da", "Dav", "Davi", "David"와 같은 n-그램으로 분해됩니다.

ii. Analyzers

"analyzer": {
  "edge_ngram_analyzer": {
    "type": "custom",
    "tokenizer": "standard",
    "filter": [
      "lowercase",
      "edge_ngram_filter"
    ]
  },
  "whitespace_analyzer": {
    "type": "custom",
    "tokenizer": "whitespace",
    "filter": [
      "lowercase"
    ]
  }
}

edge_ngram_analyzer:
- Type: custom
- Tokenizer: standard
  - 표준 토크나이저를 사용하여 텍스트를 단어 단위로 분리합니다.
- Filters:
  - lowercase: 모든 토큰을 소문자로 변환합니다.
  - edge_ngram_filter: 위에서 정의한 edge n-gram 필터를 적용합니다.
용도: 인덱싱 시 텍스트를 분석하여 부분 일치 검색을 지원합니다. 예를 들어, "David Buss"라는 이름은 "david"와 "buss"로 분리된 후, 각각의 단어에 edge n-gram 필터가 적용됩니다.
whitespace_analyzer:
- Type: custom
- Tokenizer: whitespace
  - 공백을 기준으로 텍스트를 단어 단위로 분리합니다.
- Filters:
  - lowercase: 모든 토큰을 소문자로 변환합니다.
용도: 검색 시 입력된 검색어를 분석하여 정확한 일치 및 부분 일치를 지원합니다. 이 분석기는 인덱싱 시 사용된 edge n-gram 분석기와는 별도로 동작합니다.

b. Why Use Separate Analyzers for Indexing and Searching?

Indexing Analyzer (edge_ngram_analyzer):
- 텍스트를 다양한 길이의 n-그램으로 분해하여 인덱싱합니다.
- 이는 사용자가 입력하는 검색어의 일부와 일치하는 문서를 빠르게 찾을 수 있게 합니다.
Search Analyzer (whitespace_analyzer):
- 검색어를 단순히 소문자로 변환하고 공백을 기준으로 분리합니다.
- 복잡한 n-gram 분석 없이도 효율적인 검색을 가능하게 합니다.

2. 매핑(Mappings) 설명

"mappings": {
  "properties": {
    "name": {
      "type": "text",
      "analyzer": "edge_ngram_analyzer",
      "search_analyzer": "whitespace_analyzer",
      "fields": {
        "keyword": {
          "type": "keyword",
          "ignore_above": 256
        }
      }
    }
  }
}

a. name 필드 설정

Type: text
- 텍스트 분석 및 전체 텍스트 검색을 지원합니다.
Analyzer: edge_ngram_analyzer
- 인덱싱 시 텍스트를 edge n-gram을 사용하여 분해합니다.
- 예: "David Buss" → "david", "buss" → 각 단어에 edge n-gram 적용 → "da", "dav", "davi", "david", "bu", "bus", "buss"
Search Analyzer: whitespace_analyzer
- 검색 시 입력된 검색어를 공백을 기준으로 분리하고 소문자로 변환합니다.
- 예: "David Buss" → "david", "buss"
Fields:
- keyword:
  - Type: keyword
    - 분석되지 않은 원시 데이터를 저장합니다.
    - 정확한 일치 검색을 지원합니다.
  - ignore_above: 256
    - 256자를 초과하는 텍스트는 이 필드에 인덱싱되지 않습니다.
용도:
- name.keyword 필드는 정확한 일치 검색을 위해 사용됩니다.
- 예: 사용자가 전체 이름을 정확히 입력했을 때, 해당 문서를 빠르게 찾을 수 있습니다.

b. Multi-Field (다중 필드) 활용

name 필드는 text 타입으로 분석되어 부분 일치 검색에 최적화되어 있습니다.
name.keyword 서브 필드는 keyword 타입으로 설정되어 정확한 일치 검색에 사용됩니다.

이와 같은 다중 필드 설정을 통해, 동일한 데이터에 대해 여러 검색 전략을 적용할 수 있습니다.

3. 이 설정이 검색에 미치는 영향

a. 인덱싱 과정

   POST /people-new/_doc
   {
     "name": "David Buss"
   }

문서 삽입(위 POST 코드)
edge_ngram_analyzer 적용:
- name 필드: "David Buss" → "david", "buss" → 각 단어에 edge n-gram 적용 → "da", "dav", "davi", "david", "bu", "bus", "buss"
- name.keyword 필드: "david buss" (소문자로 변환됨)
인덱싱된 토큰:
- name:
  - "da", "dav", "davi", "david", "bu", "bus", "buss"
- name.keyword:
  - "david buss"

b. 검색 과정

i. match 쿼리 사용 시

GET /people-new/_search
{
  "query": {
    "match": {
      "name": "Dav"
    }
  }
}

검색어 분석:
- "Dav"는 whitespace_analyzer에 의해 소문자로 변환되고 단어로 분리 → "dav"
매칭 과정:
- 인덱스에 저장된 n-그램 중 "dav"와 일치하는 문서를 찾습니다.
- "David Buss"의 "david" 토큰 중 "dav"와 일치하여 해당 문서를 반환합니다.

ii. term 쿼리 사용 시

GET /people-new/_search
{
  "query": {
    "term": {
      "name.keyword": "david buss"
    }
  }
}

검색어 분석:
- term 쿼리는 분석되지 않은 정확한 값을 요구합니다.
- "david buss"와 정확히 일치하는 문서를 찾습니다.

Git Commit 전에 컴파일 에러 체크하기 (Serverless Framework, TypeScirpt)

엔지니어- — Sun, 22 Dec 2024 22:57:32 +0900

Husky라는 Git hooks 설정 npm 패키지를 이용해 commit 전에 컴파일 에러를 체크하는 방법입니다.

- Git hooks: git commit, git push와 같은 git 명령어가 실행되기 전/후에 자동으로 실행되는 스크립트를 설정하는 기능

1. 문제 상황

Main 브랜치에 코드가 머지되면 Serverless Framework 배포가 일어나는데 Lambda함수 코드의 컴파일 에러 때문에 배포에 실패하는 경우가 있었습니다.
Commit 전에 Lambda 함수 코드에 컴파일 에러가 없는지 체크해 머지 이후 배포 실패를 막으려고 합니다.

2. 해결 방법

Git Hooks 자동화 라이브러리인 Husky를 이용해 Commit 전에 컴파일을 체크합니다.
- Git Hooks(다시 한번..): git commit, git push와 같은 git 명령어가 실행되기 전에 또는 후에 자동으로 실행되는 스크립트를 설정하는 기능

3. 결과

4. 실행 흐름과 상세 코드

4.1. 실행 흐름

1. git commit 명령어를 실행하면 Husky는 pre-commit 훅을 호출합니다.
2. pre-commit 훅은 npm run test 명령어를 실행하여 로컬에서 tsc --noEmit를 시작합니다.
- tsc --noEmit는 타입스크립트 파일을 컴파일하여 타입 오류를 검사하는 명령어로, 실제 출력 파일을 생성하지 않고 타입 검사를 진행
3. tsc --noEmit 명령어가 성공적으로 실행되면 Commit이 되고 명령어가 실패하면 Commit에 실패합니다.

4.2. 상세 코드

package.json 파일과 .husky/pre-commit 파일 2개만 간단히 설정해 주면 됩니다.

1. package.json 설정

   {
     "scripts": {
	    "type-check": "tsc --noEmit",  // TS -> JS 컴파일 명령어 (실제 파일은 생성하지 않음)
   		"test": "npm run type-check"
     }
   }

2. husky 설치 및 pre-commit 설정

husky 설치 및 init

# husky 설치
npm install husky --save-dev

# husky 활성화
npx husky install

# husky init (.husky 폴더가 생성됩니다)
npx husky init

husky/pre-commit 파일에 커밋 전에 실행될 명령어 설정

# 커밋 명령어 실행전에 package.json에서 정의한 test 스크립트를 실행합니다.
npm run test

(코드 링크)

.husky/pre-commit, packag.json 파일 수정

5. 나아가서

테스트 코드가 있다면 테스트 프레임워크인 Jest와 연동해 Pre-Commit 전에 Jest 코드가 실행되게 하면 좋을 것 같습니다.

참고자료

1. hodu님 블로그, 효율적인 개발환경을 위한 Git Hooks, Husky, 그리고 lint-staged

2. 부지런한 배짱이님 블로그, [개발자로 협업하기] husky로 git hook 적용하기

3.CHAT GPT

TypeScript로 AWS Lambda 배포하는 과정 단계별로 살펴보기 (With Serverless Framework)

엔지니어- — Sun, 24 Nov 2024 22:57:26 +0900

회사에서 TypeScript로 AWS Lambda를 배포해 여러 서비스를 운영하고 있습니다.
회사에는 시니어 분들이 만든 CDK 기반 배포 라이브러리와 템플릿 그리고 참고할 수 있는 여러 코드들이 있기에 Lambda를 배포하고 유지보수하는 것은 문제가 없었습니다.
하지만 TypeScript로 Lambda를 배포할 때 발생하는 컴파일, 번들링 과정 등에 대해서는 이해가 부족했던 것 같습니다.
이번에 Serverless Framework로 AWS Lambda를 배포하는 코드를 리뷰하며 컴파일, 번들링 과정에 대해 배울 수 있었습니다.

배포 프로세스 및 결과

배포 프로세스

graph TD
    A[Step 1: TypeScript Compilation] --> B[Step 2: ESBuild Bundling]
    B --> C[Step 3: Packaging into ZIP Files]
    C --> D[Step 4: Upload ZIP Files to S3]
    D --> E[Step 5: Generate CloudFormation Stack]
    E --> F[Step 6: Deploy AWS Resources]
    F --> G[Step 7: Service Deployed]

    subgraph Deployment Process
        A -->|Compile TS to JS| B
        B -->|Optimize, Minify| C
        C -->|ZIP each function| D
        D -->|Add to S3 & Refer in Template| E
        E -->|Create Lambda, API Gateway| F
    end

배포 결과

아래 코드를 클론해서 AWS에 직접 2개 Lambda함수와 API Gateway를 배포해볼 수 있습니다.
git clone https://github.com/menthamin/serverless-sample.git

배포 샘플 코드: https://github.com/menthamin/serverless-sample

CloudFormation 스택과 리소스

get-sum Lambda: lib/math.ts에 존재하던 ulid 패키지가 get-sum.js 파일에 번들링 되었습니다.

AWS Lambda 배포 단계별 상세 설명(TypeScript 프로젝트)

1. TypeScript 컴파일

목적: TypeScript로 작성된 소스 코드를 JavaScript로 변환.
작업 내용:
1. tsconfig.json 설정에 따라 컴파일.
  - outDir 경로에 컴파일 결과 저장
2. 컴파일로 생성된 JavaScript 파일이 번들링 대상이 됨.
주요 요소:
- TypeScript → JavaScript 변환.
- 디버깅용 sourcemap 파일 생성 여부 (sourcemap: false 설정).

2. 번들링

목적: ESBuild를 사용해 함수와 관련된 코드 및 의존성을 최적화하여 하나로 묶음.
작업 내용:
1. 각 함수(get-hello, get-sum)와 관련된 파일과 의존성을 묶음.
2. 사용하지 않는 코드를 제거(Tree Shaking).
3. 코드 최소화(minify: false): true로 지정하면 Javascript코드가 1행으로 표현이 되어 코드 용량은 최소화되지만 읽기가 불편해짐.
주요 요소:
- build.esbuild.bundle: true: 번들링 활성화 (serverless framework 4버전 이전에는 플러그인으로 제공되었는데 4버전 이후 부터는 내장으로 제공되고 기본 활성화라고 합니다)

3. 패키징

목적: 각 Lambda 함수를 독립적인 ZIP 파일로 생성.
작업 내용:
1. 번들링된 파일과 관련 리소스를 ZIP으로 압축.
2. 각 함수별로 독립적인 ZIP 파일 생성(package.individually: true).
3. ZIP 파일은 .serverless/ 디렉터리에 저장.
주요 요소:
- ZIP 파일 이름 예시:
  - serverless-sample-dev-get-hello.zip
  - serverless-sample-dev-get-sum.zip

4. S3 업로드

목적: 생성된 ZIP 파일을 AWS S3 버킷에 업로드.
작업 내용:
1. S3에 ZIP 파일 업로드.
2. 업로드된 파일의 경로는 CloudFormation 템플릿에 저장.
주요 요소:
- S3 배포 버킷(자동 생성 또는 직접 설정).
- ZIP 파일 경로.

5. CloudFormation 스택 생성

목적: Serverless Framework가 AWS 리소스를 자동으로 생성.
작업 내용:
1. Lambda 함수와 API Gateway 설정.
2. IAM 역할, 로그 그룹, CloudWatch 리소스 생성.
3. 업로드된 ZIP 파일 경로를 참조하여 Lambda 함수 배포.
주요 요소:
- Lambda 함수 정의: get-hello, get-sum.
- API Gateway 경로: /hello, /sum.

6. 배포 결과

목적: 생성된 Lambda 함수와 API Gateway 호출 URL 제공.
작업 내용:
1. serverless deploy 명령 결과를 출력.
2. API 호출 경로 제공.
주요 요소:
- API URL:
  - /hello: get-hello Lambda 함수 호출.
  - /sum: get-sum Lambda 함수 호출.
- 배포 상태 및 로그.

Deploying "serverless-sample" to stage "dev" (ap-northeast-2)
Uploading CloudFormation file to S3
Uploading State file to S3
Uploading service serverless-sample-get-hello.zip file to S3 (890 B)
Uploading service serverless-sample-get-sum.zip file to S3 (3.19 kB)
  UPDATE_IN_PROGRESS - AWS::CloudFormation::Stack - serverless-sample-dev
  UPDATE_IN_PROGRESS - AWS::Lambda::Function - GetDashsumLambdaFunction
...
Removing old service artifacts from S3
✔ Service deployed to stack serverless-sample-dev (32s)
endpoints:
  GET - https://xxxxx.execute-api.ap-northeast-2.amazonaws.com/hello
  GET - https://xxxxx.execute-api.ap-northeast-2.amazonaws.com/sum
functions:
  get-hello: serverless-sample-dev-get-hello (890 B)
  get-sum: serverless-sample-dev-get-sum (3.2 kB)
Stack Outputs:
  GetDashsumLambdaFunctionQualifiedArn: arn:aws:lambda:ap-northeast-2:xxxxx:function:serverless-sample-dev-get-sum:19
  HttpApiId: xxxxx
  GetDashhelloLambdaFunctionQualifiedArn: arn:aws:lambda:ap-northeast-2:xxxxx:function:serverless-sample-dev-get-hello:19
  ServerlessDeploymentBucketName: serverless-framework-deployments-ap-northeast-2-8cebd6df-4256
  HttpApiUrl: https://xxxxx.execute-api.ap-northeast-2.amazonaws.com

배포 단계 요약

TypeScript 컴파일: 소스 코드를 JavaScript로 변환 (outDir에 저장).
번들링: ESBuild를 사용하여 각 함수와 의존성을 최적화 및 묶음.
패키징: 각 함수별로 ZIP 파일 생성.
S3 업로드: ZIP 파일을 S3에 업로드.
CloudFormation 스택 생성: AWS 리소스 생성(Lambda, API Gateway 등).
배포 결과: API URL 제공 및 배포 결과 출력.

참고자료

[글또 시작] 도움이 될 만한 것을 기록하고 배우기

엔지니어- — Sun, 27 Oct 2024 23:56:09 +0900

TMI지만 저는 2019년에 IT일을 시작했고

현재 회사가 가장 오래 근무한 회사로 22년 초부터 다녔고 이제 2년 반이 조금 넘었습니다.

지금 회사는 이커머스 회사로 첫 6개월은 데이터 집계, 파이프라인 구축 일을 했고

이후 2년은 신규기능 개발/유지보수, 데이터 파이프라인/대시보드 구축/관리 일을 하고 있습니다.

저에게 생소한 언어(Go, TS)와 프레임워크(Vue, Nuxt)를 이용해

여러 서비스로 쪼개져있는 프로덕트를 개발/유지보수 하면서 기술과 함께 일하는 측면에서 많은 것을 배우고 있습니다.

다만 배운 것들을 정리하는 시간을 가지지 않았기에 시행착오를 겪으며 배웠던 것들이 체화까지는 되지 않은거 같습니다.

단전에...

이번에 경험하고 고민했던 것들을 정리하며 저도 배우고,

시행착오를 겪고 있는 다른분들에게 조금이라도 도움이 되길 바라며 경험과 고민을 적어보겠습니다.

내용은 개발, 데이터 그리고 함께 일하는 측면에서 알게된 것들을 적게 될거 같습니다.

적어보려는 내용들

대분류	중분류	내용
개발	언어	TypeScript 코드에서 헷갈렸던 문법들과 이제야 이해가되는 것들
개발	언어	TypeScript, Go의 패키지 관리
개발	언어	TypeScript new Date() 함수로 날짜를 저장할때 했던 실수
개발	아키텍처	서버사이드에서 GA4에 이벤트를 전송하는 구조
개발	아키텍처	큐 서비스의 활용
개발	배포	Feature Flag를 사용한 점진적인 배포
개발	방법론	빠른 구현을 위해 포기했던 것들
개발	느낀점	TypeScript, Go 서비스를 유지보수하며 느낀점
개발	개발 환경	IDE에서 자주쓰는 단축키와 기능들
개발	개발 환경	IDE에서 유용했던 설정과 Extension
개발	개발 환경	TypeSpec 적용으로 좋았던 부분
개발	개발 환경	디버깅하기 위해 사용했던 툴
개발	개발 환경	컴파일 설정과 TypeScript 스펙
개발	-	Third Party 연동 후 겪었던 장애들
개발	-	RDB 슬로우 쿼리 개선 (쿼리 튜닝, 검색엔진 도입)
개발	-	콜스택 차근차근 확인해보기
개발	-	클라이언트, 서버 메모리, Redis, CDN 캐시
기타	-	장애 상황에서 빠른 대응을 위해 생각해보면 좋을 것들
기타	-	코드 리뷰하기
기타	-	회사 코드베이스에 적응하기
기타	-	질문해야할 타이밍
데이터	-	의사결정, 분석 목적의 데이터를 잘 공유하는 방법
데이터	-	사람들이 사용하는 대시보드를 만드는 방법
데이터	-	대시보드에 USD, IDR 등 화폐 단위 필터를 제공하기 위해 시도했던 방법
데이터	-	GA, GTM 연동하기
데이터	-	DynamoDB에 쌓인 데이터로 분석하기
데이터	-	MECE로 데이터 쪼개서 확인하기
데이터	-	다양한 저장소에 흩어진 데이터 합쳐서 분석하기

2주 늦었지만 앞으로 잘 부탁 드리겠습니다.

[사이토 다카시] 일류의 조건 (2024)

엔지니어- — Wed, 24 Apr 2024 23:18:19 +0900

일류의 조건

일류의 조건’은 ‘능숙해지는 비결’을 터득하는 것이다. 국내 독자들에게는 〈〈원고지 10장을 쓰는 힘〉〉〈〈질문의 힘〉〉〈〈코멘트력〉〉 등의 베스트셀러를 출간해 잘 알려진 저자는, 자신이 맡은 일에 능숙해지면 어떤 환경과 세상에서도 생존하고, 성공할 수 있다고 말한다. 그리고 능숙해지기 위해서는 “훔치는 힘, 추진력, 논평하는 힘(요약하는 능력, 질문하는 능력)”을 갖춰야 한다. 괴테, 혼다, 무라카미 하루키, 존 맥켄로, 이치로 등의 스포츠나 문학, 경영 등 다양한 분야에서 정상에 오른 사람들의 재능과 기술, 그리고 그들의 성공 과정을 구체적으로 접근한다. 저자가 말하는 능숙함의 비결을 터득하는 즐거움은 자신만의 기술을 몸으로 익힐 수 있다는 사실이다. 처음에는 나와 전혀 상관없을 것 같던 기술이 연습으로 서서히 내 속으로 스며 들어와서, 결국에는 나와 떨어질 수 없는 사이가 된다. 이러한 일련의 과정을 통해 스스로가 보람과 충실감을 맛볼 수 있다.

저자: 사이토 다카시

출판: 루비박스

출판일: 2006.02.10

역시 책을 읽는 건 쉽지만 Output을 만드는 건 쉽지 않다.
책의 초판은 2006년이었고 2024년에 다시 간행된 책을 봤다.

저자: 사이토 다카시

- 도쿄대학교에서 학사(법학), 박사(교육학)를 마친 일본 메이지대학교 문학부 교수
- 1960년 생이고 시즈오카라는 한국으로 치면 충청남도 천안, 아산과 비슷한 곳에서 자랐다고 한다.
- 개인적으로 책의 주제를 1 문장으로 요약했을 때 '잘 살기 위한 보편적인 숙달 원리'라고 생각하는데 역시 괜히 교육학 전공이 아닌 것 같다는 생각이 들었다.
- 예전 회사에서 팀원들이 삼색볼펜/초학습법이라는 책으로 스터디를 했던 게 기억나는데 이 책의 저자도 이분이었다. (저자 이름으로 검색해 보니 출판한 책이 엄청 많다..)
- 책을 보면서 테니스를 좋아하는 분 같아 친밀감이 생겼었다.

요약

- 저자는 잘살기 위해 진정 우리에게 필요한 능력은 무엇인가?라는 질문을 던지고
- 그에 대한 답으로 '보편적인 숙달 원리'를 습득하는 것이라고 이야기한다.
- 활자로 배우는 것, 스포츠 또는 그 무엇이든 보편적인 숙달 원리는 같다.

첫째 잘하는 사람을 동경하고 모방하여 그들의 능력을 훔친다.
둘째 배운 것을 요약하며 자신의 것으로 만든다.

- 능력을 훔치고 요약해서 자신의 것으로 만들다 보면 자신 만의 스타일이 생기고 보편적인 숙달을 넘어 가치를 만들게 된다.

책의 제목이 "일류의 조건"이라 일류가 무엇인지 정의하는 책으로 오해했었다.
하지만 책을 보다 보니 "일류"에 대해. 도쿄대학교에 입학한 저자가 "나는 어떤 일이든 잘할 수 있다"라는 태도를 가진. 주변 사람들을 보며 이런 자신감을 가진 사람들을 "일류"라고 나름대로 정의한 것으로 확인했다.
책에서 이야기하는 "일류"는 숙달의 보편적인 원리를 터득해 본 경험이 있어 그 경험을 근거로 새로운 영역도 자신감 있게 시도할 수 있는 사람들이다.

느낌

- 책의 서문을 읽으면서 후세에 물려줄 무엇인가를 고민하고 있는데 이를 보편적인 숙달 원리라고 이야기하는 부분에서 자신을 안녕을 넘어 인류까지 생각하는 모습이 멋있었다.
- 책을 읽다 보니 보편적인 숙달 원리가 정말로 있다는 생각이 들었고 이 보편적인 숙달원리는 활자로 통해 얻는 지식, 몸으로 배우는 기술, 스포츠 등 다양한 분야에 적용될 수 있다는 생각이 들었다.
- 또한 내가 현재 가지고 있는 숙달 프로세스를 되돌아보게 되었다.
- 중학교 3학년 때 생물 시험 준비를 할 때 교과서 전체를 훑어보고 주요 주제인 감수분열에 대해 백지에 그림으로 정리하며 외웠던 기억이 갑자기 났다.
- 내 숙달 프로세스는 자료를 훑어보고 나름의 방식으로 적어보며 되새김질하는 것이다.
- 이후 대학교, 군대, 대학원, 회사 생활에서 무언가 습득해야 할 때도 전체적인 자료를 훑어보고 직접 나름의 방식으로 그림을 그리며 이해했던 것 같다.
- 책에서 숙달을 위해 제안하는 보편적인 원리의 첫 번째가 누군가를 동경하고 모방하고 기술을 훔치라는 내용인데 지금까지는 거의 활자에 의존했던 것 같다.
- 군대에서는 활자가 거의 없어서 주변 사람들의 행동을 많이 모방했던 것 같다.
- 나라는 사람에게 내재된 근본적인 숙달 프로세스가 활자를 통해 이해하고 직접 요약해 보는 방식이기에 최근 2년 사람에게 질문하는 힘이 부족하다는 생각이 들었었는데 어릴 때 잡힌 숙달 프로세스 때문이 아니었나 하는 생각이 들었다.
- 잘, 빠르게 숙달하기 위해 모방하고 동경하고 잘 질문해서 기술들을 훔쳐야겠다.

- 추가로 요즘 헬스를 조금씩 하고 있는데 헬스 기술 숙달에도 욕심이 생기고 10년 정도 놓았던 테니스도 다시 하고 싶은 생각이 강하게 들었다.

- 무언가 숙달하고 나아진다는 것은 행복한 경험이다.

회고: 2023-06-19 ~ 07-01

엔지니어- — Sun, 2 Jul 2023 23:53:08 +0900

근황

지난 2주 동안 회사에서는 서비스 이슈대응, 신규 SMS Provider 추가, 내부 CRM API 구현 업무를 진행했습니다.
일 외적으로는 친구들과 약속이 많았었고 MySQL 스터디 2회, 책(개발자 온보딩 가이드) 읽기를 진행했습니다.
회사 업무 외에 부족한 개발 실력을 보충하기 위한 코딩을 거의 하지 않았습니다.

2주 전에 액션으로 정의했던 것

부족한 개발 실력 보충 (언어 친화도와 구현 능력, 1 순위)

회사 업무를 진행하며 Go, JS, TS를 계속 사용했지만 집에서 따로 공부하지는 않았습니다.

언어 장벽 (외국어, 2 순위)

출/퇴근길에 한국인이 영어 잘 배우는 방법과 유튜브 콘텐츠를 지속적으로 봤지만 정리하지 않았습니다.
회의, 업무 중에 번역했던 문장들을 기록하는 작업은 진행했습니다.
(Word Cloud)

2주 동안 사용했던 영어 단어들

기타 의미 있던 것

블로그 스킨 변경 (테이블목차 - Table Of Contents가 있는 포맷)

블로그 스킨을 3년? 만에 변경해봤습니다. (https://github.com/bluemiv/tistory_berry_skin)
아쉬운 점은 제 글들의 제목 태그가 뒤죽박죽이었어서 기존 글들이 많이 깨지는 것 같습니다.
번거롭지만 한번 정리하는 작업이 필요할 거 같아요.

(책) 개발자 온보딩 가이드 (https://www.yes24.com/Product/Goods/119108069)

개발자 온보딩 가이드 책을 읽었습니다.
지난 7개월 간 서비스 이슈 대응, 개선 업무를 진행하며 시행착오와 어려움을 겪기 전에 읽었으면 시간을 절약하고 좀 더 성과를 낼 수 있지 않았을까 하는 생각이 들었었습니다.
또한 개발 관련 주요 토픽들을 개론서처럼 다뤄주기에 느낌적으로는 알지만 한 줄, 한 단어로 요약하지 못했 던 개발 용어/컨텍스트 들이 명확해진 것 같습니다.
주요 내용
- 개발자의 마음 가짐(1~3장)
- 개발 관련 주요 토픽들 (4~11장): 방어적 프로그래밍, 로깅, 의존성 관리, 테스트, 코드 리뷰, 배포 등
- 협업과 경력 관리 (12~14장)
이 책으로 진행하는 아샬 님의 개발자 책 읽기 모임도 신청했었는데, 신청 후 개인사정으로 가지 못했던 게 아쉽습니다.

외부 활동 (스터디)

RealMySQL 스터디 (지속)
데이터 중심 애플리케이션 설계 스터디 신청

요약

우선순위 1순위였던 개발 실력 증진을 위한 회사 업무 외에 별도 코딩이 거의 없었습니다.
다만 개발자 온보딩 가이드 책을 읽으며 개발 관련 주요 토픽들은 한번 훑어본 것은 좋았던 것 같습니다.
영어 공부는 일단 지금처럼 번역했던 문장들을 모아두는 일만 진행할 것 같습니다.

다음 2주 동안 집중할 것

회사에서는 Notification (SMS, Chat App, Email) 도메인 마이그레이션하기, 데이터 파이프라인 스케줄러 만들기가 주요 업무가 될 것 같습니다.
회사 외적으로는 읽었던 개발자 온보딩 가이드 책을 한번 정리(2 순위)하고 언어 친화도와 구현 능력을 키우는 측면에서 TS를 활용한 식물사진 업로드 사이트 만들기를 시작(1 순위)할 것 같습니다.
사용했던 영어 표현들을 기록해 두는 작업은 지속 진행할 예정입니다.

회고: 2023-03-12 ~ 06-18

엔지니어- — Sun, 18 Jun 2023 23:47:39 +0900

Git Commit 로그와 함께 지난 3개월 회고를 간단히 해봤습니다.

1. 지난 3개월 Commit 분석

Json: 번역과 관련된 Config 파일 수정
vue, ts, lock, js: JS, TS와 관련된 코드 수정
Go: Go 언어

지난 3개월 간 JS, TS, Go와 관련된 Commit이 대부분이었습니다.

이외 SQL은 n만행 이상 작성했을 것 같고 Python도 조금 다뤘던 것 같은데 Addhoc 한 분석/추출이다 보니 별도 Commit 이력은 없었습니다.

(참고) git, awk 명령어로 Commit 로그 추출하는 스크립트

1.1. git log에서 파일 수정라인 수 데이터 저장하기 (특정 저자만)

AUTHOR_NAME="저자명"
SINCE_DATE="2023-03-12"
git log --stat --author=$AUTHOR_NAME --since=$SINCE_DATE | grep "|" > author_log.txt

1.2. 파일 확장자별로 수정 라인 수 정리한 파일 만들기

awk '{ split($1, file_log, "."); printf "%s, %s\\n", file_log[length(file_log)], $3}' author_log.txt > preprocessed_log.txt

1.3. awk 명령어로 확장자별 수정 라인 수 Group by

awk '{ array[$1] += $2} END {for (i in array) { print i,array[i] }}' preprocessed_log.txt | sort -r -k 2 -n -t ","

# 출력 예시
json, 7394
vue, 7096
go, 3227
ts, 1785
lock, 1072
md, 254
php, 238
js, 182

2. 짧은 회고

지난 3개월 간 Go, JS(Vue), TS를 주로 사용했고, IT 경력 만 4년 만에 개발일을 하고 있다고 느끼고 있습니다.
데이터 파이프라인/분석 업무를 할 때는 데이터 정확도의 우선순위가 높았다면 현재 개발 업무는 마감기한의 우선 순위가 가장 높은 것 같습니다.
시간이 지나며 회사 동료분들에게 궁금한 것을 물어보는 게 익숙해지고 있습니다.

3. 현재 부족하다고 느껴 보충하고 싶은 점

개발
- Go, JS, TS 소스코드를 3개월 이전보다는 빠르게 읽을 수 있게 되었지만 Go, JS의 배열, Map, 자료형 변환 등이 익숙하지 않아 검색이 많고 개발이 오래 걸리는 것 같습니다.
- 또한 Reduce, 화살표 함수, 3항 연산자 등을 사용한 코드를 만나면 해석이 더디고 직접 해당 문법으로 코드로 구현하는 경우는 거의 없습니다.
- JS 코드에서 return 값이 promise일 때 당황하고 async, await으로 해결하긴 했지만 아직 개념적으로 잘 모릅니다.
- Go와 TS API에서 Logging 시 Context를 함께 남기고 Log들이 Datadog과 연계되는데 어떻게 연계되는 것인지 원리는 모릅니다.
언어 장벽 (현지팀과 영어로 소통하며 읽기는 익숙해지는데 듣기/쓰기/말하기는 익숙해지지 않습니다.)
인프라
- 회사에서 EKS, ArgoCD, MSK, Elastic Search, Elastic Cache, SQS, API Gateway, Lambda, SQS, DataDog 등 다양한 서비스를 사용해 봤지만 직접 구성할 줄 모르는 것들이 대부분입니다.
- 지금은 개발, 언어 장벽을 극복하는 게 급선무지만 올해 말까지는 인프라 이해도도 높이고 싶습니다.

4. 이후 액션

개발의 경우 부족하다고 느끼는 것들을 하나씩 정리하며 보충하기
- Go, JS 자료형 익숙해지기 (소스: 유튜브)
- JS 문법 이해하기
- JS, TS 비동기처리 정리하기
- Logging 패턴 정리 (회사 Logging 코드 보기)
언어 장벽
- 현재는 개발 실력을 키우는 게 우선순위가 더 높습니다.
- 하지만 가만히 있으면 언어 장벽 극복이 불가능할 것 같기에 아래 2개라도 실천할 예정입니다.
  - 매일 회의 때 이야기하기 위해 준비하는 번역 문장들을 한 곳에 모으고 1주 단위로 간단히 리뷰하기 (옵시디안)
  - 구문 독해 100강 중 30강 남았던 거를 8월 말까지 끝내며 영어 접하는 시간 늘리기

참고자료

1. 주경야독님 블로그, 11. Git 커밋 이력 조회 - git log, https://kin3303.tistory.com/294

2. BunnyandPooh.Com님 블로그, 그룹 바이 합계 (Group By Sum), https://bunnyandpooh.tistory.com/8

3. 물리를 좋아하는 사람님 블로그, [Bash/Shell Script] Sort 함수 정리, https://m31phy.tistory.com/152

[MySQL] 인덱스 스킵 스캔 (Index Skip Scan)

엔지니어- — Sun, 4 Jun 2023 23:31:27 +0900

MySQL 8.0에 도입된 인덱스 스킵 스캔 기능을 간단히 정리하고 실습 코드를 준비해 봤습니다.

1. 인덱스 스킵 스캔이란 무엇인가?

인덱스 선두 컬럼이 조건절에 없어도 선두 컬럼을 스킵하며 인덱스 레인지 스캔 하는 것
MySQL 8.0 버전부터 도입

예를 들어 아래와 같이 gender, birth_date 순서로 다중 컬럼 인덱스를 생성했다면

조건절에 gender 컬럼 없이는 인덱스를 사용하지 못합니다 (Index Range Scan을 하지 못합니다).

(아래 예제 쿼리들은 Real MySQL 8.0(백은빈, 이성욱, 2021)의 8.3.4.4 절 인덱스 스킵 스캔, 236~239page에서 가져왔음을 밝힙니다)

인덱스 구성 예시

mysql> ALTER TABLE employees 
 ADD INDEX ix_gender_birthdate (gender, birth_date);

-- 선두 컬럼: gender

인덱스 레인지 스캔할 수 있는 쿼리와 레인지 스캔 할 수 없는 쿼리 예시

-- 인덱스를 사용하지 못하는 쿼리: 인덱스 선두 컬럼인 gender 컬럼이 where절에 없다.
mysql> SELECT * FROM employees WHERE birth_date >= '1965-02-01';

-- 인덱스를 사용할 수 있는 쿼리: 인덱스 선두 컬럼인 gendor 컬럼이 where절에 있다.
mysql> SELECT * FROM employees WHERE gender = 'M' AND birth_date >= '1965-02-01';

하지만 인덱스 레인지 스캔의 도입으로 gender 컬럼 없이도 인덱스 레인지 스캔이 가능합니다.

- 아래 그림 처럼 성별 Male에서 데이터를 레인지 스캔 한 후 나머지 데이터는 스킵하여 Female의 데이터 시작점을 찾고 레인지 스캔해서 결과를 반환합니다.

출처: Real MySQL 8.0(백은빈, 이성욱, 2021), 238page

옵티마이저 내부적으로는 다음 2개 쿼리를 실행 하는 것처럼 최적화를 합니다.

mysql> SELECT gender, birth_date FROM employees WHERE gender = 'M' AND birth_date >= '1965-02-01';
mysql> SELECT gender, birth_date FROM employees WHERE gender = 'F' AND birth_date >= '1965-02-01';

2. 인덱스 스킵 스캔 사용을 위한 조건

1. Optimizer의 skip_scan 조건 켜기 (On)

기본값이 on 이라고 합니다. (https://dev.mysql.com/doc/refman/8.0/en/switchable-optimizations.html)
select @@optimizer_switch; 명령어로 optimizer_switch 세팅을 확인할 수 있습니다.

/* Skip Sacn: on */
select @@optimizer_switch;
SET optimizer_switch='skip_scan=on';
commit;

2. 스킵 스캔을 사용할 수 있는 조건으로 쿼리 작성

A. 쿼리가 인덱스에 존재하는 컬럼만으로 처리 가능해야 함 (커버링 인덱스)
B. Where 조건절에 조건이 없는 인덱스 선두 컬럼의 유니크한 값의 개수가 적어야 함 (스킵 스캔을 사용할 수 있는 조건이라기보다는 효율 측면에서 인덱스 선두컬럼의 유니크한 값의 개수가 적어야 합니다)

* Real MySQL 책에서 저자분이 A 조건 같은 경우는 MySQL의 옵티마이저가 개선되면 충분히 해결될 것 같다고 이야기하셨고, 저도 이에 공감했지만 제가 테스트한 MySQL (ver. 8.0.33) 까지는 아직 A 조건을 만족해야 인덱스 스킵 스캔이 동작합니다.

3. 인덱스 스킵 스캔 실습 해보기

실습용 데이터 준비 (Python, Jupyter Notebook 파일: https://github.com/menthamin/code-snippets/blob/main/database/create_mysql_index_skip_scan_data.ipynb)

데이터 생성 예시

위의 파일을 다운 받아 Local에 실습용 테이블 2개를 생성할 수 있습니다.

테이블 1: product_category_100

-상품 카테고리가 100개 있고 (상품 카테고리, 상품 ID) 순서로 인덱스가 생성된 테이블

테이블 2: product_category_10000

상품 카테고리가 10000개 있고 (상품 카테고리, 상품 ID) 순서로 인덱스가 생성된 테이블

두 테이블 모두 Rows는 100만 행으로 동일합니다.

테이블 2번의 경우 선두 컬럼의 유니크한 값의 개수에 따라 인덱스 레인지 스캔의 효율이 달라지는 모습을 확인하고자 생성해봤습니다.

우선 테이블 1번으로 Skip Scan 기능을 확인해 보고 이후 테이블 1, 2번을 비교하며 인덱스 선두 컬럼의 유니크 값 개수에 따른 스킵 스캔 효율을 확인해 보겠습니다.

3.1. Skip Scan: Off

인덱스: (product_category_id, product_id) 순서

Skip Scan을 Off 하고 테스트해본 결과입니다.

인덱스 선두 컬럼인 product_category_id를 사용한 조회는 인덱스 Range Scan으로 데이터를 조회했고 약 0.02초 (20ms)가 걸렸습니다(Covering index Lookup Scan: 커버링 인덱스로 인덱스 레인지 스캔).

하지만 인덱스 선두 컬럼 없이 product_id를 이용해 데이터를 조회한 경우 Index Full Scan으로 데이터 조회에 약 0.26초 (265ms)가 걸렸습니다(Covering index Scan: 커버링 인덱스 인덱스 풀 스캔).

/* Skip Sacn: Off */
select @@optimizer_switch;
SET optimizer_switch='skip_scan=off';
commit;

-- 선두 컬럼 사용
explain analyze
select * from real_mysql.product_category_100
where product_category_id = 50;

-- 실행 계획 및 실행 시간: 인덱스 Range 스캔
-- -> Covering index lookup on product_category_100 using idx_product_category_product_id (product_category_id=50)  (cost=1908 rows=18710) (actual time=0.0213..10.8 rows=10090 loops=1)
-- [2023-06-04 22:43:12] 1 row retrieved starting from 1 in 57 ms (execution: 20 ms, fetching: 7 ms)

-- 선두 컬럼 미사용
explain analyze
select * from real_mysql.product_category_100
where product_id = 50000;


-- 실행 계획 및 실행 시간: Table Full Scan
-- -> Filter: (product_category_100.product_id = 50000)  (cost=100610 rows=99798) (actual time=16.8..244 rows=10 loops=1)
--     -> Covering index scan on product_category_100 using idx_product_category_product_id  (cost=100610 rows=997984) (actual time=0.031..219 rows=1e+6 loops=1)
-- [2023-06-04 22:43:22] 1 row retrieved starting from 1 in 282 ms (execution: 265 ms, fetching: 17 ms)

* explain analyze: 통계 정보 기반의 실행 계획(explain)이 아니라 실제 실행 결과를 반환, MySQL 8.0.18 부터 도입

3.2. Skip Scan: On

Skip Scan을 활성화하고 테스트해본 결과입니다.

선두 컬럼인 product_category_id를 생략한 쿼리의 실행계획에서 Covering index skip scan을 확인할 수 있습니다.

기존 0.26초 (265ms)에서 0.007초 (7ms)로 40배 이상 쿼리가 빨라진 걸 확인할 수 있습니다.

/* Skip Scan: On */
select @@optimizer_switch;
SET optimizer_switch='skip_scan=on';
commit;

explain analyze
select product_category_id, product_id from real_mysql.product_category_100
where product_category_id = 50;

-- 실행 계획 및 실행 시간: 인덱스 Range 스캔
-- -> Covering index lookup on product_category_100 using idx_product_category_product_id (product_category_id=50)  (cost=1908 rows=18710) (actual time=0.0324..9.6 rows=10090 loops=1)
-- [2023-06-04 22:55:12] 1 row retrieved starting from 1 in 40 ms (execution: 15 ms, fetching: 25 ms)


explain analyze
select product_category_id, product_id from real_mysql.product_category_100
where product_id = 50000;

-- 실행 계획 및 실행 시간: 인덱스 Skip Scan
-- -> Filter: (product_category_100.product_id = 50000)  (cost=25351 rows=99798) (actual time=0.0853..1.33 rows=10 loops=1)
--    -> Covering index skip scan on product_category_100 using idx_product_category_product_id over product_id = 50000  (cost=25351 rows=99798) (actual time=0.0843..1.33 rows=10 loops=1)
-- [2023-06-04 22:56:10] 1 row retrieved starting from 1 in 53 ms (execution: 7 ms, fetching: 46 ms)

3.3. 인덱스 선두 컬럼의 유니크한 값 개수에 따른 효율 차이 확인

인덱스 선두 컬럼의 유니크한 값의 개수가 각각 100개, 10000개인 2개 테이블에서 인덱스 스킵 스캔의 효율을 확인해 봤습니다.

- 테이블: product_category_100: product_category_id 100개

- 테이블: product_category_1000: product_category_id 1000개

2개 테이블의 실행 계획 모두 Covering index skip scan으로 결과를 가져옵니다.

하지만 product_category_id의 유니크한 값의 개수가 100개인 product_category_100의 경우 9 ms , 10000개인 product_category_10000의 경우 45 ms가 (5배 차이) 걸렸습니다.

-- 1. 선두 컬럼인 product_category_id가 100개인 경우
explain analyze
select product_category_id, product_id from real_mysql.product_category_100
where product_id = 50000;

-- -> Filter: (product_category_100.product_id = 50000)  (cost=25351 rows=99798) (actual time=0.073..2.47 rows=10 loops=1)
--    -> Covering index skip scan on product_category_100 using idx_product_category_product_id over product_id = 50000  (cost=25351 rows=99798) (actual time=0.0719..2.47 rows=10 loops=1)
-- [2023-06-04 23:02:34] 1 row retrieved starting from 1 in 43 ms (execution: 9 ms, fetching: 34 ms)

-- 2. 선두 컬럼인 product_category_id가 10000개인 경우
explain analyze
select product_category_id, product_id from real_mysql.product_category_10000
where product_id = 50000;

-- -> Filter: (product_category_10000.product_id = 50000)  (cost=45101 rows=99798) (actual time=21.9..44.2 rows=4 loops=1)
--     -> Covering index skip scan on product_category_10000 using idx_product_category_product_id over product_id = 50000  (cost=45101 rows=99798) (actual time=21.9..44.1 rows=4 loops=1)
-- [2023-06-04 23:02:52] 1 row retrieved starting from 1 in 61 ms (execution: 45 ms, fetching: 16 ms)

인덱스 선두 컬럼의 유니크한 각 값들 마다 인덱스의 시작점을 찾고 Range Scan 후 그 결과 값들을 합쳐야 하니, 인덱스 선두 컬럼의 유니크한 개수가 많아질 때 속도가 느려지는 것은 어찌 보면 당연한 결과입니다. (쉽게 이해하자면 아래처럼 100번을 실행하는가 10000번을 실행하는가 차이)

-- product_category_id가 100개인 경우
select product_category_id, product_id from real_mysql.product_category_100
where procut_category_id = 1 and product_id = 50000;
...
select product_category_id, product_id from real_mysql.product_category_100
where procut_category_id = 100 and product_id = 50000;

-- product_category_id가 10000개인 경우
select product_category_id, product_id from real_mysql.product_category_10000
where procut_category_id = 1 and product_id = 50000;
...
...
...
select product_category_id, product_id from real_mysql.product_category_10000
where procut_category_id = 10000 and product_id = 50000;

실행 계획에서 Covering index skip scan을 만나도 인덱스 선두 컬럼의 유니크한 값의 개수가 많다면

비효율이 발생할 수 있기에 경우에 따라 조건절에서 사용한 컬럼을 선두로 한 새로운 Index를 새로 구성하는 게 좋을 수 있을 것 같습니다.

기타 궁금하신 사항은 편하게 남겨주세요.

감사합니다.

참고 자료

1. Real MySQL 8.0(백은빈, 이성욱), 위키북스(2021), 8.3.4.4 절: 인덱스 스킵 스캔 (236 ~ 240page)

2. MySQL 8.0 Reference Manual (Switchable Optimizations): https://dev.mysql.com/doc/refman/8.0/en/switchable-optimizations.html

[MySQL] Slow Query Parameters 목록

엔지니어- — Sun, 21 May 2023 23:53:14 +0900

MySQL의 Slow Query를 모니터링하기 위한 Slow Query 관련 Parameters 목록을 간단히 정리해봤습니다.

다음에는 슬로우 쿼리 로그를 해석해보겠습니다.

요약

1. slow_query_log: 슬로우 쿼리 저장 유무 설정 (On / Off)

2. long_query_time: 슬로우 쿼리 기준 시간 설정 (ex. 5로 설정한 경우 5초 이상 걸린 쿼리 저장)

3. log_output: FILE 로 저장할지 TABLE에 저장할지 설정

4. slow_query_log_file: FILE로 저장할 경우 로그 파일경로 및 이름 설정

1. Slow Query Log 켜기

- Paramter name: slow_query_log

- 설정 가능한 값: ON / OFF

- https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_slow_query_log

-- 설정
SET GLOBAL slow_query_log = 'ON';
-- 확인
SHOW GLOBAL VARIABLES LIKE 'slow%';

2. Slow Query 기준 설정

- Parameter name: long_query_time

- 설정 가능 범위: 0 ~ 31536000 초 (마이크로 초 단위로 설정할 수 있다고 합니다)
(The value can be specified to a resolution of microseconds.)

- https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_long_query_time

-- 설정
SET GLOBAL long_query_time = 1;
-- 확인
SHOW GLOBAL VARIABLES LIKE 'long_query_time';

long_query_time

3. Slow Query 저장 방법 설정

- Parameter name: log_output

- 설정 가능 값: FILE(파일로 저장), TABLE(테이블에 저장), NONE(저장하지 않음)

- 아래 처럼 테이블에 저장하도록 설정하면 mysql.slow_log 테이블 에서 슬로우 쿼리 로그를 확인할 수 있습니다.

- https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_log_output

SET GLOBAL log_output = 'TABLE';
SHOW GLOBAL VARIABLES LIKE '%log_output';
select * from mysql.slow_log;

-- general_log 저장 테이블, general_log를 보고 general_log 파라미터를 ON 해줘야합니다.
-- select * from mysql.general_log;

mysql.slow_log 테이블 예시

* slow_log 테이블은 서버에 데이터가 CSV 파일(ENGINE 타입: CSV)로 저장됩니다.

(slow_log 테이블 확인)

select * from information_schema.tables
where table_name = 'slow_log';

서버에 저장되어있는 slow_log.csv 파일, log_output을 TABLE로 설정하면 위처럼 저장됩니다.

4. Slow Query 파일 저장 경로 및 이름 설정

- Parameter name: slow_query_log_file

제너럴 로그 파일의 저장 경로 또한 general_log_file 파라미터로 설정할 수 있습니다.

- https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_slow_query_log_file

SHOW GLOBAL VARIABLES LIKE '%log_file%';

-- 예시
-- slow_query_log_file: /opt/homebrew/var/mysql/hostname-slow.log

서버에 저장되어있는 hostname-slow.log 파일, log_output을 FILE로 설정하면 위처럼 저장됩니다.

참고 자료

1. Real MySQL 8.0(백은빈, 이성욱), 위키북스(2021), 4.4.3 슬로우 쿼리로그 (150 page)

2. MySQL 8.0 Reference Manual (System Variables): https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html

3. MySQL 8.0 Reference Manual (Set Variable): https://dev.mysql.com/doc/refman/8.0/en/set-variable.html

회고: 2023-04-10 ~ 05-04

엔지니어- — Sun, 7 May 2023 23:35:33 +0900

https://mentha2.tistory.com/285

2분기 엔지니어로서 키우고 싶은 역량들

지난번에 이어 2분기 엔지니어로서 키우고 싶은 역량들을 업데이트해봤습니다. 이번 2분기를 요약하면 크게 3가지 역량을 키우는데 집중할 것 같습니다. 1. 개발 역량 - Go, Javascript를 활용해 지금

mentha2.tistory.com

지난번에 2분기에 엔지니어로서 키우고 싶은 역량을

1. 개발 역량, 2. 데이터 문화조성, 3. 소프트 스킬 3가지로 정의했었습니다.

지난 4월 10일부터 5월 4일까지 3가지 카테고리에서 어떤 변화가 있었는지와 다음 2~4주는 어떻게 보낼지 간단히 적어봅니다.

1. 개발 역량

계속 코드를 보다보니 읽는 게 익숙해졌지만 Go 언어를 잘 모르고 반만 이해하고 있다는 생각이 듦
컨트롤러, 서비스에서 호출하는 함수에 현재 정보를 전달하기 위해 Context를 전달하는데 이게 어떤 식으로 작동하는지는 잘 모르겠음
다가오는 2~4 주에는 Go책 1권(Tucker의 Go 언어 프로그래밍)을 빠르게 훑고 Context가 어떻게 전달되는지 알아보기

JS(Vue), TS

Vue 책 1권을 빠르게 훑은 게 프론트 작업에 도움이 되었음
책 + 다른 분들의 조언으로 Props, Store, Dispatch가 무엇인지 알게 되고 실제로 하위 컴포넌트에 Props로 데이터를 전달하고 Store에 전역변수 설정 및 다른 컴포넌트의 함수를 호출해 봄
TS는 AWS Lamba로 API 배포

Database

RDB: MySQL slow query parser 스크립트를 준비해 봄 (with Python), 조금 더 발전시켜서 회사 Slow 쿼리 분류기 개발 해보기
DynamoDB: TS로 인터페이스를 구성해 간단한 Insert, Select 작업을 해봄 DDB는 PK와 SK로 세부 질의 (Query)를 할 수 있다는 것을 알게 됨

2. 데이터 문화 조성

대시보드

AWS BI 도구인 QuickSight로 재무 데이터 대시보드를 만들며 사람에 의해 매뉴얼 하게 업데이트되는 데이터를 갱신하기 위한 포맷을 구성함
재무 데이터의 Profit, Loss를 한눈에 보여주기 위해 시각화하는 방법에 대해 고민해 봄

GTM, GA, AWS Glue, Athena

GTM + GA로 신규 Feature의 사용량이 얼마나 되는지 확인해 봄
AWS Glue, Athena로 S3에 주기적으로 크롤링되는 데이터 QuickSight에 연동

재무, 크롤링 대시보드를 백오피스에서 쉽게 볼 수 있도록 업데이트하기

집중하면 2~3시간 안에 할 수 있는 작업으로 보이는데 라이브 이슈나 개발 쪽에 우선순위가 밀려 계속 미루고 있었음
돌아오는 주에는 별도로 시간을 내서라도 백오피스에 대시보드 탭 보기 좋게 추가하기

3. 소프트 스킬

커뮤니케이션 1 (영어)

조금은 복잡한 피쳐를 개발하게 되면서 개발 제한 사항이 생기고 제한되는 부분을 현지팀에 이해시켜야 하는 부분이 생겼음
하지만 아직 현지팀과 영어로 소통하는 것은 제한적임 (명확한 의사소통을 위해 많은 시간이 걸리고 피로가 쌓임)
영어 소통 능력을 높여야 업무 진행, 공유를 원활히 하고 데이터 문화도 조성할 수 있을 것 같음
영어 능력을 단기간에 올리기는 힘들 것 같고, 현재는 영어보다 개발 능력이 더 병목 같기도 해서 어떻게 해야 할지 잘 모르겠음

커뮤니케이션 2 (소통)

슬랙 채널과 오프라인에서 모르는 것을 예전 보다 적극 적으로 물어보고 있음
시니어, 경험자 분들의 작은 힌트가 일 진척 그리고 코드 / 프로젝트 이해해 많은 도움이 됨을 느끼고 있음

Next Step

1. 개발 역량: 현재 프로덕트 개선 작업을 하며 계속 키우며, 여기에 추가로 Go책 1권(Tucker의 Go 언어 프로그래밍, 두꺼움..)을 빠르게 훑는 일과 Context에 대해 따로 공부하기

2. 데이터 문화 조성: 백오피스에서 대시보드를 쉽게 볼 수 있도록 업데이트하고 공유하기 (공유할 때 운영 / 마케팅 팀에서 반복적으로 처리하는 데이터업무 알려달라고 요청)

3. 소프트 스킬: 모르는 것은 계속 잘 물어보기, 영어는 어떻게 해야 할지 아직 잘 모르겠음

[2분기 1 / 7회차] 엔지니어로서 키우고 싶은 역량들

엔지니어- — Sun, 9 Apr 2023 23:58:25 +0900

지난번에 2023년 2분기 엔지니어로서 키우고 싶은 역량들을 적었었고

다시 한번 2분기에 집중할 것을 요약하면 1. 개발 역량, 2. 데이터 (활용, 문화), 3. 소프트 스킬 크게 3가지입니다.

https://mentha2.tistory.com/285

2분기 엔지니어로서 키우고 싶은 역량들

mentha2.tistory.com

이번 분기를 2주씩 총 7회로 나누어 엑셀 시트에 회사 업무와 개인 공부 / 스터디를 통해 알게 된 것을 적어나가려고 합니다.

회차	일자	내용
1	2023-03-27	-
2	2023-04-10	-
3	2023-04-24	-
4	2023-05-08	-
5	2023-05-22	-
6	2023-06-05	-
7	2023-06-19	-

시트: https://docs.google.com/spreadsheets/d/1r-go2oJ9C1zLZ-av9swjVak8OOlBW7a6LJJUhDS8Umg/edit#gid=542983381

주요 내용

1. 개발 역량

- 트랜잭션 히스토리 조회 페이지의 서비스 속도개선을 위해 인덱스를 추가하고 Count를 Redis 캐싱하는 로직을 추가를 해봤습니다.

a. 인덱스: 데이터가 누적되어 기존 단일 key 인덱스만으로 조회 시 Index Range 스캔으로 5만 여건의 데이터를 가져와 100 ~ 200건 만 필터링하는 비효율이 발생했습니다. 복합 Key 인덱스를 추가해 Index Range 스캔 범위를 좁히고 필터링을 최소화했습니다.

b. Count 캐싱: Pagination이 적용되어 있어 처음 페이지 접근 시 Count를 집계하는데 과거 이력의 변화가 거의 없는 데이터임에도 불구하고 다음 offset 데이터를 가져올 때도 Count 쿼리가 발생하는게 비효율적으로 보여 Count를 Redis에 캐싱했습니다.

- Front에서 API를 2번 호출해서 테이블용 데이터 셋을 만드는 로직을 API 1회 호출로 변경 했습니다. 결과적으로 Front로 가져오는 데이터를 90% 이상 줄이고 속도도 기존의 1 / 3 수준으로 개선했습니다.

- 개인 공부로 Vue js 책 1권을 50% 학습 했습니다.

- RealMySQL 8.0 책으로 스터디를 시작했고 1회 진행했습니다.

- 기타: 회사에서 AWS 매니지드 ElasticSearch (OpenSearch)를 운영 중인 이유?

ElasticSearch가 회사에서 사용되고 있는데 왜 사용되고 있는지 잘 몰랐었습니다. 회사 동료분이 ElasticSearch를 통한 상품 검색 개선을 위해 (상품명 완전 일치 상품 최상단 노출) N-gram tokenizer의 min, max를 변경하고 인덱싱을 새로 하는 것을 보며 간접적으로나마 왜 ElasticSearch를 도입했는지 알게 되었습니다.

2. 데이터

- 회사 월간 리포트 작성 자동화를 위한 대시보드(QuickSight) 초안을 만들어 봤습니다.

데이터 검증, 그래프 시각화 개선, 지표 정리, 월간 리포트용 마트 데이터 배치 파이프라인 생성 등 아직 남은 일들이 많긴 하지만 시작이 반이라고 긍정적으로 생각하려고 합니다.

매월 1 Week 정도는 대시보드와 관련된 작업에 시간을 쏟으며 지속적으로 개선할 것 같습니다.

- 진행했던 데이터 관련 업무에 대해 Document를 남기는 일을 꾸준히 했습니다. 아직은 데이터 추출 / 피봇 결과와 간단한 의견 그리고 사용했던 Query를 남기는 수준으로 정리하고 있습니다.

- 중간에 2~3일 정도 크롬 익스텐션 때문에 Doc 편집에 장애가 있어 일부를 Notion에 정리하기는 했습니다.

- 개인 공부로는 변성윤 님의 PM을 위한 데이터 리터러시(프러덕트 데이터 분석) 강의를 1 / 4 수강했습니다. 함께 공부하는 스터디로 시작했는데 지난 스터디에는 참여하지 못하고 개인 수강만 진행했습니다. 강의를 보며 문제를 정의하고 문제 해결 / Action Plan을 위한 데이터 분석이 중요하다는 것에 많이 공감되었고 동시에 뜨끔했습니다. 또한 데이터 / 리포트 공유 시 데이터 수요자 입장에서 생각해야 한다는 것을 상기할 수 있어 좋았습니다.

Action Plain이 수시로 그리고 매 챕터마다 정리되어 있기에 강의 / 스터디를 통해 배우고 저희 회사에 적용할 수 있는 것들을 하나씩 적용해 보려고 합니다.

3. 소프트 스킬

- 개인적으로 재택도 많이 했고 먼저 여쭤보는 게 많이 없던 2주였던 것 같습니다.

- 슬랙보다는 대면으로 여쭤보는 게 편하기에 최소 주 3회 이상 출근하고 궁금한 것들과 현재 중요하고 필요한 일에 대해 지속적으로 여쭤보겠습니다.

기타

의미 있던 이벤트

스터디를 2개 시작했습니다. 데이터 리터러시 강의는 1~2개월 안에 끝날 것 같고 MySQL 스터디는 3개월 이상 진행할 것 같습니다.

2개의 스터디를 통해 프로젝트, 업무를 진행하며 어렴풋이 알고 있던 많은 것들이 정리되길 기대합니다.

- PM을 위한 데이터 리터러시(변성윤님) 강의 / 스터디 시작

- MySQL 스터디 시작

Real MySQL 8.0 (1권)

《Real MySQL 8.0》은 《Real MySQL》을 정제해서 꼭 필요한 내용으로 압축하고, MySQL 8.0의 GTID와 InnoDB 클러스터 기능들과 소프트웨어 업계 트렌드를 반영한 GIS 및 전문 검색 등의 확장 기능들을 추가로 수록했다. 또한 《Real MySQL 8.0》은 단순 SQL 문법이나 쿼리 작성보다는 MySQL 서버를 활용하는 프로젝트에서 꼭 필요한 경험과 지식을 전달하는 데 집중했다. 이 책을 처음부터 끝까지 정독할 수 있다면 더없이 좋겠지만 필요하거나 관심 있는 내용 위주로 살펴봐도 지금까지 경험했던 수많은 문제들을 해결할 수 있을 것이다. ★ 이 책에서 다루는 내용 ★ ◎ MySQL 설치와 서버 아키텍처 ◎ 트랜잭션과 잠금 ◎ 인덱스 종류의 구조 및 활용 ◎ GTID 기반 복제 및 InnoDB 클러스터 아키텍처 ◎ 쿼리의 실행 계획 분석 및 최적화 ◎ 스토어드 프로그램 개발 ◎ 데이터 모델링 및 최적의 데이터 타입 선정 ◎ 파티션 및 데이터 압축 활용 ◎ GIS 및 전문 검색 기능 활용 ◎ Performance 스키마 및 Sys 스키마 활용

저자: 백은빈, 이성욱

출판: 위키북스

출판일: 2021.09.08

계획했지만 못한 것

- Vue.js 책 1권 훑기 (50% 진행)

책을 훑으려고 했으나 훑는 게 아니고 코드를 Typing 했습니다.

책의 저자분이 워낙 백견불여일타를 강조하기에 그렇게 했고 후회는 없습니다.

성과로는 CTO 님이 말씀해 주셨던 Vue computed는 프로퍼티다 라는 말이 이제는 잘 이해가 되었고 실제로 코드를 치며 computed와 watch를 작게나마 해볼 수 있던 것 같습니다.

남은 50%도 모두 보고 제가 담당하고 있는 Vue로 되어 있는 서비스를 잘 개선 / 업데이트해보려고 합니다.

마무리

- 회사에서 Titket으로 떨어지는 업무 외에 MySQL slow query parser를 통한 슬로우 쿼리 모니터링, 주요 지표 Slack 공지 2가지를 해보고 싶은데 2~3회 차 정리 시에는 '의미 있던 이벤트'에 적을 수 있으면 좋겠습니다.

2분기 엔지니어로서 키우고 싶은 역량들

엔지니어- — Sun, 26 Mar 2023 23:29:05 +0900

지난번에 이어 2분기 엔지니어로서 키우고 싶은 역량들을 업데이트해봤습니다.

이번 2분기를 요약하면 크게 3가지 역량을 키우는데 집중할 것 같습니다.

출처: https://www.shutterstock.com/ko/image-vector/red-dart-hit-center-dartboard-arrow-2022644729

1. 개발 역량

- Go, Javascript를 활용해 지금보다 능숙하고 빠르게 서비스 유지보수 / 개발 및 백오피스 개선

(이번 분기에는 필요시 기존 코드들을 정리, 삭제, 재구성하는 업무도 있을 것 같습니다)

- RDB 성능 개선 (서비스 코드 개선, 캐싱, Index, 테이블 구조 개선 등)

- 생산성 증대를 위한 IDE, 크롬 개발자도구 익숙해지기 및 Mac 추가 환경세팅

2. 데이터

- 마케팅, 재무팀 또는 다른 회사 구성원들이 궁금해하거나 흥미로워할 정보를 쉽게 잘 제공하기

(Slack + Lambda 구성으로 제공해보려고 합니다)

- 쉽게 데이터를 활용할 수 있도록 Document, 데이터 마트 만들기

- Datadog 주요 모니터링 지표 잘 활용하고 가능하다면 파생 지표나 대시보드 추가하기

- 상품 카테고리 매핑 모델 개발 (가능한 심플하고 빠르게)

3. 소프트 스킬

- 회사분들에게 모르는 것 적극적으로 잘 물어보기

- 현재 중요하고 필요한 일 잘 여쭤보며 일하기

- 현지팀에서 영어로 말하는 것 명확하게 이해할 수 있도록 리스닝 + 스피킹 공부하기

앞으로 2~4주 단위로 어떤 부분을 경험하게 되었는지 지속 업데이트 해보겠습니다.

감사합니다.

<표>

- 집중하려고 하는 부분은 굵게 처리해 봤습니다.

https://docs.google.com/spreadsheets/d/1r-go2oJ9C1zLZ-av9swjVak8OOlBW7a6LJJUhDS8Umg/edit#gid=542983381

스킬 구분 1	스킬 구분 2	내용	현재	기대하는 수준(7월 말)	1분기	23년 4월	23년 5월
Hard	프로그래밍 언어	Python	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 다양한 자료형을 검색없이 능숙하게 개발에 활용할 수 있다.	-	-	-	-
Hard	프로그래밍 언어	Go	- 운영중인 서비스 코드를 제한적으로 이해하고 수정할 수 있다. - 자료형을 다룰 때 검색이 필요해 개발에 많은 시간이 걸린다.	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 검색 없이 빠르게 개발할 수 있다.	1. donchanee님, 구글이 만든 Golang 기초, 인프런 2. https://mentha2.tistory.com/283	1. 서비스 유지보수 및 신규 Feature 개발: 지속 2. Go 언어 책 1권
Hard	프로그래밍 언어	JavaScript	- 기본 문법을 짧게 공부한 적 있다. - Vue: 기존 서비스의 화면을 수정할 수 있다.	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 검색 없이 빠르게 개발할 수 있다. - 컴포넌트를 구성할 수 있다.	1. 이룸코딩, 자바스크립트 + CSS/HTML 무료강좌, https://www.youtube.com/watch?v=hcdyyzDQ2O8&t=8826s 2. 제로초님 Vue 강의 조금	1. 서비스 유지보수 및 신규 Feature 개발: 지속 2. Vue 책 1권 훑기 (Vue.js 입문) - 디렉토리와 컴포넌트가 있는 Vue App을 한번 세팅해보고 싶음 - store, dispatch, props, mixin 등이 자주보이는데 아직 명확히 모르겠음
Hard	프로그래밍 언어	TypeScript	- TypeScript가 JavaScript에 기능을 추가한 상위집합(Supeset)인 것만 알고 있다.	-	현재 업무에서는 많이 다루지 않아 제외	-
Hard	컴퓨터 기본	HTML / CSS / HTTP	- 기본 문법을 짧게 공부한적 있다. - 블록, 인라인태그 class, id 등은 이해하고 있다.	- CSS를 활용해 프론트를 디테일하게 조작할 수 있다.	1. DOM(Document Object Model), DOM API, 로컬 스토리지 등이 어떻게 활용되는지는 조금 알게 되었음 2. 김영한님, 모든 개발자를 위한 HTTP 웹 기본지식, 인프런 수강 완료	-
Hard	데이터베이스	RDB	- 인덱스를 고려해 Raw 쿼리나 ORM 코드를 작성하고 트랜잭션이 필요한 상황에 대해 이해하고 있다. - 운영 환경에서 제한적으로 기능 추가를 위한 테이블을 모델링하고 Migration 할 수 있다 (5개 이하 테이블 추가). - 실행 계획을 확인하고 개선점을 도출할 수 있다 (이론적으로, 실제 운영 환경에서의 튜닝 경험은 거의 없음). - DBMS 정보를 담고 있는 시스템 View들이 있는 것을 알고 있다.	- 운영 환경에서 기능 추가를 위해 테이블을 모델링할 수 있다. - 운영 환경의 쿼리를 개선할 수 있다.	1. https://mentha2.tistory.com/2782 2. 회사 서비스 Slow 쿼리 개선 업무 진행	1. 운영 환경 Slow 쿼리 개선 2. 사용하지 않는 Regacy 테이블 정리	1. 현재 Regacy 테이블의 컬럼이 많고 row 단위 용량이 커 조회 속도가 느린 경우가 있는데 가능하다면 정규화 진행
Hard	데이터베이스	NoSQL	- 제한적인 CRUD 작업을 할 수 있다. - ElasticSearch를 검색에 활용하는 이유를 아직 모른다.	- NoSQL을 서비스에 제한적으로 활용할 수 있다. - ElasticSearch를 검색에 활용하는 이유를 이해한다.	1. 서비스 속도개선을 위해 Redis에 데이터를 캐싱하고 활용 해봄	-
Hard	데이터 엔지니어링	배치 파이프라인	- 프로젝트 구조를 만들어 DAG에서 사용할 Configuration, 클래스, 함수 등을 준비하고 선/후행 관계가 있는 DAG를 구성할 수 있다. - Task별 Alert을 설정하고 문제 발생 시 대응할 수 있다.	-	-	-
Hard	데이터 엔지니어링	실시간 파이프라인	- CDC, Pub/Sub 또는 메시징큐의 조합으로 실시간 파이프라인을 구성하는 경우가 많다는 것은 알고 있다. - AWS DMS로 CDC 작업을 구성해본적 있다.	- Kafaka(MSK)를 서비스에 제한적으로 활용할 수 있다. (컨슈머 개발)	-	-
Hard	데이터 엔지니어링	데이터 가공	- SQL을 활용해 데이터를 능숙하게 가공할 수 있다. - Window Function 종류는 필요 시 검색해서 사용한다. - Glue를 활용해 Spark Job을 만들어본적 있다.	-		-
Hard	데이터 활용	데이터 분석 / 머신러닝	- 통계 분석 기법과, 머신러닝 과정을 이해할 수 있다. - 분석과 모델링에 적합한 데이터를 준비할 수 있다. - 필요 시 데이터 분석과 모델링을 제한적으로 할 수 있다.	- 클라우드 서비스 운영 최적화(Aurora DB Scale Up/Down)를 위한 분석을 하고 적용한다.	-	상품카테고리 분류 모델 탐색
Hard	데이터 활용	데이터 시각화	- 시각화를 위한 반정규화 테이블을 설계하고 활용할 수 있다. - 데이터를 필요로하는 사람의 상황을 고려해 적절한 데이터를 제공할 수 있다.	- BI 툴에서 사용하기 편한 데이터를 만들 수 있다. - 백오피스에 주요 대시보드를 연동한다.	1. QuickSight 대시보드를 준비했음 2. 백오피스에 일부 연동	1. 마케팅, 재무 파트에서 바로 활용할 수 있도록 개선 및 홍보
Hard	데이터 수집	고객행동 데이터 수집	- 구글태그매니저와 구글애널리틱스를 활용해 고객 유입, 행동 이벤트 등을 수집할 수 있다. - 프론트/백엔드 코드에 제한적으로 트래킹을 위한 이벤트를 추가할 수 있다. - 광고플랫폼의 Pixel과 제한적으로 데이터를 연동할 수 있다.	-	1. https://mentha2.tistory.com/282	-
Hard	IDE	VSCode	- VSCode의 단축키를 제한적으로 활용할 수 있다. - 편집기로 Vim 익스텐션을 사용하며 제한적인 기능을 사용한다.	- VScode와 Vim 단축키를 능숙하게 활용할 수 있다.	1. 단축키 일부 학습 2. 다중 워크스페이스 등록 (00님 감사합니다)	1. 매주 어나더비 멤버분들과 단축키 공유
Hard	IDE	DataGrip	- DataGrip의 단축키를 제한적으로 활용할 수 있다. - 다중 커서 단축키를 계속 잊어버린다. - 실행계획을 IDE에서 지원하는 기능이 아닌 스크립트로 보고있다.	- DataGrip의 단축키와, 실행계획 기능을 능숙하게 활용 할 수 있다.	-	1. 자주 사용하는 단축키 정리 1회
Hard	인프라	Linux	- Debian, Redhat 계열 배포판을 다룰 수 있다. - 기본 명령어와 디렉토리 구조를 숙지하고 필요 시 서버 환경설정을 할 수 있다. - 제한적이지만 Shell 스크립트를 작성할 수 있다.	-	-	-
Hard	인프라	Network	- IPv4의 Publict, Private Network, 서브넷팅을 이해하고 있다. - OSI 7 계층, TCP / IP 4 계층에 대해 알고 있다.	-	-	-
Hard	인프라	Docker	- Docker 빌드와 Docker Compose를 통한 다중 컨테이너 활용을 제한적으로 할 수 있다.	-	-	-
Hard	인프라	K8S	- K8S를 사용하는 이유를 알고 있다. - ArgoCD를 접속해서 배포를 확인하고 있다.	- K8S Pod의 Limit, Scale Out 설정을 할 수 있다. - K8S를 상태를 모니터링 할 수 있다.	-	-
Hard	인프라	DataDog	- APM, Log 메뉴에서 제한적으로 로그를 검색할 수 있다.	- DataDog으로 능숙하게 로그를 검색하고 분석할 수 있다. - DataDog에 Alert 설정을 추가할 수 있다.	1. 로그 확인이 이전보다는 익숙해짐	1. 테크 리더분이 만드신 대시보드, Alert 지속 확인 2. 경험을 늘리고 일부 개선 도전
Hard	인프라	Cloud	- AWS의 다양한 서비스는 조금씩 활용해봤다. - 권한 관리, 보안 그룹 등을 알고 있다. - VPC 내부의 다른 서브넷간의 통신을 연결하는 것은 해본적 없다.	- VPC 내부의 다른 서브넷간의 통신을 연결할 수 있다.		-
Soft	-	커뮤니케이션	- 한국어로 데이터 수요자, 기획자, 개발자, 고객과 소통할 수 있다. - 영어로는 사전 논의 주제가 명확하지 않으면 소통이 제한된다.	- 상대방이 영어로 말하는 것을 명확히 이해할 수 있다.	-	-	영어 익숙해질 방법 찾기
Soft	-	문화 조성	- 회사에서 추구하는 방향에 맞게 행동한다.	- 데이터를 활용하는 문화를 만들기 위해 쉽게 사용할 수 있는 데이터마트 데이터를 제공한다. - 스터디 진행	1. 글또 데이터 활용 스터디 킥오프 만남 진행	1. 스터디를 진행하며 만들고 싶은 데이터 문화 정의하기 - 서비스 주요지표를 지속적으로 공유해서 보여주고 싶음 (Slack + Lambda)
Soft	-	일정 계산	- 경험해본 업무의 일정은 계산할 수 있다. - 경험하지 못한 업무의 일정을 실제보다 짧게 예측한다.	-	-	-
Soft	-	의사 결정	- 같은 업무를 공유하는 팀 내부에서의 의사결정에 참여했다.	-	-	-
Soft	-	지식 공유	- 문서화 및 공유에 적극적이다.	- 데이터 처리 및 추출에 대한 문서를 정리해 공유 한다. - 대시보드 활용방법 문서를 공유한다.	1. 회사 Document에 꾸준히 작성 중	지속 작성
Soft	-	멘토/멘티	- 멘토에게 모르는 것을 질문하고 도움을 요청하는 것이 익숙하지 않다. - 질문을 받으면 정성껏 답변한다.	- 개인적으로 또는 슬랙채널에 모르는 것을 적극적으로 물어보고 도움을 요청한다.	1. 회사 분들에게 물어보는 것이 많이 편해졌음 - 대면으로 마주치는 시간 증가, 팀 구성, 회사일을 계속하다보니 어떤 걸 물어봐야할지 조금은 알 것 같음 2. 아직 멘토 보다는 멘티 입장	1. 현재 중요하고 필요한일 잘 여쭤보며 일하기

지난 번 작성했던 포스팅 (https://mentha2.tistory.com/284)

엔지니어로서 현재 역량 및 4개월 후 기대하는 모습

교육, 대학원, 간접 업무경험(통신 장교) 등을 제외하면 2019년 3월부터 본격적으로 IT 직무로 일을 시작했고 이 글을 작성하는 시점에 딱 만 4년 차가 되었습니다. 돌아보면 프로젝트 단위로 업무

mentha2.tistory.com

엔지니어로서 현재 역량 및 4개월 후 기대하는 모습

엔지니어- — Sun, 12 Mar 2023 23:56:23 +0900

교육, 대학원, 간접 업무경험(통신 장교) 등을 제외하면 2019년 3월부터 본격적으로 IT 직무로 일을 시작했고

이 글을 작성하는 시점에 딱 만 4년 차가 되었습니다.

돌아보면 프로젝트 단위로 업무를 하는 경우가 많아 기술적인 부분 보다 제안서, 보고서 작성등의 업무가 많았던 것 같습니다.

그래도 제안서와 보고서를 매력적으로 작성하는 상사, 데이터 분석과 제안을 기가 막히게 하는 상사 및 동료 들과 함께하며 저도 모르게 어깨너머로 여러 가지를 배운 거 같긴 합니다.

지금은 운 좋게 바라던 기술 중심의 일을 하고 있고 회사에 기술적으로 뛰어난 분들이 많습니다. (모두 저보다 뛰어납니다)

지금 기회를 잡아 기술적으로 배우고 데이터 기반 문화를 조성해 보겠습니다.

스킬 구분 1	스킬 구분 2	내용	현재	기대하는 수준(7월 말)
Hard	프로그래밍 언어	Python	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 다양한 자료형을 검색없이 능숙하게 개발에 활용할 수 있다.	-
Hard	프로그래밍 언어	Go	- 운영중인 서비스 코드를 제한적으로 이해하고 수정할 수 있다. - 자료형을 다룰 때 검색이 필요해 개발에 많은 시간이 걸린다.	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 검색 없이 빠르게 개발할 수 있다.
Hard	프로그래밍 언어	JavaScript	- 기본 문법을 짧게 공부한 적 있다. - Vue: 기존 서비스의 화면을 수정할 수 있다.	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 검색 없이 빠르게 개발할 수 있다.
Hard	프로그래밍 언어	TypeScript	- TypeScript가 JavaScript에 기능을 추가한 상위집합(Supeset)인 것만 알고 있다.	- 서비스에 필요한 기능을 개발 일정에 맞춰 개발할 수 있다. - 검색 없이 빠르게 개발할 수 있다.
Hard	컴퓨터 기본	HTML / CSS	- 기본 문법을 짧게 공부한적 있다. - 블록, 인라인태그 class, id 등은 이해하고 있다.	- 프론트를 디테일하게 조작할 수 있다.
Hard	데이터베이스	RDB	- 인덱스를 고려해 Raw 쿼리나 ORM 코드를 작성하고 트랜잭션이 필요한 상황에 대해 이해하고 있다. - 운영 환경에서 제한적으로 기능 추가를 위한 테이블을 모델링하고 Migration 할 수 있다 (5개 이하 테이블 추가). - 실행 계획을 확인하고 개선점을 도출할 수 있다 (이론적으로, 실제 운영 환경에서의 튜닝 경험은 거의 없음). - DBMS 정보를 담고 있는 시스템 View들이 있는 것을 알고 있다.	- 운영 환경에서 기능 추가를 위해 테이블을 모델링할 수 있다. - 운영 환경의 쿼리를 개선할 수 있다.
Hard	데이터베이스	NoSQL	- 제한적인 CRUD 작업을 할 수 있다. - ElasticSearch를 검색에 활용하는 이유를 아직 모른다.	- NoSQL을 서비스에 제한적으로 활용할 수 있다. - ElasticSearch를 검색에 활용하는 이유를 이해한다.
Hard	데이터 엔지니어링	배치 파이프라인	- 프로젝트 구조를 만들어 DAG에서 사용할 Configuration, 클래스, 함수 등을 준비하고 선/후행 관계가 있는 DAG를 구성할 수 있다. - Task별 Alert을 설정하고 문제 발생 시 대응할 수 있다.	-
Hard	데이터 엔지니어링	실시간 파이프라인	- CDC, Pub/Sub 또는 메시징큐의 조합으로 실시간 파이프라인을 구성하는 경우가 많다는 것은 알고 있다. - AWS DMS로 CDC 작업을 구성해본적 있다.	- Kafaka(MSK)를 서비스에 제한적으로 활용할 수 있다. (컨슈머 개발)
Hard	데이터 엔지니어링	데이터 가공	- SQL을 활용해 데이터를 능숙하게 가공할 수 있다. - Window Function 종류는 필요 시 검색해서 사용한다. - Glue를 활용해 Spark Job을 만들어본적 있다.	-
Hard	데이터 활용	데이터 분석 / 머신러닝	- 통계 분석 기법과, 머신러닝 과정을 이해할 수 있다. - 분석과 모델링에 적합한 데이터를 준비할 수 있다. - 필요 시 데이터 분석과 모델링을 제한적으로 할 수 있다.	- 클라우드 서비스 운영 최적화 (Aurora DB Scale Up/Down)를 위한 분석을 하고 적용한다.
Hard	데이터 활용	데이터 시각화	- 시각화를 위한 반정규화 테이블을 설계하고 활용할 수 있다. - 데이터를 필요로하는 사람의 상황을 고려해 적절한 데이터를 제공할 수 있다.	- BI 툴에서 사용하기 편한 데이터를 만들 수 있다. - 백오피스에 주요 대시보드를 연동한다.
Hard	데이터 수집	고객행동 데이터 수집	- 구글태그매니저와 구글애널리틱스를 활용해 고객 유입, 행동 이벤트 등을 수집할 수 있다. - 프론트/백엔드 코드에 제한적으로 트래킹을 위한 이벤트를 추가할 수 있다. - 광고플랫폼의 Pixel과 제한적으로 데이터를 연동할 수 있다.	-
Hard	IDE	VSCode	- VSCode의 단축키를 제한적으로 활용할 수 있다. - 편집기로 Vim 익스텐션을 사용하며 제한적인 기능을 사용한다.	- VScode와 Vim 단축키를 능숙하게 활용할 수 있다.
Hard	IDE	DataGrip	- DataGrip의 단축키를 제한적으로 활용할 수 있다. - 다중 커서 단축키를 계속 잊어버린다. - 실행계획을 IDE에서 지원하는 기능이 아닌 스크립트로 보고있다.	- DataGrip의 단축키와, 실행계획 기능을 능숙하게 활용 할 수 있다.
Hard	인프라	Linux	- Debian, Redhat 계열 배포판을 다룰 수 있다. - 기본 명령어와 디렉토리 구조를 숙지하고 필요 시 서버 환경설정을 할 수 있다. - 제한적이지만 Shell 스크립트를 작성할 수 있다.	-
Hard	인프라	Network	- IPv4의 Publict, Private Network, 서브넷팅을 이해하고 있다. - OSI 7 계층, TCP / IP 4 계층에 대해 알고 있다.	-
Hard	인프라	Docker	- Docker 빌드와 Docker Compose를 통한 다중 컨테이너 활용을 제한적으로 할 수 있다.	-
Hard	인프라	K8S	- K8S를 사용하는 이유를 알고 있다. - ArgoCD를 접속해서 배포를 확인하고 있다.	- K8S Pod의 Limit, Scale Out 설정을 할 수 있다. - K8S를 상태를 모니터링 할 수 있다.
Hard	인프라	DataDog	- APM, Log 메뉴에서 제한적으로 로그를 검색할 수 있다.	- DataDog으로 능숙하게 로그를 검색하고 분석할 수 있다. - DataDog에 Alert 설정을 추가할 수 있다.
Hard	인프라	Cloud	- AWS의 다양한 서비스는 조금씩 활용해봤다. - 권한 관리, 보안 그룹 등을 알고 있다. - VPC 내부의 다른 서브넷간의 통신을 연결하는 것은 해본적 없다.	- VPC 내부의 다른 서브넷간의 통신을 연결할 수 있다.
Soft	-	커뮤니케이션	- 한국어로 데이터 수요자, 기획자, 개발자, 고객과 소통할 수 있다. - 영어로는 사전 논의 주제가 명확하지 않으면 소통이 제한된다.	- 상대방이 영어로 말하는 것을 이해할 수 있다.
Soft	-	문화 조성	- 회사에서 추구하는 방향에 맞게 행동한다.	- 데이터를 활용하는 문화를 만들기 위해 쉽게 사용할 수 있는 데이터마트 데이터를 제공한다.
Soft	-	일정 계산	- 경험해본 업무의 일정은 계산할 수 있다. - 경험하지 못한 업무의 일정을 실제보다 짧게 예측한다.
Soft	-	의사 결정	- 같은 업무를 공유하는 팀 내부에서의 의사결정에 참여했다.
Soft	-	지식 공유	- 문서화 및 공유에 적극적이다.	- 데이터 처리 및 추출에 대한 문서를 정리해 공유 한다. - 대시보드 활용방법 문서를 공유한다.
Soft	-	멘토/멘티	- 멘토에게 모르는 것을 질문하고 도움을 요청하는 것이 익숙하지 않다. '- 질문을 받으면 정성껏 답변한다.	- 개인적으로 또는 슬랙채널에 모르는 것을 적극적으로 물어보고 도움을 요청한다.

[Golang] Go에서 Map 타입 데이터를 Json으로 변환하기 (Json 형태로)

엔지니어- — Mon, 27 Feb 2023 23:46:44 +0900

회사에서 Go 언어를 조금 사용하고 있는데, 정리하지 않으니 계속 찾게되어 기억하기 위해 적어봅니다.

Map to Json (정확히는 Json 형태의 String) 결과 예시

요약

json.Marshal() 함수로 Map 타입 데이터를 마셜링 후 String으로 변환
*Marshalling(마셜링): 데이터를 프로그램이 인식할 수 있는 형태로 변형하는 것
- String, Int 등으로 표현된 데이터를 Bytes 형태로 변형하는 것을 예로 들 수 있음
- 출처: https://codecollector.tistory.com/1513

예제 코드

package main

import (
    "fmt"
    "encoding/json"
    "reflect"
)

func main() {
	// Map 선언 및 초기화
    var mapExample map[string]string

    // 선언한 Map Type 확인
    reflect.TypeOf(mapExample)
    /* 잠시 알고 넘어가기 
        - 선언한 변수 mapExample은 nil 값을 가지기 때문에 바로 사용할 수 없다고 합니다.
        - Nil Map에는 어떤 데이터도 추가할 수 없다. (http://golang.site/go/article/14-Go-%EC%BB%AC%EB%A0%89%EC%85%98---Map)
        - mapExample["event"] = "new_order"
        - Error: assignment to entry in nil map 발생
    */

    // make() 함수로 초기화 후 map 사용하기
    mapExample = make(map[string]string)
    mapExample["event"] = "new_order"
    mapExample["receiver"] = "main_server"

    // Type 확인 및 데이터 출력
    reflect.TypeOf(mapExample) 
    // map[string]string
    fmt.Sprintf("Map: %v", mapExample)  // %#v 값 출력
    // map[event:new_order receiver:main_server]
    fmt.Sprintf("Map: %#v", mapExample)  // %v 타입과 값을 함께 출력
    // Map: map[event:new_order receiver:main_server]

    // 마셜링
    marshalMap, err := json.Marshal(m)
    fmt.Println(marshalMap)
    // 출력 예시 [123 34 101 118 101 110 116 34 58 34 110 ...] <nil>

    // 마셜링한 데이터 타입 확인
    reflect.TypeOf(marshalMap)
    // []unit8:  unsigned integer 8 array, 부호가 없는 8비트(0~255) array

    // 마셜링 데이터 string()함수로 변환
    jsonString := string(marshalMap)
    fmt.Println(string(jsonString))
    // {"event":"new_order","receive":"customer"} <nil>

    reflect.TypeOf(jsonString)  // 데이터 타입 확인
    // string

}

참고자료

AGUIDEHUB, “how to convert map to string in golang”, https://aguidehub.com/blog/2022-09-07-golang-convert-map-to-string/
예제로 배우는 Go 프로그래밍, “GO 컬렉션 - Map”, http://golang.site/go/article/14-Go-컬렉션---Map
뽕뽑기님 블로그, “(Go) - Marshal, Unmarshal 함수”, https://codecollector.tistory.com/1513
pyrasis.com, "가장 빨리 만나는 Go 언어 Unit 41. 출력 함수 사용하기”, https://pyrasis.com/book/GoForTheReallyImpatient/Unit41

티스토리에 구글 태그 매니저(GTM) 설치하고 확인하기 (모든 사이트에 적용 가능)

엔지니어- — Wed, 15 Feb 2023 23:13:23 +0900

구글 태그 매니저(GTM, Google Tag Manager)를 사이트에 적용하고 정상 설치여부를 확인하는 방법입니다.

(구글태그관리자 설치 및 테스트)

사전 요구사항: 태그 매니저 계정 생성 완료

크게 3가지 단계로 구글 태그매니저를 설치하고 확인할 수 있습니다.

1. 태그매니저 코드 복사

2. 티스토리에 태그매니저 코드 복사

3. 태그 확인

만약 티스토리가 아닌 다른 개인 사이트에 적용하신다면 구글 태그매니저 코드를 복사해

개인 사이트의 index.html 파일의 <head>, <body> 영역에 구글 태그매니저 코드를 붙여 넣어주시면 됩니다.

(카페 24, 고도몰과 같은 쇼핑몰에 구글태그관리자 추가가 필요하시다면 각 쇼핑몰별로 추가 방법 문서가 잘 정리되어 있으니 쇼핑몰별 문서를 참고해서 구글 태그매니저 코드를 붙여 넣으시면 될 것 같습니다, 아래 설명의 1, 3번만 참고)

1. 태그매니저 코드 복사

태그 관리자 '작업공간'에서 'GTM-XXXXXX'를 클릭합니다.

태그 관리자(태그매니저) 작업공간

구글 태그 관리자 소스코드를 확인할 수 있습니다.

아래의 2개 코드를 티스토리의 <head>, <body> 부분에 각각 복사하면 설치가 완료됩니다.

구글 태그관리자 코드 예시

2. 티스토리에 태그매니저 코드 복사

티스토리 관리자 페이지에 들어가서

꾸미기 > 스킨 편집 메뉴로 이동해 html 편집 버튼을 클릭합니다.

티스토리 관리자 페이지 > 꾸미기 > 스킨 편집에서 html 편집 버튼 클릭

이제 구글 태그관리자에서 확인했던 코드를 <head>, <body> 부분에 각각 붙여 넣으면 됩니다.

(구글 태그관리자 공식 설치 공식문서에서 <head>, <body> 2개 영역 모두에 코드 추가를 권장)

저희는 2곳 모두에 추가하도록 하겠습니다.

<head> 영역에 많은 태그 코드를 추가하면 페이지 로딩 속도가 느려질 수 있다고 합니다.
혹시 더 궁금하신 분들은 아래 링크와 링크에 딸린 추가 아티클을 참고하시면 좋을 것 같습니다.
(링크: https://www.analyticsmania.com/post/google-tag-manager-head-or-body/)

html <head> 영역에 구글 태그 관리자 코드 추가

"컨트롤(커맨드) + f"로 head를 검색해서 <head> … </head> 사이에 구글 태그 관리자 코드 붙여 넣기

HTML <head> 에 구글 태그 관리자 코드 붙여넣기

html <body> 영역에 구글 태그 관리자 코드 추가

"컨트롤(커맨드) + f"로 body를 검색해서 <body> 아래에 구글 태그 관리자 코드 붙여 넣기

HTML <body> 에 구글 태그 관리자 코드 붙여넣기

3. 태그관리자 미리 보기로 태그 설치 확인

마지막으로 구글 태그관리자의 "미리보기"로 태그의 정상 설치를 확인해 보겠습니다.

태그관리자 > 작업공간에서 미리보기 클릭

구글 태그관리자 마리보기

티스토리 주소 입력 후 Connect 버튼 클릭

구글 태그관리자 코드를 추가한 티스토리 주소 입력 후 연결

구글 태그 관리자가 정상 설치되었다면 아래처럼 (GTM-XXXXXXX) 코드가 보입니다.

정상 설치

기타 궁금하신 사항은 편하게 댓글 남겨주세요.

감사합니다.

참고자료

1. 웹페이지용 구글 태그 관리자 설치 문서, https://developers.google.com/tag-platform/tag-manager/web?hl=ko

2. 다차타, 티스토리(Tistory)에 구글 태그매니저 설치하기, https://dachata.com/google-tag-manager-tips/post/install-google-tag-manager-tistory/

3. 닐라의 별별로그, 구글 태그매니저(GTM) 사이트에 설치하기 (feat.티스토리), https://marketingscribbler.tistory.com/22

What is Page?

엔지니어- — Wed, 15 Feb 2023 21:31:35 +0900

[현승원] 직장인 이것 하지 않으면 반드시 후회합니다.

엔지니어- — Tue, 14 Feb 2023 23:53:48 +0900

저는 출퇴근 길에 사람도 많고 영상을 보기엔 피곤해서 유튜브를 듣습니다.

요즘은 유튜브 알고리즘이 현승원, 현우진 두 현선생님들의 영상을 추천해 줍니다.

오늘은 퇴근길에 현승원 님의 유튜브 영상을 들어봤습니다.

우리는 항상 시간이 지나면 그때 무엇을 했었어야 하는 걸 알게 됩니다.

하지만 그 당시에는 그것을 모릅니다.

또한 그 당시 뭔가를 열심히 했더라고 그것이 정말 후회하지 않을 정도였는지는 모른다.

이 밤 시간에 집에서 회사 구글태그매니저와 구글애널리틱스를 테스트하고 있는 저는 나중에 후회하지 않을까요?

늦은 후회

아티스트: 보보

앨범: Bobo

발매일: 1970.01.01

부디 밑거름이 되어 후회하지 않기를 빌어봅니다.

영상 링크

https://www.youtube.com/watch?v=w3k4iYu2i2c

글또 8기 시작

엔지니어- — Sun, 12 Feb 2023 23:08:24 +0900

Intro

지인분이 7기로 활동하는 모습이 인상 깊어 글또(글 쓰는 또라이가 세상을 바꾼다) 8기에 참여하게 되었습니다.

글또 소개 링크:https://www.notion.so/zzsza/ac5b18a482fb4df497d4e8257ad4d516

글 쓰는 또라이가 세상을 바꾼다 - 글또 페이지

안녕하세요 :)

www.notion.so

글또에 참여한 다른 분들의 블로그를 보니 자신의 생각을 잘 정리해 공유하고 끊임없이 공부하는 분들이 참 많구나 하는 생각이 들었고 자극도 받게 되는 것 같습니다.

Goal

글또 활동을 통한 첫 번째 목표는 글을 꾸준히 작성하는 것입니다.

앞으로 6개월 (2월 ~ 7월) 동안 글또를 통해 12개의 글을 작성해야하는데 글또 글에 1 + 1으로 총 24개의 글을 작성해 보겠습니다.

두 번째 목표는 글또 커뮤니티에 올라오는 다른 분들의 글과 자료를 보며 식견을 넓히는 것입니다.

초기 스타트업에서 일하고 있어 아직 데이터 인프라가 많지 않은 상황인데 다른 분들의 글을 통해 데이터 요구사항과 해결책을 접하고 다음에 활용하고 싶습니다.

(데이터 전처리, 데이터 리니지, 데이터 거버넌스, Argo Worflows 등 평소에 관심 있고 궁금했던 내용들이 벌써 많이 올라왔더라고요)

Content

앞으로 작성하는 글들은 회사에서 진행하는 업무와 관련된 내용이 대부분일 것 같습니다.

큰 틀에서 아래 3개의 주제와 IT 책 리뷰를 작성하게 될 것 같습니다.

1. KPI / 운영 대시보드를 구성하기 위한 데이터셋 준비

대시보드에 적합한 데이터셋 만들기 (aka. 데이터 마트, 비정규화 테이블, 속성값이 많은 팩트테이블)
데이터 정의, 표준화, 품질 검증

2. 데이터 파이프라인 구축

적은 인원으로 운영할 수 있는 심플한 데이터 파이프라인

3. 다양한 서비스를 연동하며 알게 된 개념과 도구들

Oauth, Webhook, 권한 관리
구글 태그매니저, 애널리틱스

Pass권 사용 없이 꾸준히 달려보겠습니다.

잘 부탁드립니다~

글또

[MySQL] WHERE절에 EXISTS 사용해서 빠르게 조회하기

엔지니어- — Tue, 24 Jan 2023 23:38:46 +0900

특정 조건의 데이터가 존재하는지 확인하기 위해 EXISTS 쿼리를 사용할 때가 있습니다.

EXISTS는 조건과 맞는 row 찾으면 이후 rows들은 탐색하지 않기 때문에 빠른 조회가 가능한 장점이 있습니다.

(최소 1개에서 ~ 최대 전체 N개 Rows까지 탐색하게 됩니다.)

EXISTS 문법

Exists는 EXISTS(서브쿼리) 형태로 Where절이나 Select절에서 사용합니다.

결과 값은 존재하는 행이 있을 경우 True(1)
존재하는 값이 없을 경우 False(0)을 반환 합니다.

-- 1. Where 절에서 사용하는 예시 (중첩 서브쿼리, 서브쿼리)
-- * Where 절에서 사용하는 서브쿼리를 중첩 서브쿼리 또는 그냥 서브쿼리라고 합니다.
SELECT
    select_column
FROM
    products
WHERE
    EXISTS(subquery);

-- 2. Select 절에서 사용하는 예시 (스칼라 서브쿼리)
-- * Select 절에서 사용하는 서브쿼리를 스칼라 서브쿼리 라고 합니다.
SELECT EXISTS(subquery);

-- 참고: 모브님 개발블로그, https://mauvpark.github.io/docs/Sql/MySQL/2021-12-13-a-mysql19.html

아래의 예시코드를 보면 이해가 수월하실 겁니다.

예시 코드

환경
- MySQL 5.7.39
조건
- PRODUCTS 테이블 (약 3천만 Rows)
- created_at 컬럼은 Indexing 되어있음
- 2022년 1분기 (1월 ~ 3월)에 등록된 상품 중 상품 가격이5,000만원이 넘는 이상한 상품이 있었는지 확인하기

CASE 1: Count로 확인

쿼리: 2022년 1 ~ 3월 데이터에서 상품 가격(price)이 5,000만원이 넘는 경우가 1개 이상인지 조회 (전체 Count)

select
    count(1) >= 1 as check_product
from
    products
where
      created_at between '2022-01-01' and '2022-04-01'
  and price > 50000000;

실행 시간: 6s 118ms

6s 118ms

CASE 2: Exists로 확인

쿼리: Select 절에 Exists를 사용하여 2022년 1 ~ 3월 등록 상품 중 5,000만원이 넘는 경우를 만나면 바로 True(1)을 리턴하고 종료

select
    exists(select *
           from
               products
           where
                 created_at between '2022-01-01' and '2022-04-01'
             and price > 50000000) as check_product;

실행 시간: 8ms

중간에 5,000만원이 넘는 상품을 찾아 바로 종료되는 경우로 8ms가 걸렸습니다. CASE 1(6s 118ms)과 비교할 수 없이 빠릅니다.

8ms

CASE 3: Limit를 이용해 Exists처럼 확인

Limit 1 조건을 통해 1개 행이라도 찾으면 서브쿼리가 결과를 반환하도록 설정

* 아래와 같이 FROM절에서 사용하는 서브쿼리를 인라인 뷰(Inline View)라고 합니다.

select
    count(1) >= 1 as check_product
from
    (select
         'product' as check_exists
     from
         products
     where
           created_at between '2022-01-01' and '2022-04-01'
       and price > 50000000
     limit 1) as strange_product;

실행 시간: 9ms

Limit 1을 사용하여 조건에 맞는 1개 행만 만나면 서브쿼리 결과를 리턴하도록 했기에 Exists와 거의 같은 시간(9ms)이 나왔습니다.

9ms

기타 궁금하신 사항은 편하게 댓글 남겨주세요.

감사합니다.

1. 향로님 블로그, "JPA exists 쿼리 성능 개선", https://jojoldu.tistory.com/516
2. 모브님 블로그, "MySQL 19. EXISTS", https://mauvpark.github.io/docs/Sql/MySQL/2021-12-13-a-mysql19.html
3. MySQL Documnet, https://dev.mysql.com/doc/refman/8.0/en/exists-and-not-exists-subqueries.html

[Golang] Jupyter Notebook, Lab에서 Golang 인터프리터언어처럼 사용하기

엔지니어- — Sat, 7 Jan 2023 23:30:20 +0900

Jupyter Notebook 또는 Jupyter Lab 환경에서 Golang를 사용하는 방법입니다.

컴파일 언어인 Golang을 인터프리터 언어(ex. Python)처럼 노트북파일의 셀단위로 바로바로 실행할 수 있습니다.

(Python 처럼 바로바로 실행결과를 확인할 수 있습니다 - 아래 사진 참고)

이미지 출처: https://github.com/gopherdata/gophernotes

주피터 환경에서 Golang을 실행하기 위해 gohpernotes라는 gopherData 커뮤니티에서 관리하는 오픈소스를 활용합니다.

* 짤막 정보

Gopher: Golang의 마스코트 캐릭터

출처: https://go.dev/blog/gopher

시작 전에

환경: Mac OS 13.0 (M1 프로세서)
운영체제가 Windows, Linux로 다른 경우에도 절차는 똑같습니다.
다만 운영체제별 Jupyter의 경로와 kennel.json 파일 수정 방법에는 차이가 있습니다.
다른 운영체제인 경우에는 아래 절차를 빠르게 훑고 gophernotes github의 README.md 파일에서 해당 운영체제 명령어를 확인하시면 될 것 같습니다.

절차 2단계

1 단계: go에 gophernotes 설치

2 단계: Jupyter 경로에 gophernotes kernel.json 파일 복사 및 수정

gohpernotes github 주소

https://github.com/gopherdata/gophernotes

GitHub - gopherdata/gophernotes: The Go kernel for Jupyter notebooks and nteract.

The Go kernel for Jupyter notebooks and nteract. Contribute to gopherdata/gophernotes development by creating an account on GitHub.

github.com

1. go에 gophernotes 설치

gohpernotes를 go에 설치하는 명령어들입니다.

GOPATH 경로에 있는 패키지 관리 경로(src 디렉토리)에 gophernotes 프로젝트 디렉토리 생성

mkdir -p "$(go env GOPATH)"/src/github.com/gopherdata
cd "$(go env GOPATH)"/src/github.com/gopherdata

gophernotes 프로젝트 복사 (git clone)

git clone <https://github.com/gopherdata/gophernotes>

gophernotes 경로로 이동해 최신 버전(’2023년 1월 7일 기준 v0.7.5)으로 변경 후 설치

cd gophernotes
git checkout -f v0.7.5
go install

2. Jupyter 경로에 gophernotes kernel.json 파일 복사 및 수정

Jupyter 경로에 kernel.json 파일을 생성하는 명령어들입니다.

kernels/gophernotes 디렉토리 생성

mkdir -p ~/Library/Jupyter/kernels/gophernotes

생성한 디렉토리로 이동 후 1번 gophernotes 경로에 설치된 kernel 디렉토리 복사

cd ~/Library/Jupyter/kernels/gophernotes
cp "$(go env GOPATH)"/src/github.com/gopherdata/gophernotes/kernel/* "."

sed 명령어로 kernel.json 파일 편집

chmod +w ./kernel.json # in case copied kernel.json has no write permission
sed "s|gophernotes|$(go env GOPATH)/bin/gophernotes|" < kernel.json.in > kernel.json

편집 완료된 kernel.json 파일 예시

kernel.json 파일에 gophernotes 명령어 경로를 추가했습니다 (go/bin/gophernotes)

3. Jupyter Notebook 또는 Lab 실행

Jupyter Notebook, Lab을 실행하면 Go Notebook이 추가된 걸 확인할 수 있습니다.

jupyter lab
jupyter notebook

Jupyter Lab 예시

Jupyter Notebook 예시

기타 궁금하신 사항은 댓글 남겨주세요.

감사합니다.

참고자료

1. new_challenge님 블로그, "[Golang] 쥬피터노트북(jupyter) 환경에서 고랭 사용하기", https://soyoung-new-challenge.tistory.com/101
2. gopherData github 커뮤니티: https://github.com/gopherdata/gophernotes

[Git] 깃 커밋 메시지 수정하기 (Changing commit message, git commit message 수정)

엔지니어- — Tue, 3 Jan 2023 00:49:00 +0900

git commit 메시지를 변경하는 방법입니다.

로컬에만 커밋한 경우와

로컬에서 커밋 후 remote 저장소에 push한 경우를 다룹니다.

1. 로컬에만 commit한 경우 (remote 저장소에 push하지 않음)

git commit --amend

git commit 명령어의 --amend 옵션을 사용해 커밋 메시지를 수정할 수 있습니다(amend: 개정하다).

--amend 옵션으로는 가장 최근 commit 메시지 1개만 수정할 수 있습니다.

가장 최근 커밋 메시지가 아닌 이전 커밋 메시지를 수정하고 싶으신 경우 아래 "3. 이전 커밋 메시지를 수정하고 싶을 때"를 참고해 주세요

(git rebase -i HEAD~n 명령어)

git commit --amend 예시: i를 입력해 Insert 모드로 수정하고, :wq를 입력해 저장 및 종료(write, quit)합니다.

위와 같이 최상단에 commit message가 있는 commit 정보 페이지가 vi 편집기로 열립니다.

키보드 i를 눌러 vi 편집 모드로 들어가 메시지를 수정하고 esc를 한번 누른 후 :wq 를 입력해 저장 및 종료하면 커밋 메시지 수정이 완료됩니다.

2. 로컬에서 commit 했고 remote 저장소에 push까지 완료한 경우

commit 메시지 수정 방법은 위와 동일하고 원격 저장소에 --force 옵션을 사용해 강제로 push 해주어야 합니다.

git push --force 원격저장소이름 브랜치이름
# 예시
# git push --force origin main

GitHub 문서를 보면 --force 옵션을 사용하는 것을 권장하지는 않습니다.

(https://docs.github.com/en/pull-requests/committing-changes-to-your-project/creating-and-editing-commits/changing-a-commit-message)

We strongly discourage force pushing, since this changes the history of your repository. If you force push, people who have already cloned your repository will have to manually fix their local history. For more information, see "Recovering from upstream rebase" in the Git manual.

commit 메시지 변경 전 Repository를 클론 했던 다른 유저들이 있다면 커밋 메시지를 수동으로 바꿔야 하는 불편함이 있다고 합니다.

(물론 다른 사용자가 Repository를 클론 하기 전에 빠르게 수정하면 상관없을 것 같긴 합니다)

원격 저장소에 push 하기 전에는 commit 메시지를 다시 한번 확인하는 것을 권장합니다.

3. 이전 커밋 메시지를 수정하고 싶을 때 (가장 최근 commit 메시지 1개 외에)

git rebase -i HEAD~n 명령어를 사용해 최근 n개 커밋 메시지까지 수정 가능합니다.

예를 들어 최근 3개 커밋 메시지를 수정하고 싶다면 아래와 같이 입력합니다.

git rebase -i HEAD~3

1번행 pick f6beed7 ...이 3회 전의 커밋 메시지이고 3번행 pic 189cee6이 가장 최근 커밋 메시지 입니다.

i를 입력해 vi 입력 모드로 전환 후 커밋 메시지를 수정합니다.

커밋 메시지 수정 완료 후에는 esc를 누르고 :wq를 입력해 저장 및 종료합니다.

원격저장소에 push한 경우에는 "2. 로컬에서 commit했고 remote 저장소에 push까지 완료한 경우"와 동일하게

git push --force 명령어로 원격저장소를 업데이트해줘야 합니다.

참고자료

1. mayinjanuary님 블로그, "[git] 커밋 메세지 수정하기 (changing commit message)", https://velog.io/@mayinjanuary/git-%EC%BB%A4%EB%B0%8B-%EB%A9%94%EC%84%B8%EC%A7%80-%EC%88%98%EC%A0%95%ED%95%98%EA%B8%B0-changing-commit-message
2. GitHub Docs, "Changing a commit message", https://docs.github.com/en/pull-requests/committing-changes-to-your-project/creating-and-editing-commits/changing-a-commit-message

[GO gRPC 에러 해결] protoc-gen-go: program not found or is not executable

엔지니어- — Mon, 2 Jan 2023 00:10:39 +0900

환경: MacOS 13.0 (M1)

MaxOS가 아닌 Linux 운영체제에서 해당 오류 발생 시 ~/.zshrc 파일이 아닌 사용하는 쉘 설정파일에서 PATH를 수정해주시면 됩니다(대부분 bash쉘을 사용하기에 ~/.bashrc 파일 수정).
쉘 뒤에 붙은 rc의 의미: "run commands", https://superuser.com/questions/173165/what-does-the-rc-in-bashrc-etc-mean

What does the 'rc' in `.bashrc`, etc. mean?

Well, this is embarrassing. I feel like I just realised I don't know a loyal colleague's name after working with them for 10 years. "Hey, er... *cough!*, thanks for that great job you did on settin...

superuser.com

에러 상황

명령어

protoc 명령어로 컴파일 진행

protoc -I=. \                    
--go_out . --go_opt paths=source_relative \
--go-grpc_out . --go-grpc_opt paths=source_relative \
protos/v1/user/user.proto

에러 메시지

protoc-gen-go 명령어를 찾을 수 없거나 실행할 수 없다.

protoc-gen-go: program not found or is not executable
Please specify a program using absolute path or make sure the program is available in your PATH system variable
--go_out: protoc-gen-go: Plugin failed with status code 1.

protoc-gen-go: program not found or is not executable

Please specify a program using absolute path or make sure the program is available in your PATH system variable --go_out: protoc-gen-go: Plugin failed with status code 1.

해결 방법

protoc-gen-go 명령어가 위치한 경로를 명령어를 찾는 PATH 환경변수에 추가하면 해결 할 수 있습니다.

protoc-gen-go 명령어 위치

protoc-gen-go 명령어는 $GOPATH/bin에 설치되어 있습니다.

# GOPATH 확인
go env | grep GOPATH
GOPATH="/Users/kim/go"

# GOPATH에 /bin을 추가해 파일목록 확인
ls -lh /Users/kim/go/bin

protoc-gen-go 명령어 확인

PATH 환경변수에 protoc-gen-go 명령어 위치 추가

export 명령어를 사용해 일시적으로 추가할 수도 있지만 쉘 run commands 파일을 수정해 반영구적으로 적용하겠습니다.
운영체제에 맞게 쉘 설정파일을 수정해주시면 됩니다.
MacOS 쉘 run commands 파일: ~/.zshrc
Linux 배포판들의 경우 대부분 bash쉘을 기본쉘로 사용, bash쉘 run commands 파일: ~/bashrc

MacOS 예시

Bash쉘을 사용하는 Linux 배포판의 경우 ~/.bashrc 파일 수정

vi ~/.zshrc
export PATH="$PATH:/Users/kim/go/bin"

PATH 환경변수에 protoc-gen-go 파일의 경로 추가

.zshrc 파일 적용 (source 명령어)

source ~/.zshrc

결과

which 명령어로 protoc-gen-go의 위치가 확인되고, protoc 명령어로 컴파일하는 것도 문제가 없습니다.

which 명령어로 protoc-gen-go 명령어 위치 확인 및 protoc로 컴파일

기타 궁금하신 사항은 댓글 남겨주세요.

감사합니다.

참고 자료

1. 코딩 세상님 블로그, "[Protocol Buffer/gPRC] protoc-gen-go-grpc:....", https://darkstart.tistory.com/160
2. protobuf GitHub, "protoc-gen-go: program not found or is not executable #795", https://github.com/golang/protobuf/issues/795
3. DevJin-Blog, "Golang gRPC server 구축하기 (1) - gRPC란 무엇인가?" , https://devjin-blog.com/golang-grpc-server-1/

[펠리너 헤르만스] 프로그래머의 뇌: 훌륭한 프로그래머가 알아야할 인지과학의 모든 것 (2022)

엔지니어- — Thu, 15 Dec 2022 23:14:23 +0900

https://product.kyobobook.co.kr/detail/S000001952236

프로그래머의 뇌 | 펠리너 헤르만스 - 교보문고

프로그래머의 뇌 | 인지과학을 활용한 개발자의 일머리 개선법이 책은 인지과학에 기반을 둔 각종 방법론으로 개발자가 새로운 언어나 프레임워크를 빠르게 배워 생산성을 향상하도록 돕는다.

product.kyobobook.co.kr

1. 저자

펠리너 헤르만스(Felienne Hermans) 네덜란드 레이던 대학교의 부교수로 프로그래밍 교육과 언어가 주 연구분야인 거 같다.
어떤 분인지 궁금해서 조금 더 찾아보니 주말에는 대학생이 아닌 어린 학생들을 가르치기도 하고 SE radio(Software Engineering Radio, https://www.se-radio.net/) 팟캐스트에서도 활동하는 비교적 젊은 교수님(2013년 델프트 공과대학교에서 박사 학위 취득) 인 것 같다.
대학교 페이지: https://www.universiteitleiden.nl/en/staffmembers/felienne-hermans/publications#tab-1

2. 내용

프로그래밍 과정에 숨어 있는 인지과정 이야기를 시작으로 코드를 잘 이해하는 방법과 좋은 코드를 작성하는 방법 그리고 협력해서 일하는 방법까지 제안한다.

2.1. Part 1: 코드 더 잘 읽기

코드가 초래하는 3가지 종류의 혼란(지식, 정보, 처리능력 부족)
LTM(Long-Term Memory) , STM(Short-Term Memory), 작업 기억 공간
프로그래머들의 청킹(Chunking, 정보를 의미있는 묶음으로 만드는 것 )
코드에서 자주사용하는 패턴 알기
중간에 문법을 검색하며 프로그래밍이 끊어지는 행위의 단점 그리고 문법을 빠르게 배우기 위한 플래시카드 활용 제안
의존 그래프, 상태표를 작성해 인지 부하 줄이기

2.2. Part 2: 코드에 대해 생각하기

변수들의 세부 분류: 상수, 임시 변수, 스테퍼(i를 1부터 100까지), 누적되는 변수, 최근 값을 담고 있는 변수, 컨테이너(원소를 추가하거나 삭제할 수 있는 자료형) 등 변수의 역할로 코드 보기
변수명의 의미를 추론하거나 기존 지식을 활용해서 코드 이해, 코드에서 중요한 라인 찾기, 코드 요약

2.3. Part 3: 좋은 코드 작성하기

코드베이스의 명명 관행을 지키고 보다 명확한 이름을 지으려 노력하기 (ex. max_score가 score_max보다 자연어와 가까워 이해하기 쉽다)
코드 스멜 (파울러, 리팩터링) 피하기

언어적 안티패턴 피하기

언어적 안티패턴은 메서드 입출력 정의, 설명 문서, 속성 이름, 데이터 타입, 주석 문 등의 언어적 요소가 수행하는 역할과 일치하지 않을 때 발생한다
is_valid: 불리언 변수(True, False)처럼 보이는 변수가 정수 값을 가지는 것
getCustomers 메서드: 고객의 리스트를 반환할 것 같은 메서드가 하나의 불리언 값을 반환하는 것

아나우도바(Venera Arnaoudova)의 6가지 언어적 안티 패턴 (책 166 Page) 순번 내용

순번	안티패턴 내용
1	이름이 나타내는 것보다 더 많은 일을 하는 메서드
2	이름이 나타내는 것보다 더 적은 일을 하는 메서드
3	이름과 정반대의 일을 하는 메서드
4	개체에 포함된 것보다 더 많은 것을 가지고 있는 것처럼 보이는 식별자 이름
5	개체에 포함된 것을 누락하는 식별자 이름
6	개체에 포함된 것과 반대되는 식별자 이름

의도적 연습으로 기본 문법, 단축키를 암기하고 자동화 하기
기존 코드, 코드 설계 방법을 이해하기

2.4. Part 4: 코딩에서의 협업

작업 중 중단이 미치는 영향이 크다는 것을 이해
- 중단 이후 원래 작업으로 돌아가는 데는 약 25분의 시간이 걸리고 1분 이내 작업을 재개하는 경우는 10%에 불과했다. - 198page
작업 중 중단이 발생하는 것에 대응하기
- 중단을 예방한다.
  - 자신이 집중하고 있다는 것을 어떻게든 동료들에게 알림(닌자 모드)
- 중단에 잘 대비한다.
  - 1. 현재 하던 정신 모델을 잘 저장하기
  - 2. 다음에 이어서 하려던 작업을 적어 놓기
  - 3. 프로그래밍 작업을 쪼개서 준비해두기
Part4 - Ch12 대규모 시스템의 설계와 개선 부분은 빠르게 훑고 스킵했다.
새로운 팀원의 적응을 지원할 때 적응 과정에서 너무 많은 정보를 전달하면 새로운 팀원은 인지부하를 느끼고 생각하지 못하게 된다.
- 새로운 직원은 인지부하로 괴로워하고 일이 많은 것 같아 걱정할 수 있고, 기존 팀원들은 새로운 팀원이 그다지 똑똑하지 않다고 생각할 수 있다.
지식 전달에 대한 안티 패턴 3가지 - 230page
- 고 평면선: 추상화된 용어로만 설명하는 것
- 저 평면선: 구체적으로 설명하나 그것이 왜 필요한지는 이야기하지 않는 것
- 추상적 → 구체적으로 이야기를 잘 풀어갔으나 다시 한번 생각할 기회를 주지 않는 것

3. 인상 깊었던 부분

문법과 IDE의 사용법을 잘 아는 것도 중요하다는 생각
- 문법, IDE 사용법 검색 2가지 모두 일시적인 작업 중단을 일으킨다.
- 다른 언어를 새롭게 배울 때 컨테이너 자료형 데이터 처리와 반복문에서 특히 애를 먹었던 기억이 있다.
- 어떻게 구현해야 할지 생각은 떠오르나 기본적인 문법 지식이 없으니 답답했다.
- 새로운 언어를 다루게 될 때는 문법을 플래시카드로 빠르게 익히는 방법을 쓰면 좋을 것 같다.
변수의 체계적 분류와 코딩 테스트를 하는 것처럼 상태 분류표를 활용해 이해가 어려운 코드 해석하기
작업 중단에 잘 대처하는 방법
새로운 팀원의 온보딩에 대한 이야기

4. 적용

4.1. 당장 할 것

1. VSCode 기준으로 IDE 단축키, 세팅 방법을 익히고 주요 Extensions 사용 방법을 숙지

기존에 VSCode, PyCharm, IntelliJ, GoLand, WebStorm 등 여러 가지 IDE를 상황에 따라 사용했었다.
현재 회사 구성원 대부분이 VSCode를 사용하기에 VSCode 기준으로 IDE 단축키, 세팅, 주요 Extensions사용법을 숙지하고 IDE 사용법을 위해 검색하다 프로그래밍의 흐름이 끊기지 않도록 하자.

2. 새로운 언어 문법 체계적으로 익히기

JS 또는 TS를 새롭게 배워야 할 것 같다.
지난 11월 Go 문법을 익히기 위해 2시간 정도의 짧은 인프런 강의로 문법을 공부한 적 있었는데 많은 도움이 됐다.
예전 기억을 더듬어보니 Python도 점프 투 파이썬이라는 책을 8시간 정도 따라 하며 익혔던 기억이 난다.
JS, TS를 사용하기 전에 JS관련 얇은 책 또는 4시간 미만 강의로 빠르게 훑자.
중점적으로 볼 것: 반복문 생성 방법(while, for, foreach), 분기문 생성 방법(if, switch..), 주요 컨테이너 자료형(배열, 사전, 중복이 허용되지 않는 집합 등), 컨테이너 자료형을 다루는 메서드 들, 함수, 클래스 생성 방법, 패키지 불러오기, 패키지 관리하기

3. 작업 중단에 잘 대처하기

서비스 에러 확인, 데이터 요청, 회의, 질문 등 프로그래밍 업무 중 작업 중단이 발생하는 경우가 있다.
작업 중단이 발생하면 기존에 하던 작업을 까먹지 않도록 메모하고, 중단 이후에 어디부터 시작할 건지 미리 적도록 하자. 또한 큰 작업의 경우 미리 쪼갠 후에 작업한다.

4.2. 나중에 할 것

1. 온보딩 돕기

새로운 팀원이 들어오면 잘 적응할 수 있도록 온보딩 과정을 돕는다.
지식을 전달하게 되면 지식 전달의 안티 패턴(고 평명선, 저 평면선, 다시 한번 생각할 기회를 주지 않는 것)을 조심한다.
온보딩을 도울 일이 생기면 책의 "Chapter 13: 새로운 개발자 팀원의 적응 지원"을 다시 보자

2. 이해하기 어려운 코드를 분해하고 해석하며 확인하기

상태표 활용, 변수의 체계적 분류

[박종천] 개발자로 살아남기

엔지니어- — Sat, 3 Sep 2022 23:20:00 +0900

개발자로 살아남기

실리콘밸리와 우리나라에서 30년간 TOP 개발자로 활약한 저자의 커리어패스 인사이트를 공개합니다. 저자가 제안하는 ‘성장하는 30년 커리어패스’에 도전하세요. 처음 10년은 성장하는 시기, 다음은 리딩하며 일하는 시기, 마지막은 서포트하는 시기입니다. 시기별로 엔지니어링 역량, 매니지먼트 역량, 비즈니스 역량을 갖추세요. 이 책은 주니어/시니어 개발자, 팀장, 리드에 이르기까지 다양한 역할에 필요한 역량을 9가지 기술 중심으로 소개합니다.

저자: 박종천

출판: 골든래빗(주)

출판일: 2022.01.01

저자: 박종천 님

1993년 한글과컴퓨터 개발자를 시작으로 미국 블리자드, 엔씨소프트, 삼성, 몰로코(현재) 등 다양한 기업에서 개발자, 시니어 개발자, 테크니컬 리더, 그룹장 등으로 근무한 경험이 있는 분이다.

예전에 NC소프트 시절 커리어 강의 내용 유튜브를 통해 본적 있었는데, 도서관에서 우연찮게 책을 발견해 보게 되었다.

30년 동안 개발자로 살아남은 것이 대단해 보였고 책을 읽다 보니 종천님만의 시간관리 노하우가 30년 커리어를 만들어 준 것 같다는 느낌을 받았다.

책 요약

책은 4개 파트로 나눠져 있다,.

앞의 3개 파트는 개발자가 쌓아야 할 역량을 3가지로 나눠서 이야기한다.

1. 엔지니어링 역량

2. 매니지먼트 역량

3. 비즈니스 역량

마지막 4번 파트인 개발자로 살아남기 30년에서는 앞의 내용을 정리하며 저자분의 시간관리 노하우를 한번 더 공유해준다.

인상 깊었던 부분

38page

외국 생활을 해보니 처음 1년 동안 느는 영어가 이후로 사용하게 되는 영어였다는 내용.
개발자도 개발 경력 초기 10년 동안 쌓은 엔지니어링 역량이 매우 중요

39page

여러분도 항상 이 말을 기억했으면 좋겠습니다. "세상은 배우는 자와 배우지 않는 자로 나뉜다." 많은 것을 보고 공부하고, 좋은 책을 보고, 좋은 사람을 만나서 끊임없이 성장하는 것만이 개발 업계에서 살아남을 수 있는 비결입니다. 동시에 굉장히 재밌게 생활하는 길입니다.

59page: 애자일 선언 이면의 원칙 (상세 내용은 다음에 짧게 따로 정리 예정)

70page

늘 부족한 시간과 인력에 대한 이야기, 팀 형성과정

87~97page

시간과 품질 사이의 줄다리기(타임 to 마켓이 중요한 경우인지 완성도가 중요한 경우인지 맥락을 파악하기)
팀의 역할을 완벽하게 나눌경우: 의욕이 떨어지고, 역할 이기주의가 발생하는 경우도 있음
할 일을 고를 때: 중요한 업무인지 아닌지부터 보아야 한다.
긴급하고 중요한 일이 계속해서 튀어나오면 proactive 하게 살 수 없다. 중요하지만 급하지 않은 일들을 처리해서 긴급하고 중요한 일들이 튀어나오지 않도록 하고 proactive하게 업무해야 즐겁게 일할 수 있다.

101page

어렵고 큰일, 필요하지만 잘 모르는 일을 먼저 해야 성공할 수 있다.
개발자는 경력이 쌓이면서 처음 해보는 일도 잘할 수 있는 능력이 생겨야 한다. (별도로 정리하면 좋을 주제)
필요 + 모르는 일은 100개로 쪼개 아는 일로 만들어서 해결하라.

103page

속도와 방향성
빠른 속도로 올바른 방향으로 가는 게 최고긴 하다.
최악은 역시 느린 속도로 틀린 방향으로 가는 것.
모든 일에는 지속 가능성이 중요하다 (고3 시절 공부할 때 24시면 불을 끄던 저자님의 아버지 일화: 매일 밤새면서 살래?)
방향을 맞추고 안정적인 속도로 가면 된다.

106page

기술력 점검하기, 조엘 테스트 (나중에 보면 좋을 듯)

112~113page

제품, 기술, 사람 3가지 중 어떤 부분을 사랑하는지
개인의 성향 체크 Why, What, How, What if
Starter, Implementer, Finisher

231page

혼자서 붙들고 있다가 일을 그르치는 게 정말 나쁘다
혼자서 어디 간에 너무 빠지기 전에 도움을 요청하라 (팀이 존재하는 이유)
4일 업무면 2일 차에는 매니저에게 점검받아라

234page

비효율은 큰 덩치부터 제거하라
시간을 벌고 싶으면 시간 관리하는데 시간을 사용하라 (5%)

266page: 5년 후 질문

이 회사는 5년을 갈 것인가?
나는 5년 후에도 이 회사에서 일하고 있을 것인가?
5년 후에 내가 이 회사에 아직 있다면, 나는 무슨 일을 하고 있을 것인가?

삶에 적용하기

이제 경력으로는 4년 차에 접어드는 주니어지만 책을 보며 많은 것을 공감할 수 있었고, 짧고 간결하게 노하우를 공유해주는 저자분에게 감사했다.

엔지니어링 역량이 어느 수준을 넘어선 시점부터는 우선순위를 파악하는 능력(비즈니스에 임팩트 있는 일을 찾는 것)이 확실히 중요해 보인다.

지금 내 상황에서 매니징 / 비즈니스와 관련된 부분은 당장 적용하기 힘들지만 향 후 참고서로 볼 수 있을 것 같다.

아이젠하워 매트릭스, 출처: https://m.post.naver.com/viewer/postView.nhn?volumeNo=18908235&memberNo=37680212&searchKeyword=%EC%88%9C%EC%9C%84&searchRank=106

적용할 것

업무 우선순위를 파악하기
Proactive 하게 일하기 (중요한 것 부터하고, 중요하지 않은 것은 위임하거나 하지 않거나 어느 정도만 하기)
매니저에게 당당히 피드백을 요구하기
5년 후 질문으로 회사 선택하기
나중에 책 다시 보기

RedShift 테이블 별 용량 조회하기 (레드시프트 테이블 용량 조회)

엔지니어- — Mon, 29 Aug 2022 23:59:06 +0900

AWS RedShift에서 테이블 용량을 조회하는 방법 입니다.

(SVV_TABLE_INFO 뷰 테이블 조회)

RedShfit(레드시프트)란?

AWS에서 제공하는 Managed 데이터 웨어하우스
클러스터로 구성되며 대용량 병렬 처리(MPP, Massive Parallel Processing) 지원
컬럼 기반(column-oriented) 데이터 스토리지로 디스크에서 필요한 컬럼만 읽어와 처리함
S3에 쿼리 할 수 있는 Redshift Spectrum(레드시프트 스펙트럼) 기능 지원
PostgreSQL을 기반으로 만들어짐

레드시프트 테이블별 용량 조회하기

방법: SVV 뷰(View)의 SVV_TABLE_INFO 뷰 테이블 조회
SVV 뷰: 레드시프트의 시스템 뷰 중 하나로 STV(시스템 정보 스냅샷 데이터) 뷰를 가공해 유용한 정보를 제공함
SVV 뷰에는 SVV_ALL_SCHEMAS, SVV_ALL_COLUMNS, SVV_VACCUM_PROGRESS 등 컬럼, 스키마 Vaccum 정보 등 를 볼 수 있는 다양한 뷰 테이블이 존재함 (https://docs.aws.amazon.com/redshift/latest/dg/svv_views.html)

SVV_TABLE_INFO 테이블 조회 예시 쿼리

select
        database
     ,  schema
     ,  "table"
     ,  size
     ,  pct_used
     ,  tbl_rows
from SVV_TABLE_INFO
order by size desc;

조회 결과

조회결과, size의 단위는 MB 입니다.

참고자료

ness님 블로그, [AWS] Redshift 기초 이해하기, https://data-engineer-tech.tistory.com/41
데엔잘하고싶은데엔님 블로그, [Redshift] Redshift 란?, 다른 DB들과 차이점은? https://pearlluck.tistory.com/648
IT마스터되자님 블로그, [ AWS ] AWS RedShfit 정리, https://itjava.tistory.com/23
AWS 레드시프트 System views 공식 문서, https://docs.aws.amazon.com/redshift/latest/dg/c_intro_system_views.html

System views - Amazon Redshift

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

NoSQL 등장 배경 및 종류: 트래픽 증가에 대응하기 위해 등장

엔지니어- — Tue, 23 Aug 2022 23:40:14 +0900

회사의 일부 서비스에서 MongoDB, ElasticSearch, DocumentDB 등 NoSQL 데이터베이스 관리 시스템을 사용하고 있어

왜 / 어떤 경우에 NoSQL을 사용하는지 등장 배경부터 한번 정리해봤습니다. (NoSQL 사용 이유)

NoSQL(Not Only SQL) 이란?

SQL만을 사용하지 않는 DBMS(Database Managment System, 데이터베이스 관리 시스템)들을 지칭하는 용어
과거 RDBMS(Relational Database Managment System, 관계형 데이터베이스 관리 시스템)와 달리 SQL이 아닌 다른 방식으로 데이터를 처리 / 조회 (물론 SQL과 비슷한 명령어를 지원하기도 함)
Redis, MongoDB, HBase, ElasticSearch, AWS DynamoDB 등이 NoSQL 데이터베이스 관리 시스템

등장 배경

주 배경: 트래픽의 증가

FaceBook, Twitter, GoogleAnalytics 등의 서비스에서 트래픽이 폭발적으로 증가
증가한 트래픽을 기존 RDBMS만으로는 감당하기 힘들어짐
기존 RDBMS 대부분이 클러스터 환경을 지원하지 않기에 Scale-up으로 대응해야 하는데 이는 물리적인 한계와 많은 비용 발생

증가한 트래픽에 대응하기

1. Scale-out 을 지원: 클러스터 환경을 지원하는 데이터 관리시스템으로 트래픽에 대응

2. 서버의 데이터 처리 최소화

RDBMS처럼 다수의 Join이 있다면 클러스터 환경에서 데이터를 처리하기 힘듦
Key-value, Document 형태로 데이터의 집합을 통째로 저장하고 사용함(Join 등의 서버 측 데이터 처리 불필요)

이외 등장 배경

1. 네트워크 대역폭 증가: 더 이상 네트워크가 서비스의 병목이 아님(서비스의 병목이 네트워크 속도에서 서버의 처리속도로 변화)
2. 저렴해진 저장 장치: Key-value, Document 형태로 데이터를 저장하면 데이터의 중복 저장으로 저장소 용량이 커질 수 있음, 하지만 저장 장치의 가격이 저렴해졌기에 큰 문제가 되지 않음
3. 클라이언트 성능의 향상: 클라이언트(노트북, 스마트폰, 기타 IoT 장비) 장비의 성능이 대폭 향상되어 데이터베이스 관리시스템에서 통째로 데이터를 전달해도 클라이언트에서 빠른 처리가 가능 (ex. 중첩된 Json 데이터의 파싱)

NoSQL 데이터베이스 관리시스템의 종류

아래와 같이 다양한 형태의 종류가 있음

NoSQL Type 분류	종류
Key-Value	Redis, Amazone Dynamo DB, MemcacheDB, Riak, LevelDB 등
Document	MongoDB, ElasticSearch, CouchDB, MarkLogic 등
Bigtable (Column-Family)	HBase, Cassandra, Cloudata, Hypertable, Accumulo 등
Graph	Neo4j, FlockDB 등

NoSQL Type별 특성 (출처: Data On-Air, https://dataonair.or.kr/db-tech-reference/d-guide/data-practical/?mod=document&uid=389)

NoSQL 데이터베이스 장점, 단점 및 사용 시기

장점

클러스터 환경에서 대용량 서비스에 대응할 수 있음
고정된 스키마가 없기에 일단 Value, Document 형태로 데이터를 넣어 빠르게 개발할 수 있음

단점

RDBMS처럼 안정적인 트랜잭션을 보장하지 못함
업데이트가 자주 일어나는 테이블에는 부적합할 수 있음 (여러 데이터를 갱신해야 하는 경우 발생)
빠르게 개발할 수 있으나 유지보수는 어려워질 수 있음 (스키마가 정해져 있지 않기에 케이스별 코드 / 예외처리가 필요할 수 있음, Type이 엄격하지 않은 Python과 같은 언어와 Type이 엄격한 Java, C++ 등의 차이와 비슷한 거 같기도 합니다.)

사용 시기

대용량의 데이터를 Scale-out으로 처리해야 하는 경우 (게임 로그, 서비스 로그 저장 등)

기타 궁금하신 사항은 편하게 댓글 남겨주세요.

감사합니다.

참고자료

- 1. 나무 위키, [NoSQL], https://namu.wiki/w/NoSQL#fn-6
- 2. Data On-Air, [NoSQL 범주], https://dataonair.or.kr/db-tech-reference/d-guide/data-practical/?mod=document&uid=389
- 3. 샴샴님 블로그, [NoSQL의 등장 배경, 정의, 특징], https://blog.naver.com/PostView.nhn?blogId=fkdltmxlr3&logNo=222081793617
- 4.人CoDOM, [NoSQL 정의 및 역사], http://www.incodom.kr/NoSQL_%EC%A0%95%EC%9D%98_%EB%B0%8F_%EC%97%AD%EC%82%AC

[Python] 이미지 파일에서 메타데이터(Metadata) 추출하기

엔지니어- — Wed, 17 Aug 2022 23:26:13 +0900

사진 파일을 열어보면 아래와 같이 사진의 세부정보를 설명하는 데이터를 볼 수 있습니다.

밑의 정보처럼 다른 데이터를 설명하기 위해 만들어진 데이터를 메타데이터(Metadata)라고 이야기합니다.

이번 포스팅은 사진 파일에서 Python을 이용해 메타데이터를 추출하는 방법에 대해 다루려고 합니다.

이미지 정보 1

이미지 정보 2

이미지 정보 3

개요

사진에서 위치정보, 노출시간, 조리개 정보, 촬영시각 등 메타정보(메타데이터)를 추출하기 위해 Python의 PIL(Python Image Library)을 활용합니다.

메타데이터의 추출은 디지털카메라, 휴대폰 카메라의 사진들이 EXIF(Exchangeable Image File Format) 메타데이터 포맷에 맞춰 정보들을 담고 있기에 가능합니다.

EXIF 메타데이터 포맷은 표준은 아니지만 오늘날 대부분의 카메라들이 사진 촬영 시 EXIF 포맷으로 정보를 저장하기에 사실상 표준으로 봐도 무방합니다.

EXIF 메타데이터는 다음과 같은 정보(출처: 나무 위키)를 포함합니다.

날짜와 시간 정보
카메라 정보(카메라 제조사, 모델명), 스마트폰이라면 스마트폰 제조사, 모델명
카메라 설정 정보(초점 거리, 플래시 여부, ISO 감도, 조리개, 셔터 속도, 회전 방향, 색 공간 등)
위치 정보 (고도, 위도, 경도)
이외 EXIF 메타데이터가 담고 있는 정보 참고자료 : https://exiftool.org/TagNames/EXIF.html

추출 방법

1. Python image library 설치

pip install image

2. 이미지 불러오기

import PIL.Image
from pprint import pprint

# 이미지 불러오기 (YourPath 부분 수정 해주세요)
img = PIL.Image.open("YourPath/능소화.jpeg")

# 메타데이터 불러오기
meta_data = img._getexif()
# 정보 출력
pprint(meta_data)

출력 예시

뭔가 복잡한 메타 정보들

3. 필요한 메타데이터 추출하기

저는 촬영기기의 제조사, 모델명 그리고 촬영 시각, GPS 정보를 추출해 봤습니다. (이미지에서 좌표 정보 추출, 고도 정보 추출하는 것이 주목적이었습니다)

- 271: 제조사
- 272: 모델명
- 36868: 촬영 시각
- 36881: 촬영 시각 offset 정보
- 34853: 좌표 정보 2: 경도, 4: 위도, 6: 고도

각 데이터 코드에 대한 상세 정보는 다음 링크에서 확인할 수 있습니다.
https://exiftool.org/TagNames/EXIF.html

EXIF Tags

Tag IDTag Name WritableGroupValues / Notes 0x0001 InteropIndex string! InteropIFD 'R03' = R03 - DCF option file (Adobe RGB) 'R98' = R98 - DCF basic file (sRGB) 'THM' = THM - DCF thumbnail file 0x0002 InteropVersion undef!: InteropIFD 0x000b ProcessingS

exiftool.org

위의 링크에 들어가시면 코드들이 16진수로 나와 있기에 Python의 int함수를 이용해 10진수로 변환하시면 확인하기 편합니다.
int("16진수 코드값", 16)

EXIP GPSinfo의 16진수 코드는 0x8825

0x8825를 10진수로 변환하기

최종적으로 위에서 언급한 5개 정보를 이미지에서 추출한 결과는 아래와 같습니다.

# 메타데이터 정보 저장
company = meta_data[271]
model = meta_data[272]
timestamp = meta_data[36868]
timestamp_offset = meta_data[36881]
gps_info = meta_data[34853]

# 메타데이터 정보 출력
print(company)
print(model)
print(timestamp)
print(timestamp_offset)
print(gps_info)

메타데이터 추출 결과

이미지 정보 추출시 예제로 활용하시라고 메타데이터를 담고있는 사진 1장도 함께 첨부합니다.

능소화.jpeg

3.55MB

기타 궁금하신 사항은 편하게 댓글 남겨주세요.

감사합니다.

전체코드 (이미지 경로는 수정해주세요)

참고자료

1. https://rudalson.tistory.com/entry/python%EC%9C%BC%EB%A1%9C-image-%EC%B2%98%EB%A6%AC%EB%A5%BC-%EC%9C%84%ED%95%9C-exif-%EC%A0%95%EB%B3%B4-%EB%8B%A4%EB%A3%A8%EA%B8%B0
2. https://namu.wiki/w/EXIF
3. https://pillow.readthedocs.io/en/stable/index.html

적은 리소스로 Airflow 설치하기 (LocalExecutor, Docker)

엔지니어- — Mon, 8 Aug 2022 00:02:47 +0900

부제: Running Airflow in Docker (LocalExecutor)

기대 효과: Airflow를 적은 리소스로 실행할 수 있다.
CeleryExecutor보다 가벼운 LocalExecutor로 Airflow를 Docker 환경에서 실행함

사전 필요사항

공식 문서를 따라서 Docker, Docker-compose 설치
링크: https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html

본문

개요

Airflow는 공식문서(위의 사전 필요사항 링크)에서 CeleryExecutor로 Docker 환경 위에 Airflow를 실행하는 방법을 제공합니다.

공식 문서를 따라 docker-compose.yml 파일을 다운로드하고

docker-compose up 명령어로 Airflow를 실행하면 기본으로 6개 컨테이너가 실행되어 리소스를 많이 잡아먹습니다.

공식 docker-compose.yml로 Airflow 실행 시 기본으로 실행되는 컨테이너 리스트 (4GB 이상 메모리 공간 요구)

postgres: Airflow 메타데이터 저장
redis: Tasks 저장용 queue
airflow-webserver: Airflow 웹서버
airflow-scheduler: Airflow 스케줄러
airflow-worker: Airflow 워커
flower: Celery 작업 모니터링

공식 문서에서 제공하는 docker-compose.yml로  Airflow 실행 시 실행되는 컨테이너 리스트

아래 docker-compose.yml 파일을 사용하면 Airflow를 LocalExecutor로 실행하여 웹서버, 스케줄러, postgres 3개 컨테이너만을 실행함으로 보다 가볍게 Airflow를 실행할 수 있습니다.

LocalExecutor로 실행한 모습, CPU, MEM USAGE 부분을 보면 확실히 리소르를 적게 잡아 먹습니다.

LocalExecutor로 Airflow 실행하기 (In Docker)

디렉토리 생성

mkdir airflow-loclexecutor
cd airflow-localexecutor
mkdir dags logs plugins

docker-compose.yml 파일 생성

docker-compose에서 참조할 .env 파일 생성

실행

docker-compose up -d

실행 모습

위처럼 적은 리소스로 Airflow를 실행하면

PoC 진행, 테스트 환경 구축 또는 워크플로우가 많지 않은 스타트업의 운영 환경(ex. 저사양 EC2에 Airflow 실행)에 활용할 수 있습니다.

기타 궁금하신 사항은 편하게 댓글 남겨주세요.

감사합니다.

참고자료 (docker-compose.yml 파일은 1번 자료를 거의 그대로 복사 했습니다)

1. Marvin Lanhenke님 Medium 블로그, https://towardsdatascience.com/setting-up-apache-airflow-with-docker-compose-in-5-minutes-56a1110f4122

Setting Up Apache Airflow with Docker-Compose in 5 Minutes

Create a development environment and start building DAGs

towardsdatascience.com

2. Airflow 공식 문서, https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html

[능소화] 2022-08-07 수원시 팔달구 매향동

엔지니어- — Sun, 7 Aug 2022 23:00:21 +0900

능소화

촬영 장소: 수원시 팔달구 매향동

특징

능소화과(Bignoniaceae)의 덩굴 식물로 관상용으로 식재
7 ~ 8월에 꽃이 피고 9 ~ 10월에 열매를 맺음

능소화 꽃

능소화 줄기 + 꽃

능소화 꽃 접사 (수술인지 암술인지는 모르지만 꽃 내부가 보입니다)

능소화는 꽃잎이 통째로 붙어있는 통꽃 입니다.

참고자료

https://terms.naver.com/entry.naver?docId=2428100&cid=46694&categoryId=46694

능소화

[개요] 중국 원산으로 우리나라 전역에서 심어 기르는 덩굴나무이다. 길이는 8-10m쯤이며, 곳곳에서 공기뿌리가 나와 다른 물체를 붙잡고 줄기는 덩굴진다. 잎은 마주나며, 작은잎 5-9장으로 된 깃

terms.naver.com

[GitHub Actions] GitHub Actions 예제, Tutorials / Github Action 샘플

엔지니어- — Thu, 16 Jun 2022 23:43:40 +0900

GitHub Actions을 사용하면 GitHub repository에 변화가 있을 때 특정 Jobs 들을 실행시킬 수 있습니다.

예를 들어 main branch 특정 파일이 Push 되거나 Merge 되었을 경우 repository의 해당 파일을 원격 저장소에 동기화하는 데 사용할 수 있습니다.

변화가 있을 때: Event가 감지되었을 때

아래는 공식 Documents의 소개 글 입니다.

Jenkins와 같은 3rd party 솔루션 없이도 GitHub Actions으로 CI/CD 파이프라인 구성이 가능합니다.

GitHub Actions
Automate, customize, and execute your software development workflows right in your repository with GitHub Actions. You can discover, create, and share actions to perform any job you'd like, including CI/CD, and combine actions in a completely customized workflow.

출처: https://docs.github.com/en/actions

이제 본론인 Github Actions 예제로 들어가 보겠습니다.

(GitHub Action example, github action example, git action, git actions, git action 예제, github actions 샘플)

공식 문서의 Quickstart 내용을 따라 했고 Actions 파일 생성, Push, Action 실행 확인 크게 3단계 과정으로 요약할 수 있습니다.

https://docs.github.com/en/actions/quickstart

Quickstart for GitHub Actions - GitHub Docs

Introduction You only need a GitHub repository to create and run a GitHub Actions workflow. In this guide, you'll add a workflow that demonstrates some of the essential features of GitHub Actions. The following example shows you how GitHub Actions jobs can

docs.github.com

Github Actions 예제 요약

1. Repository에 .github/workflows 디렉토리 생성 후 Github Actions 예제 파일 생성(.yml) 하기

2. Repository에 Push

3. GitHub Actions 실행 확인

1. Repository에 .github/workflows 디렉토리 생성 후 Github Actions 예제 파일 생성(.yml) 하기

GitHubs Actions를 적용할 Repository clone 및 디렉토리 생성

# GitHub Actions를 적용할 repository clone
git clone https://github.com/your-id/user-repository.git

# Github Actions를 위한 디렉토리 생성
cd user-repository
mkdir .github
mkdir .github/workflows

.github/workflows 디렉터리에 github-actions-demo.yml 파일 생성하기

예제파일은 .yml 포맷으로 이름, 실행 조건(on: [push]), 실행할 인스턴스 종류(run-on: ubuntu-latest), 실행할 작업들(steps: 총 10개가 순서대로 실행) 정보를 담고 있습니다.
github-actions-demo.yml 파일 코드

name: GitHub Actions Demo
on: [push]
jobs:
  Explore-GitHub-Actions:
    runs-on: ubuntu-latest
    steps:
      - run: echo "  The job was automatically triggered by a ${{ github.event_name }} event."
      - run: echo "  This job is now running on a ${{ runner.os }} server hosted by GitHub!"
      - run: echo "  The name of your branch is ${{ github.ref }} and your repository is ${{ github.repository }}."
      - name: Check out repository code
        uses: actions/checkout@v3
      - run: echo "  The ${{ github.repository }} repository has been cloned to the runner."
      - run: echo " ️ The workflow is now ready to test your code on the runner."
      - name: List files in the repository
        run: |
          ls ${{ github.workspace }}
      - run: echo "  This job's status is ${{ job.status }}."

#출처: https://docs.github.com/en/actions/quickstart

디렉터리 및 파일 생성 결과

디렉터리 및 예제파일 생성 완료

샘플 repository 경로: https://github.com/menthamin/github-actions

GitHub - menthamin/github-actions: GitHub Actions Example

GitHub Actions Example. Contribute to menthamin/github-actions development by creating an account on GitHub.

github.com

2. Repository에 Push

commit 및 push 명령어

# Commit 및 push
git add -A
git stats
git commit -m "add first github actions workflows"
git push

commit 및 push 결과

Commit 및 Push

3. GitHub Actions 확인

Github repository의 Actions 탭에서 Workflows를 확인할 수 있습니다.

아래 스크린샷을 보시면 GitHub Actions Demo라는 이름의 워크플로우가 실행된 것을 확인할 수 있습니다.

Workflow 실행 결과

위의 워크플로우를 클릭하면 Workflow의 상세 Jobs 실행 정보를 확인할 수 있습니다.

GitHub Actions 파일(.yml)에서 정의한 10개 Jobs이 순서대로 실행된 것을 볼 수 있습니다.

10개 Jobs 순서대로 실행 완료

이번 포스팅에서는 GitHub Actions 예제를 통해 간단한 github actions 사용 방법을 확인해 봤습니다.

다음번에는 github event 설정과 파일 동기화, 원격 명령어 실행(execute remote command)등을 올려 보겠습니다.

기타 궁금하신 사항은 편하게 댓글 남겨주세요.

감사합니다.

참고자료

1. GitHub Actions 공식 Docs, https://docs.github.com/en/actions/quickstart

[자청] 역행자

엔지니어- — Mon, 6 Jun 2022 14:54:41 +0900

ㅡ역행자 표지

책의 뒤편 표지에 저자가 말하는 역행자가 무엇인지 요약되어 있었다.

95% 의 인간은 타고난 유전자와 본능의 꼭두각시로 살아간다. 본성에 따라 결정된 인생을 사는자 그들은 '순리자'다.

그러나 5%의 인간은 다르다. 그들은 타고난 유전자와 본성을 역행해 경제적 자유와 행복을 쟁취한다.

역행자: 본능에 역행해 사는 사람

저자

자청(자수성가청년) 2020년 유튜브로 유명했었다.

2022년 현재 30대 중반이고 이별 재회 상담, 마케팅, 교육 플랫폼, 오프라인 북카페 등 다양한 사업을 운영하고 있다.

클래스 101에 강의를 냈었고 그 강의에서만 30억이 넘는 매출이 발생한 것으로 알고 있다.

인간 본성, 심리학에 대한 관심을 이별 재회 상담 사업으로 발전시키고 그때부터 상당한 수입(월 3천만 원 이상)을 얻은 것으로 알고 있다.

이후에는 이상한 마케팅이라는 마케팅 회사를 설립하고 마케팅 회사에서는 월 1억 이상의 순수익을 얻는 것으로 알고 있다.

나는 유튜브를 통해 처음 알게 되었었고 현재는 저자의 블로그에 올라오는 글과 황금지식카페(저자가 만든 네이버 카페)에서 다른 사람들의 글을 보고 있다.

10년 여의 상담 경험과 마케팅 회사 운영 그리고 여러 사업체 운영 경험이 있는 저자라 그런지 글들에 믿음이 간다.

또한 저자가 스스로 말하는 것처럼 사람들을 후킹(관심을 끌어내는)하는 능력이 정말 뛰어난 것 같다.

저자 블로그: https://blog.naver.com/mentalisia

본문

서론

하루 2시간 책읽고 글쓰기
하루에 한번 5분의 생각 시간 가지기

1. 나는 어떻게 경제적 자유에 이르게 되었나

부자의 그릇
돈을 버는 방법
인생에도 공략집이 있다

2. 역행자 1단계: 자의식 해체

자기 합리화
열등감

3. 역행자 2단계: 정체성 만들기

높은 목표 정체성
책
환경설정
집단 무의식

4. 역행자 3단계: 유전자 오작동

클루지: 옛 체계 위에 새 체계가 얹히는 썩 아름답지 못한 기술들의 누진적인 중첩
과거 수렵채집, 농경사회생활에 머물러 있는 뇌
(수렵채집 생활에 머물러 있다고 보는 게 더 맞겠지)
지나친 평판 걱정 (좁은 범위의 부족 사회생활)
새로운 경험에 대한 오작동: 새로운 것을 배우는 것에 대해 두려워함 (뇌의 칼로리 소모 방지)
손실 회피 성향

5. 역행자 4단계: 뇌 자동화(최적화)

22 전략 2년 동안 매일 2시간 책 읽기/글쓰기
- 읽는 것보다 쓰는 것이 더 중요하다 (황금지식 카페)
- 의사결정력의 증대
- 보기만 해서는 장기기억으로 남지 않고 결국 체득화 되지 않음
뇌 가소성
복리로 지식을 쌓음
독서, 글쓰기로 문해력을 높이며 두뇌 최적화
- 최근 보았던 daniel lee라는 페북 셀럽? 분의 글이 생각났음
1주일에 한 번 10 ~ 20분 운동 이야기 (상위 10%는 가능)
오목 이론
- 결국은 여러 가지 수들 실력 기술의 조합을 생각하라는 의미로 보임
- 여러 수들의 조합으로 최적화 대체 불가능한 사람이 되는 것?
최적화 방법
1. 안 쓰던 뇌 사용
2. 안 가본 길
3. 충분한 수면 (장기 기억)

6. 역행자 5단계: 역행자의 지식

당장은 손해처럼 보여도 기버가 되는 것이 결국은 장기적인 이득 일 수 있음
- 밥을 사주는 사람
장인 정신의 역행
딱 1가지 분야의 1%, 0.1%는 달성하기 쉽지 않고 재능의 영역일 수 있음 또한 달성하기 위한 가성비도 좋지 않음, 단 상위 10~20% 달성은 그렇게 어려운 것이 아님
상위 10~20% 3개 이상의 조합 (임베스트님 님도 여러 번 이야기했었다)
- 자청: 5개 이상의 조합을 추천
노벨상 수상자 분석: 다양한 분야의 연결
다른 분야에서 차용한 이론들의 적용
메타인지
실행력 ← 인간은 유전자와 본능 때문에 익숙하지 않은 것을 해보는 것을 두려워함
- 본능에 역행해서 실행하는 건 어려움
- 잘된 사람들은 실행했음

7. 역행자 6단계: 경제적 자유를 얻는 구체적 루트

돈을 버는 근본 원리
- 상대를 편하게 해 주기
- 상대를 행복하게 해 주기
직장인, 백수, 열아홉, 50세든 경제적 자유를 얻는 방법
- 사업, 투자
경제적 자유를 위한 5가지 공부법
1. 정체성 변화
2. 20권의 법칙
3. 유튜브 시청
4. 글쓰기를 통한 초사고 세팅 (잠자기 전에 딱 10분만 타이머를 켜고, 오늘 했던 생각 중 하나를 글로 정리) - 241page
5. 온라인을 넘어 오프라인 학습으로
젊은 부자들
- 좋은 유전자와 환경을 타고남
- 주말 세미나형
- 책 덕후형
경제적 자유로 가는 알고리즘 설계
- 직장인 그룹
  - 취업 → 대기업 → 사업 → 투자
  - 취업 → 대기업 → 투자 → 사업 (대다수)
  - 취업 → 중소기업 → 임원 → 사업 → 투자
  - 취업 → 중소기업 → 평사원 → 투자 → 사업
  - 취업 → 중소기업 → 사업 → 투자
- 무스펙 그룹: 일단 뭐라도 해라
- 전문직 그룹
  - 전문직 → 고임금 → 창업 → 투자
  - 마케팅만 수반되고 역행자 7단계 모델을 따르면 반드시 경제적 자유를 얻을 수 있을 거라고 장담
- 사업자 그룹
  - 무자본, 유자본 그룹
  - 자신의 사업분야 책을 20권 이상 읽고 마케팅을 접목
직장인, 전문직, 자영업자 별 경제적 자유를 위한 구체적인 방법
전문직은 전문성이 있기에 마케팅만 수반되면 반드시 경제적 자유를 얻을 수 있을 거라 이야기함

8. 역행자 7단계: 역행자의 쳇바퀴

생각 및 적용

생각

저자의 구체적인 경험과 노하우를 공유받았다는 느낌
상당한 성취를 이루었고 똑똑한 사람임에도 겸손
인생에 공략집이 있다는 내용에 공감
영화관 알바 + 경첨/심리학 책, 대학교 + 초보가 왕초보를 가르치는 과외, 책을 읽으며 똑똑한 친구와 끊임없이 이야기하기
심리학, 철학, 친구들 상담 경험을 살려 재회 상담 사업 시작 및 성공
이후 마케팅 사업 성공 등 크고 작은 성공 경험들이 모여 쓰인 책

적용

사실 가장 중요한 부분이라고 생각함
이렇게 적는 이유도 결국은 기억하고 적용하기 위해서
꾸준히 할 수 있는 무리가 없는 선에서 가볍게 시작할 예정 (4단계 부터)
물론 욕심은 하루 2시간 매일 쓰고 블로그로 경제적 자유도 얻고 책도 읽고 공유하고 싶지만 그동안의 나를 볼 때 불가능
지속적인 행위 위해 환경 설정이 필요함
그동안 쌓인 경험으로 볼 때 나는 내적인 동기보다는 외적인 동기 부여를 믿어야 함
이를 테면 글 작성이 블로그 방문자수 증가로 이어지는 것 (의미 있는 수입과 사람들의 관심)
당장 할 수 있는 가장 쉬운 것은 매일 밤 자기 전에 오늘 했던 생각을 10분 정도 적고 자기
- 블로그보다는 페이스북에 적는 게 좋아 보이기는 하지만 페이스북은 부끄러워서 싫음
평일 5일은 업무와 관련된 글을 쓰고 주말 2일은 업무 외 개인 취미와 관련된 글 쓰기
- 작성 채널: 블로그

[이윤규 변호사] 일잘하는 사람의 시간은 다르게 흘러간다

엔지니어- — Sun, 8 May 2022 23:18:39 +0900

지난주에 교보문고에서 우연찮게 구매했던 이윤규님 신간 '일 잘하는 사람의 시간은 다르게 흘러간다'를 읽어 봤습니다.

http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791168122628&orderClick=sbc

일 잘하는 사람의 시간은 다르게 흘러간다 - 교보문고

추상적 계획과 낙천적 다짐은 이제 버려야 한다 계획-실행-점검 3단계로 성공적인 타임 메이커가 되는 법! 일의 효율이 떨어지고 불필요한 에너지를 낭비하고 스트레스를 받는 사람들에게 공통

www.kyobobook.co.kr

저자: 이윤규

변호사, 유튜버(암기, 공부법), 작가(나는 무조건 합격하는 공부만 한다, 공부의 본질)로 활동하고 있습니다.

9개월 만에 사법고시에 합격하여 변호사가 되었다. 변호사 생활 외에 법무부에서도 일한 경험이 있으신 것 같습니다.

아래와 같이 다양한 일을 실제로 하고 있는 분의 시간 관리 방법이라 더욱 신뢰가 갔습니다.

변호사로 일하기
30만 구독자 유튜브 채널 운영
교육 관련 스타트업 회사 경영
관공서, 대학교, 기업 등에서 연간 수십 회 강연
1년에 1~2편의 대중 서적 출간
7~10권 정도의 법률 강의 교재 출간/개정
2주에 1권 독서

주요 내용

시간 관리를 계획, 실행, 점검 크게 3가지로 나눠 설명하고

계획과 실행은 철저히 나눠야 한다고 이야기합니다 (옛날에 유튜버 신사임당이 주 단위로 계획하는 시간을 두고 실행한 후 매주 점검/보완한다는 이야기가 생각났었습니다).

시간 계획 시 여러 일들의 다양한 속성과 연관 관계를 고려하여 계획을 세우고 지속적으로 리마인드 + 시뮬레이션하는 게 인상적이었습니다.

일들의 속성: 긴급, 중요, 창의적, 집중, 단기-장기, 워밍업이 필요, 난이도, 소요시간 산정 가능, 정확도
위의 속성들을 고려하여 업무 우선순위와 일의 배치를 정한다.

또한 시간 관리 3단계에 대해 본격적으로 이야기하기 전에 시간 관리법의 두 가지 큰 흐름에 대한 이야기도 좋았습니다.

흐름 1: 효율적인 삶을 추구하는 방향
흐름 2: 즐거운 삶을 추구하는 방향

1. 계획 (책의 1/2)

일을 분류하고 우선순위 매기기: 일단 일들을 다 적고, 아이젠하워 매트릭스(긴급/중요 매트릭스)로 정리
아이젠하워 매트릭스 외에도 단기-장기 계획
고도의 집중이 필요한 일, 창의력이 필요한 일인지
실제 일을 배치할 때는 워밍업, 업무 연관성, 동기부여 등을 고려해서 일을 배치
3개의 일을 해야 하는데 2개는 난이도 낮고 소요 시간이 명확한 일이라면 낮은 난이도 + 소요 시간이 명확한 2개 업무를 끝내고 마지막 1개 업무에 집중한다면 심리적으로 안정감을 가지고 집중할 수 있음

2. 실행 (책의 1/4)

일단 시작하라, 스스로 동기 부여하며 하루를 시작
완벽주의 경계
실행 전에 시뮬레이션하고 실제 실행 중에는 다음 해야 할 일을 생각하지 않도록 하기
샌드위치 기법

3. 점검 (책의 1/4)

점검을 위해서는 계획과 실행의 기록이 필요
점검은 크게 3단계로 구분된다.
1. 문제점 찾기, 2. 계획 수정하기, 3. 반영 하기
육체적, 정신적으로 회복할 시간 갖기
포도당 공급을 위한 아침 식사와 질 좋은 점심 식사

적용

단기간에 책의 모든 내용을 적용하는 건 쉽지 않을 것 같다는 생각이 들었습니다.

일단은 일을 좀 더 다양한 측면에서 바라보고, 하루 단위로 적는 것부터 시작할 예정입니다.

1. 일의 다양한 속성을 고려해서 1. 업무 우선순위를 매기고 2. 배치하기

2. 일 외에 개인 시간 관리도 일단 적기 (적는 채널이라도 고정시켜서 과부하 방지)

회사 업무 적기: 컨플루언스
중-장기 계획 및 실제 진행 내용: 노션
동기부여로 그냥 적기: 다이어리
갑자기 떠오른 생각: 노션, 카카오톡 나에게
마인드맵: 회사 = 미로, 개인 = 알마인드(이드로우마인드)

[수원시 팔달구] 괭이밥, 화살나무 - 2022-05-01

엔지니어- — Sun, 8 May 2022 16:43:33 +0900

괭이밥

괭이밥과(Oxalidaceae) > 괭이밥속(Oxalis)의 대표식물입니다.

길가 어디서든 흔하게 볼 수 있고 잎모양이 하트모양의 3개 이루어져 있는 것이 특징입니다.

같은 괭이밥속에 사랑초와 같은 식물들이 포함되어 있습니다.

학명: Oxalis corniculata

토끼풀(클로버)과 비슷하게 생겼지만, 토끼풀과는 다른 식물 입니다.

(심지어 토끼풀은 콩과 식물 입니다..)

괭이밥 꽃

괭이밥 꽃과 꽃대 - 산형화서

괭이밥 전체 사진

화살나무

노박덩굴과(Celastraceae) > 화살나무속(Euonymus)의 대표 식물입니다.

나뭇가지에 화살깃 같은 회갈색 코르크 날개가 발달하는 것이 특징입니다. 길가에 조경수로 많이 심어져 있습니다.

학명: Euonymus alatus

꽃 색깔이 초록색이다 보니 못 본 분들이 많을 것 같아 올려봅니다.

화살나무 꽃 1

화살나무 꽃 2

[식물] 바질 생육 일지 (feat. 파종 후 34일째)

엔지니어- — Sat, 30 Apr 2022 23:37:40 +0900

3월 말에 심었던 바질이 제법 많이 자라 간단 한 바질 변화 일지 남겨 봅니다.

(일지라 적었지만 거의 사진만 남겨요..)

요약

파종 일(심은 날짜): 2022-03-27
생육 환경: 실내 (서향으로 정오 이후 빛이 들어옴)
발아(새싹이 나옴): 6일 차 (2022-04-01)
34일 차 현황: 떡잎 이후 3번째 잎까지 제법 커짐

심은 후 6일 차: 2022-04-01

6일 차: 새싹이 나오고 있습니다.

8일 차 : 2022-04-03

떡잎이 제법 벌어졌습니다.

8일차: 떡잎이 벌어졌어요.

15일 차: 2022-04-10

떡잎 이후 2번째 잎이 보이기 시작!

15일차: 떡잎 이후 2번째 잎?이 나오고 있습니다.

29일 차: 2022-04-24

29일차: 2번째 잎이 제법 자랐습니다. (바질이 너무 모여있어 중간에 한번 솎은 후 옮겨 심어주었어요)

34일 차: 2022-04-29

34일차: 3번째 잎도 제법 많이 자랐습니다.

[메시지 전달 개념] At-most-once, At-least-once, Exactly-once 정리

엔지니어- — Mon, 28 Mar 2022 23:47:31 +0900

데이터 파이프라인 구축 시 자주 보이는 데이터(메시지) 전달 개념 3종류에 대해 간단히 정리해봤습니다.

Types of messaging semantics (의미론적 메시지 타입 3가지)

1. At-most-once(최대 한번): 최대 한 번만 전송한다 (메시지를 한번만 전송하고 상대가 받았는지 받지 못했는지는 확인하지 않음)
2. At-least-once(최소 한번): 메시지를 전송하고 최소한 상대방이 하나의 메시지는 받았는지 확인한다.
3. Exatly-once(정확히 한번): 메시지를 정확히 한번만 전송한다.

출처: https://ably.com/blog/achieving-exactly-once-message-processing-with-ably

1. At-most-once(최대 한번)

메시지를 최대 한 번만 전송한다. (한 번만 전송한다)
보내는 쪽에서 메시지를 보낸 후 받는 사람이 받았는지 안 받았는지는 확인하지 않는다.
장점: 받는 사람이 받았는지 확인하는 작업이 없어 빠르다(오버헤드 없음), 구현이 간단하다.
단점: 받는 사람이 메시지(데이터)를 받았는지 확인하지 않기에 데이터가 누락될 수 있다.
사용하면 좋은 경우: 일부 데이터가 누락되어도 상관없는 Log 데이터

2. At-least-once(최소 한번)

메시지를 전송하고 최소한 하나의 메시지는 받았는지 확인한다.
보내는 쪽에서 메시지를 전달 후 받는 쪽에서 메시지를 잘 받았다는 답변이 올 때까지 메시지를 계속 보낸다.
장점: 받는 사람에게 보내는 메시지가 누락될 일이 없다. 구현이 비교적 간단하다 (ACK 메시지를 받는 방식으로 구현, Exactly-once 보다 상대적으로 간단하다는 의미).
단점: 받는 사람에게 중복된 메시지가 전달 될 수 있다.
사용하면 좋은 경우: 데이터의 누락 없이 모든 데이터를 전송해야 하는 경우, 중복된 값을 저장해도 상관없거나 다음 프로세스에서 중복된 값을 처리할 수 있는 경우

3. Exactly-once(정확히 한번)

메시지를 정확히 한 번만 전송한다.
보내는 쪽에서 받는 사람에게 메시지를 정확히 1번만 전송한다.
장점: 누락과 중복 없이 메시지를 전달 할 수 있다.
단점: 구현이 복잡하다.
- Exactly-once is a desirable (if not critical) message delivery guarantee and a remarkably complex engineering challenge to solve, https://ably.com/blog/achieving-exactly-once-message-processing-with-ably
사용하면 좋은 경우: 비즈니스 적으로 정확히 한 번만 데이터가 전송되어야 하는 경우, 예를 들어 온라인 쇼핑몰의 상품 주문 데이터 같은 경우 누락과 중복 없이 정확히 1번만 전송되어야 한다.

1. Ably블로그, [Achieving exactly-once delivery with Ably], https://ably.com/blog/achieving-exactly-once-message-processing-with-abl
2. 인호의 IT 잡동사니, [At-least-once Deleivery], https://helloino.tistory.com/110

[데이터베이스] 데이터 테이블 종류 및 특성 (운영계 - OLTP 관점)

엔지니어- — Tue, 22 Mar 2022 23:38:04 +0900

본 포스팅은 학습 용도로 작성하였습니다.
이미지와 주요 내용은 책 ‘빅데이터를 지탱하는 기술(니시다 케이스케 지음, 정인식 옮김, 2018, 제이펍)’ 의 내용을 정리하였습니다. 이외 참고자료는 포스팅 하단에 링크를 남겼습니다.

주요 키워드: 트랜잭션 테이블(Transaction table), 마스터 테이블(Master table), 히스토리 테이블(History table)

개요

기업의 데이터를 활용하기 위해 기업에서 운영 중인 데이터베이스 현황 분석을 하다 보면 수많은 테이블 때문에 난관에 봉착하는 경우가 많습니다.
수많은 테이블 현황을 분석할 때 테이블을 트랜잭션(Transaction), 마스터(Master) 테이블로 분류해 정리하면 분석하고 정리하기 수월합니다.

트랜잭션 테이블

트랜잭션 테이블(Transaction table)은 시간과 함께 생성되는 데이터를 기록한 테이블로 한 번 기록하면 변하지 않습니다.
판매일시와, 판매상품, 금액 등의 정보를 담은 판매 테이블을 예로 들 수 있습니다.

마스터 테이블

마스터 테이블(Master table)은 트랜잭션에서 참고하는 각종 정보(매핑 용도)로 상황에 따라 일부 데이터(컬럼)가 업데이트됩니다. 고객 ID, 고객명, 주소 정보를 담고 있는 고객 테이블을 예로 들 수 있습니다.
마스터 테이블에서 고객 테이블의 고객 ID와 같은 불변 속성 데이터는 업데이트 되지 않지만, 고객의 주소와 같은 가변 속성 데이터는 변경 될 수 있습니다.
마스터 테이블의 가변 속성 변화 이력을 관리하기 위해 별도의 이력 테이블(History table)이 존재하는 경우가 많습니다.

요약정리

트랜잭션, 마스터 테이블 예시 - 출처: 빅데이터를 지탱하는 기술(니시다 케이스케 지음, 정인식 옮김, 2018, 제이펍) 79페이지

트랜잭션 테이블

시간과 함께 생성되는 데이터를 기록한 것
한 번 기록하면 시간과 함께 생성되기에 변하지 않음
예) 판매 테이블

마스터 테이블

트랜잭션에서 참고되는 각종 정보(매핑 용도)
상황에 따라 일부 컬럼이 업데이트됨 (거의 최신 정보를 유지)
업데이트되지 않는 컬럼: 불변 속성으로 고객 ID와 같은 컬럼
업데이트되는 컬럼: 가변 속성으로 고객 주소, 나이와 같은 컬럼
예) 고객, 상품, 점포 테이블

참고자료

책: 빅데이터를 지탱하는 기술(니시다 케이스케 지음, 정인식 옮김, 2018, 제이펍)
길은 가면, 뒤에 있다님 블로그, [대용량DB] 데이터 테이블의 종류 및 특성, https://12bme.tistory.com/200
데이터 엔지니어를 꿈꾸는 Spidy web블로그, [Data] 마스터 데이터 vs 트랜잭션 데이터, fact테이블 vs dimension 테이블, 시계열 데이터란?, https://spidyweb.tistory.com/264

[Data] 마스터 데이터 vs 트랜잭션 데이터, fact테이블 vs dimension 테이블, 시계열 데이터란?

마스터 데이터란? 트랜잭션 데이터란? 트랜잭션 데이터(transaction data): 시간과 함께 생성되는 데이터를 기록한 것 한 번 기록하면 시간과 함께 생성되기에 변화하지 않는다. ex) 판매 이력 마스터

spidyweb.tistory.com

[대용량DB] 데이터 테이블의 종류 및 특성

본 포스팅은 학습 용도로 작성되었습니다. 원본 출처는 http://blog.daum.net/hadmond/7 입니다. DW 시스템 구축시, 구축 대상이 되는 업무계(기간계)시스템의 테이블(table) 종류와 그 특성을 올바로 파악

12bme.tistory.com

[Linux] 리눅스 데몬(서비스) 리스트 조회하기 - systemctl 명령어 사용

엔지니어- — Wed, 16 Mar 2022 00:04:48 +0900

전체 서비스 리스트 조회하기

$ systemctl list-unit-files

Disabled 서비스 리스트 조회하기

$ systemctl list-unit-files | grep disabled
>>>
proc-sys-fs-binfmt_misc.mount              disabled        enabled      
acpid.service                              disabled        enabled      
brltty.service                             disabled        enabled      
console-getty.service                      disabled        disabled     
debug-shell.service                        disabled        disabled

Active 서비스 목록 조회하기

$ systemctl list-units --state active
>>>
UNIT                                                                                                  LOAD   ACTIVE SUB       DESCRIPTION     >
  proc-sys-fs-binfmt_misc.automount                                                                     loaded active running   Arbitrary Execut>
  sys-devices-pci0000:00-0000:00:14.0-usb1-1\x2d10-1\x2d10:1.0-bluetooth-hci0.device                    loaded active plugged   /sys/devices/pci
...

Failed 서비스 목록 조회하기

$ systemctl list-units --state failed
>>>
  UNIT                  LOAD      ACTIVE SUB    DESCRIPTION          
● oracle-xe-18c.service not-found failed failed oracle-xe-18c.service

LOAD   = Reflects whether the unit definition was properly loaded.
ACTIVE = The high-level unit activation state, i.e. generalization of SUB.
SUB    = The low-level unit activation state, values depend on unit type.

1 loaded units listed.

Service 파일 path 조회하기 (데몬 파일 위치 찾기)

# systemctl show [서비스명] | grep Path
$ systemctl show docker | grep Path
FragmentPath=/lib/systemd/system/docker.service

# systemctl status [서비스명] 
# Loaded 부분 확인
$ systemctl status docker
● docker.service - Docker Application Container Engine
     Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
     Active: active (running) since Wed 2022-02-09 22:12:02 KST; 1 months 3 days ago
TriggeredBy: ● docker.socket
       Docs: https://docs.docker.com
   Main PID: 1441 (dockerd)
      Tasks: 49
     Memory: 668.8M
     CGroup: /system.slice/docker.service
             ├─   1441 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
...

서비스(데몬) 파일 위치 예시

출처 1: Sysops님 블로그, [Linux] systemctl 명령어를 사용한 전체 서비스 목록 확인, https://sysops.tistory.com/140
출처 2: Askubuntu 포털, Where are the systemd units/services located in Ubuntu?, https://askubuntu.com/questions/876733/where-are-the-systemd-units-services-located-in-ubuntu

[Airflow] Docker로 Airflow 설치 시 기본 패스워드 변경

엔지니어- — Tue, 15 Feb 2022 23:38:17 +0900

Airflow 공식문서에서 제공하는

Quick Start 중 도커로 Airflow 실행(Running Airflow in Docker) 시 관리자 계정 패스워드를 변경하는 방법에 대한 포스팅입니다.

(도커로 Airflow를 실행하면 default로 계정/패스워드가 airflow/airflow로 설정되고, 이는 Webserver에 접속해 수정할 수 있지만 보안에 취약할 수 있어 처음부터 변경해주는 것이 좋습니다.)

패스워드 변경 방법 외 설치 방법은 아래 공식문서와 공식문서를 정리한 자료 참고 부탁드립니다.

공식문서: https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#
공식문서 정리한 자료: https://wooiljeong.github.io/server/docker-airflow/ (정우일님 블로그)

관리자 계정 패스워드 변경해서 Airflow 실행하는 방법

docker-compose.yaml 파일 경로에 .env 파일 생성
.env파일에 아래 2개 변수 설정

_AIRFLOW_WWW_USER_USERNAME=계정명
_AIRFLOW_WWW_USER_PASSWORD=패스워드

docker-compose.yaml 파일에 아래 2개 변수 값을 직접 설정할 수도 있습니다.
하지만 직접 변수 값을 입력할 경우 외부에 계정/패스워드명이 바로 노출되므로 .env 파일을 생성해 변수를 읽어오게 하는 게 좋습니다.

설정 결과

1. 변수 설정 파일(.env) 생성

docker-compose.yaml과 같은 경로에 .env 파일을 생성 한 후 2개 변수를 설정 했습니다.
변수 1: _AIRFLOW_WWW_USER_USERNAME=계정명
변수 2: _AIRFLOW_WWW_USER_PASSWORD=패스워드

.env에 계정/패스워드 변수 설정

2. Airflow DB 및 계정 생성

.env 파일에서 설정한 계정명(_AIRFLOW_WWW_USER_USERNAME=menthamin)으로 계정이 생성된 것을 확인할 수 있습니다.

.env 파일에 설정한 계정명으로 계정이 생성

3. 도커로 Airflow 실행: docker-compose up -d

Airflow 실행, -d 옵션: 데몬으로 실행(백그라운드에서 서비스로 실행)

4. Airflow Webserver 접속

.env 파일에 설정한 계정/패스워드로 로그인이 가능하고, 해당 계정이 관리자 계정(Role: Admin)인 것을 확인할 수 있습니다.

로그인 후 계정정보 확인

계정 관련 추가 설정 자료

계정 소유자의 이름, Email 등을 설정하는 변수들도 존재하고 이또한 .env 파일로 설정 할 수 있습니다.
변수 목록은 아래에 첨부하겠습니다.

출처: https://airflow.apache.org/docs/docker-stack/entrypoint.html#creating-admin-user

* 기타 Tip: Airflow 실행 간 예제 DAG 설치를 원하시지 않는 경우에는 아래 환경 변수를 false로 설정해주시면 됩니다.

    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'

기타 궁금하신 사항은 댓글 남겨주세요.

감사합니다.

[Linux] 실행중인 프로세스 파일 위치 확인 하기

엔지니어- — Wed, 9 Feb 2022 23:35:30 +0900

확인 결과

PID 8466번을 가지는 Python3 프로세스의 파일 위치를 확인해 봤습니다.
twitter_sample.py 라는 파일을 실행했고, 해당 파일의 경로는 /home/mentha/spark-exam/spark-twitter인 것을 확인할 수 있습니다.
ps 명령어로 PID 확인 후 3가지 방법으로 파일 위치를 확인할 수 있습니다.

PID 8466번인 python3 프로세스가 실행한 파일 위치 확인 결과

1. PID 확인하기 (ps 명령어)

# 아래 2가지 방법 중 택 1 
ps -ef | grep python3
ps aux

ps 명령어와 출력결과의 의미가 상세히 궁금하신 경우에는 아래 링크 참고 부탁드립니다 (제 블로그는 아니지만 매우 잘 정리되어 있습니다.)
링크: https://jhnyang.tistory.com/268 (양햄찌가만드는세상님 블로그)

2. 실행중인 프로세스 파일 위치 확인 하기(3가지 방법)

/proc 디렉토리 확인 (/proc: 프로세스 정보 등 커널 관련 정보가 저장되는 디렉토리)
- /proc 디렉토리가 더 궁금하시다면 아래 링크 참고 부탁드려요~
- https://aidencom.tistory.com/71 (Aiden님 블로그)
pwdx 명령어 사용 (report current working directory of a process)
losf 명령어 사용 (list open files)

# 1번 /proc 경로 확인
# /proc: 프로세스 정보 등 커널 관련 정보가 저장되는 디렉토리
# 사용방법: ls -lh /proc/<PID>/exe
# ls -lh /proc/<PID> 로 디렉토리 전체를 확인해도 됩니다.
ls -lh /proc/8466/exe

# 2번 pwdx 명령어 사용
# pwdx report current working directory of a process
# 사용방법: pwdx <PID>
pwdx 8466

# 3번 losf 명령어 사용
# losf: list open files
# lsof -p <PID> | grep cwd
lsof -p 8466 | grep cwd

출처 : https://stackoverflow.com/questions/606041/how-do-i-get-the-path-of-a-process-in-unix-linux

행궁동 데이터 엔지니어

앤디 위어, 프로젝트 헤일메리, 알에이치코리아(2021)

질문1. 스트라트가 그레이스에게 한 행위는 정당한가?

질문2. 그레이스는 선한 사람인가? 그리고 "자리가 사람을 만든다" 라는 말에 동의하는가?

타인을 당신과 비슷한 소망과 필요를 가진 한 사람으로 당신과 같은 사람으로 여기는 것

첫 러닝크루 활동! 2026년 4월 29일

위노트 인터뷰 영상을 보고 — 상담센터 서비스 개발을 위한 인사이트를 얻었다

위노트 인터뷰 영상을 보고

위노트(Wenote)는 어떤 서비스인가

메모들 (작성일: 2026-04-22)

1. 우리도 '문서 작업'을 더 깊게 도와야겠다

2. 데이터 저장 방식

3. 상담사 분들의 'AI'라는 단어에 대한 거부감

4. 테스트와 버그에 대한 생각

5. 우리는 어떤 문제를 해결하는가?

한국의 "문 앞에 놔주세요"는 인도네시아에서 통하지 않는다 (Feat. 배송메모 추천)

데이터에서 보인 것

작성률 20%

왜 인도네시아 구매자는 포장 얘기를 많이 할까

추천 옵션 설계

정리하며

메르, 1%를 읽는 힘, 토네이도 출판사(2023)

아라키 슌야(신찬 옮김), 카피라이터의 표현법, 현대 지성(2024)

Christian Mayer, 클린 코드의 기술, 단순함의 노하우

주요 내용들

액션

신규 프로젝트, 독립된 신규 기능 개발

유지 보수, 기존 기능에 추가 기능 개발

데이터 분석, 추출, 대시보드 제작 시 고려하면 좋은 것들

(GPT)

1. 분석의 목표를 명확히 설정하기

2. 전략적인 KPI 선정

3. 사용자 중심의 대시보드 설계

4. 신뢰할 수 있는 데이터 확보

5. 효율적인 데이터 추출 및 변환(ETL) 전략

6. 실시간 데이터 vs 배치 데이터 고려

7. 확장성과 유지보수성 고려

8. 보안과 개인정보 보호

[데이터 중심 애플리케이션 설계] 3장 저장소와 검색

쇼핑몰 별 실시간 접속자 추적 하기(feat. Redis ZSET)

✅ 구현 목표

테스트 개요

1. Backend (Node.js + Express + Redis)

server.ts (Backend 코드)

2. Frontend (Vue)

SellerPage.vue (Frontend 코드)

사용한 REDIS ZSET (Sorted Set) 명령어 정리

Last Name으로도 고객 이름 검색이 가능하도록 하기 (Elasticsearch, Opensearch)

Wildcard 검색 대신 ngram으로 인덱싱 적용

인덱스 매핑 예시

1. 인덱스 설정(Settings) 설명

a. Analysis Settings

i. Filters

ii. Analyzers

b. Why Use Separate Analyzers for Indexing and Searching?

2. 매핑(Mappings) 설명

a. name 필드 설정

b. Multi-Field (다중 필드) 활용

3. 이 설정이 검색에 미치는 영향

a. 인덱싱 과정

b. 검색 과정

i. match 쿼리 사용 시

ii. term 쿼리 사용 시

Git Commit 전에 컴파일 에러 체크하기 (Serverless Framework, TypeScirpt)

1. 문제 상황

2. 해결 방법

3. 결과

4. 실행 흐름과 상세 코드

4.1. 실행 흐름

4.2. 상세 코드

5. 나아가서

참고자료

TypeScript로 AWS Lambda 배포하는 과정 단계별로 살펴보기 (With Serverless Framework)

배포 프로세스 및 결과

배포 프로세스

배포 결과

AWS Lambda 배포 단계별 상세 설명(TypeScript 프로젝트)

1. TypeScript 컴파일

2. 번들링

3. 패키징