행궁동 데이터 엔지니어

전체 글 → (274)건

회고: 2023-06-19 ~ 07-01

근황 지난 2주 동안 회사에서는 서비스 이슈대응, 신규 SMS Provider 추가, 내부 CRM API 구현 업무를 진행했습니다. 일 외적으로는 친구들과 약속이 많았었고 MySQL 스터디 2회, 책(개발자 온보딩 가이드) 읽기를 진행했습니다. 회사 업무 외에 부족한 개발 실력을 보충하기 위한 코딩을 거의 하지 않았습니다. 2주 전에 액션으로 정의했던 것 부족한 개발 실력 보충 (언어 친화도와 구현 능력, 1 순위) 회사 업무를 진행하며 Go, JS, TS를 계속 사용했지만 집에서 따로 공부하지는 않았습니다. 언어 장벽 (외국어, 2 순위) 출/퇴근길에 한국인이 영어 잘 배우는 방법과 유튜브 콘텐츠를 지속적으로 봤지만 정리하지 않았습니다. 회의, 업무 중에 번역했던 문장들을 기록하는 작업은 진행했습니다...
개인적인 이야기 2023. 7. 2. 23:53

회고: 2023-03-12 ~ 06-18

Git Commit 로그와 함께 지난 3개월 회고를 간단히 해봤습니다. 1. 지난 3개월 Commit 분석 Json: 번역과 관련된 Config 파일 수정 vue, ts, lock, js: JS, TS와 관련된 코드 수정 Go: Go 언어 지난 3개월 간 JS, TS, Go와 관련된 Commit이 대부분이었습니다. 이외 SQL은 n만행 이상 작성했을 것 같고 Python도 조금 다뤘던 것 같은데 Addhoc 한 분석/추출이다 보니 별도 Commit 이력은 없었습니다. (참고) git, awk 명령어로 Commit 로그 추출하는 스크립트 1.1. git log에서 파일 수정라인 수 데이터 저장하기 (특정 저자만) AUTHOR_NAME="저자명" SINCE_DATE="2023-03-12" git log --..
개인적인 이야기 2023. 6. 18. 23:47

[MySQL] 인덱스 스킵 스캔 (Index Skip Scan)

MySQL 8.0에 도입된 인덱스 스킵 스캔 기능을 간단히 정리하고 실습 코드를 준비해 봤습니다. 목차 1. 인덱스 스킵 스캔이란 무엇인가? 2. 인덱스 스킵 스캔 사용을 위한 조건 3. 인덱스 스킵 스캔 실습 해보기 3.1. Skip Scan: Off 3.2. Skip Scan: On 3.3. 인덱스 선두 컬럼의 유니크한 값 개수에 따른 효율 차이 확인 참고 자료 1. 인덱스 스킵 스캔이란 무엇인가? 인덱스 선두 컬럼이 조건절에 없어도 선두 컬럼을 스킵하며 인덱스 레인지 스캔 하는 것 MySQL 8.0 버전부터 도입 예를 들어 아래와 같이 gender, birth_date 순서로 다중 컬럼 인덱스를 생성했다면 조건절에 gender 컬럼 없이는 인덱스를 사용하지 못합니다 (Index Range Scan을..
컴퓨터 기본/데이터베이스(DB) 2023. 6. 4. 23:31

[MySQL] Slow Query Parameters 목록

MySQL의 Slow Query를 모니터링하기 위한 Slow Query 관련 Parameters 목록을 간단히 정리해봤습니다. 다음에는 슬로우 쿼리 로그를 해석해보겠습니다. 요약 1. slow_query_log: 슬로우 쿼리 저장 유무 설정 (On / Off) 2. long_query_time: 슬로우 쿼리 기준 시간 설정 (ex. 5로 설정한 경우 5초 이상 걸린 쿼리 저장) 3. log_output: FILE 로 저장할지 TABLE에 저장할지 설정 4. slow_query_log_file: FILE로 저장할 경우 로그 파일경로 및 이름 설정 1. Slow Query Log 켜기 - Paramter name: slow_query_log - 설정 가능한 값: ON / OFF - https://dev.my..
컴퓨터 기본/데이터베이스(DB) 2023. 5. 21. 23:53

회고: 2023-04-10 ~ 05-04

https://mentha2.tistory.com/285 2분기 엔지니어로서 키우고 싶은 역량들 지난번에 이어 2분기 엔지니어로서 키우고 싶은 역량들을 업데이트해봤습니다. 이번 2분기를 요약하면 크게 3가지 역량을 키우는데 집중할 것 같습니다. 1. 개발 역량 - Go, Javascript를 활용해 지금 mentha2.tistory.com 지난번에 2분기에 엔지니어로서 키우고 싶은 역량을 1. 개발 역량, 2. 데이터 문화조성, 3. 소프트 스킬 3가지로 정의했었습니다. 지난 4월 10일부터 5월 4일까지 3가지 카테고리에서 어떤 변화가 있었는지와 다음 2~4주는 어떻게 보낼지 간단히 적어봅니다. 1. 개발 역량 Go 계속 코드를 보다보니 읽는 게 익숙해졌지만 Go 언어를 잘 모르고 반만 이해하고 있다는..
카테고리 없음 2023. 5. 7. 23:35

[2분기 1 / 7회차] 엔지니어로서 키우고 싶은 역량들

지난번에 2023년 2분기 엔지니어로서 키우고 싶은 역량들을 적었었고 다시 한번 2분기에 집중할 것을 요약하면 1. 개발 역량, 2. 데이터 (활용, 문화), 3. 소프트 스킬 크게 3가지입니다. https://mentha2.tistory.com/285 2분기 엔지니어로서 키우고 싶은 역량들 지난번에 이어 2분기 엔지니어로서 키우고 싶은 역량들을 업데이트해봤습니다. 이번 2분기를 요약하면 크게 3가지 역량을 키우는데 집중할 것 같습니다. 1. 개발 역량 - Go, Javascript를 활용해 지금 mentha2.tistory.com 이번 분기를 2주씩 총 7회로 나누어 엑셀 시트에 회사 업무와 개인 공부 / 스터디를 통해 알게 된 것을 적어나가려고 합니다. 회차 일자 내용 1 2023-03-27 - 2 ..
개인적인 이야기 2023. 4. 9. 23:58

2분기 엔지니어로서 키우고 싶은 역량들

지난번에 이어 2분기 엔지니어로서 키우고 싶은 역량들을 업데이트해봤습니다. 이번 2분기를 요약하면 크게 3가지 역량을 키우는데 집중할 것 같습니다. 1. 개발 역량 - Go, Javascript를 활용해 지금보다 능숙하고 빠르게 서비스 유지보수 / 개발 및 백오피스 개선 (이번 분기에는 필요시 기존 코드들을 정리, 삭제, 재구성하는 업무도 있을 것 같습니다) - RDB 성능 개선 (서비스 코드 개선, 캐싱, Index, 테이블 구조 개선 등) - 생산성 증대를 위한 IDE, 크롬 개발자도구 익숙해지기 및 Mac 추가 환경세팅 2. 데이터 - 마케팅, 재무팀 또는 다른 회사 구성원들이 궁금해하거나 흥미로워할 정보를 쉽게 잘 제공하기 (Slack + Lambda 구성으로 제공해보려고 합니다) - 쉽게 데이터..
개인적인 이야기 2023. 3. 26. 23:29

엔지니어로서 현재 역량 및 4개월 후 기대하는 모습

교육, 대학원, 간접 업무경험(통신 장교) 등을 제외하면 2019년 3월부터 본격적으로 IT 직무로 일을 시작했고 이 글을 작성하는 시점에 딱 만 4년 차가 되었습니다. 돌아보면 프로젝트 단위로 업무를 하는 경우가 많아 기술적인 부분 보다 제안서, 보고서 작성등의 업무가 많았던 것 같습니다. 그래도 제안서와 보고서를 매력적으로 작성하는 상사, 데이터 분석과 제안을 기가 막히게 하는 상사 및 동료 들과 함께하며 저도 모르게 어깨너머로 여러 가지를 배운 거 같긴 합니다. 지금은 운 좋게 바라던 기술 중심의 일을 하고 있고 회사에 기술적으로 뛰어난 분들이 많습니다. (모두 저보다 뛰어납니다) 지금 기회를 잡아 기술적으로 배우고 데이터 기반 문화를 조성해 보겠습니다. 스킬 구분 1 스킬 구분 2 내용 현재 기대..
개인적인 이야기 2023. 3. 12. 23:56

[Golang] Go에서 Map 타입 데이터를 Json으로 변환하기 (Json 형태로)

회사에서 Go 언어를 조금 사용하고 있는데, 정리하지 않으니 계속 찾게되어 기억하기 위해 적어봅니다. 요약 json.Marshal() 함수로 Map 타입 데이터를 마셜링 후 String으로 변환 *Marshalling(마셜링): 데이터를 프로그램이 인식할 수 있는 형태로 변형하는 것 String, Int 등으로 표현된 데이터를 Bytes 형태로 변형하는 것을 예로 들 수 있음 출처: https://codecollector.tistory.com/1513 예제 코드 package main import ( "fmt" "encoding/json" "reflect" ) func main() { // Map 선언 및 초기화 var mapExample map[string]string // 선언한 Map Type 확인..
프로그래밍/Go 2023. 2. 27. 23:46

티스토리에 구글 태그 매니저(GTM) 설치하고 확인하기 (모든 사이트에 적용 가능)

구글 태그 매니저(GTM, Google Tag Manager)를 사이트에 적용하고 정상 설치여부를 확인하는 방법입니다. (구글태그관리자 설치 및 테스트) 사전 요구사항: 태그 매니저 계정 생성 완료 크게 3가지 단계로 구글 태그매니저를 설치하고 확인할 수 있습니다. 1. 태그매니저 코드 복사 2. 티스토리에 태그매니저 코드 복사 3. 태그 확인 만약 티스토리가 아닌 다른 개인 사이트에 적용하신다면 구글 태그매니저 코드를 복사해 개인 사이트의 index.html 파일의 사이에 구글 태그 관리자 코드 붙여 넣기 html 영역에 구글 태그 관리자 코드 추가 "컨트롤(커맨드) + f"로 body를 검색해서 아래에 구글 태그 관리자 코드 붙여 넣기 3. 태그관리자 미리 보기로 태그 설치 확인 마지막으로 구글 태그..
데이터사이언스/Google Analytics, GTM 2023. 2. 15. 23:13

[현승원] 직장이 이것 하지 않으면 반드시 후회합니다.

저는 출퇴근 길에 사람도 많고 영상을 보기엔 피곤해서 유튜브를 듣습니다. 요즘은 유튜브 알고리즘이 현승원, 현우진 두 현선생님들의 영상을 추천해 줍니다. 오늘은 퇴근길에 현승원 님의 유튜브 영상을 들어봤습니다. 우리는 항상 시간이 지나면 그때 무엇을 했었어야 하는 걸 알게 됩니다. 하지만 그 당시에는 그것을 모릅니다. 또한 그 당시 뭔가를 열심히 했더라고 그것이 정말 후회하지 않을 정도였는지는 모른다. 이 밤 시간에 집에서 회사 구글태그매니저와 구글애널리틱스를 테스트하고 있는 저는 나중에 후회하지 않을까요? 늦은 후회 아티스트 보보 앨범 Bobo 발매일 1970.01.01 부디 밑거름이 되어 후회하지 않기를 빌어봅니다. 영상 링크 https://www.youtube.com/watch?v=w3k4iYu2i2c
기타 취미 2023. 2. 14. 23:53

글또 8기 시작

Intro 지인분이 7기로 활동하는 모습이 인상 깊어 글또(글 쓰는 또라이가 세상을 바꾼다) 8기에 참여하게 되었습니다. 글또 소개 링크:https://www.notion.so/zzsza/ac5b18a482fb4df497d4e8257ad4d516 글 쓰는 또라이가 세상을 바꾼다 - 글또 페이지 👋 안녕하세요 :) www.notion.so 글또에 참여한 다른 분들의 블로그를 보니 자신의 생각을 잘 정리해 공유하고 끊임없이 공부하는 분들이 참 많구나 하는 생각이 들었고 자극도 받게 되는 것 같습니다. Goal 글또 활동을 통한 첫 번째 목표는 글을 꾸준히 작성하는 것입니다. 앞으로 6개월 (2월 ~ 7월) 동안 글또를 통해 12개의 글을 작성해야하는데 글또 글에 1 + 1으로 총 24개의 글을 작성해 보겠습..
개인적인 이야기 2023. 2. 12. 23:08

[MySQL] WHERE절에 EXISTS 사용해서 빠르게 조회하기

특정 조건의 데이터가 존재하는지 확인하기 위해 EXISTS 쿼리를 사용할 때가 있습니다. EXISTS는 조건과 맞는 row 찾으면 이후 rows들은 탐색하지 않기 때문에 빠른 조회가 가능한 장점이 있습니다. (최소 1개에서 ~ 최대 전체 N개 Rows까지 탐색하게 됩니다.) EXISTS 문법 Exists는 EXISTS(서브쿼리) 형태로 Where절이나 Select절에서 사용합니다. 결과 값은 존재하는 행이 있을 경우 True(1) 존재하는 값이 없을 경우 False(0)을 반환 합니다. -- 1. Where 절에서 사용하는 예시 (중첩 서브쿼리, 서브쿼리) -- * Where 절에서 사용하는 서브쿼리를 중첩 서브쿼리 또는 그냥 서브쿼리라고 합니다. SELECT select_column FROM produ..
컴퓨터 기본/데이터베이스(DB) 2023. 1. 24. 23:38

[Golang] Jupyter Notebook, Lab에서 Golang 인터프리터언어처럼 사용하기

Jupyter Notebook 또는 Jupyter Lab 환경에서 Golang를 사용하는 방법입니다. 컴파일 언어인 Golang을 인터프리터 언어(ex. Python)처럼 노트북파일의 셀단위로 바로바로 실행할 수 있습니다. (Python 처럼 바로바로 실행결과를 확인할 수 있습니다 - 아래 사진 참고) 주피터 환경에서 Golang을 실행하기 위해 gohpernotes라는 gopherData 커뮤니티에서 관리하는 오픈소스를 활용합니다. * 짤막 정보 Gopher: Golang의 마스코트 캐릭터 시작 전에 환경: Mac OS 13.0 (M1 프로세서) 운영체제가 Windows, Linux로 다른 경우에도 절차는 똑같습니다. 다만 운영체제별 Jupyter의 경로와 kennel.json 파일 수정 방법에는 차..
프로그래밍/환경설정 2023. 1. 7. 23:30

[Git] 깃 커밋 메시지 수정하기 (Changing commit message, git commit message 수정)

git commit 메시지를 변경하는 방법입니다. 로컬에만 커밋한 경우와 로컬에서 커밋 후 remote 저장소에 push한 경우를 다룹니다. 1. 로컬에만 commit한 경우 (remote 저장소에 push하지 않음) git commit --amend git commit 명령어의 --amend 옵션을 사용해 커밋 메시지를 수정할 수 있습니다(amend: 개정하다). --amend 옵션으로는 가장 최근 commit 메시지 1개만 수정할 수 있습니다. 가장 최근 커밋 메시지가 아닌 이전 커밋 메시지를 수정하고 싶으신 경우 아래 "3. 이전 커밋 메시지를 수정하고 싶을 때"를 참고해 주세요 (git rebase -i HEAD~n 명령어) 위와 같이 최상단에 commit message가 있는 commit 정보 ..
컴퓨터 기본/Git 2023. 1. 3. 00:49

[GO gRPC 에러 해결] protoc-gen-go: program not found or is not executable

환경: MacOS 13.0 (M1) MaxOS가 아닌 Linux 운영체제에서 해당 오류 발생 시 ~/.zshrc 파일이 아닌 사용하는 쉘 설정파일에서 PATH를 수정해주시면 됩니다(대부분 bash쉘을 사용하기에 ~/.bashrc 파일 수정). 쉘 뒤에 붙은 rc의 의미: "run commands", https://superuser.com/questions/173165/what-does-the-rc-in-bashrc-etc-mean
프로그래밍/환경설정 2023. 1. 2. 00:10

[펠리너 헤르만스] 프로그래머의 뇌: 훌륭한 프로그래머가 알아야할 인지과학의 모든 것 (2022)

https://product.kyobobook.co.kr/detail/S000001952236 프로그래머의 뇌 | 펠리너 헤르만스 - 교보문고 프로그래머의 뇌 | 인지과학을 활용한 개발자의 일머리 개선법이 책은 인지과학에 기반을 둔 각종 방법론으로 개발자가 새로운 언어나 프레임워크를 빠르게 배워 생산성을 향상하도록 돕는다. product.kyobobook.co.kr 1. 저자 펠리너 헤르만스(Felienne Hermans) 네덜란드 레이던 대학교의 부교수로 프로그래밍 교육과 언어가 주 연구분야인 거 같다. 어떤 분인지 궁금해서 조금 더 찾아보니 주말에는 대학생이 아닌 어린 학생들을 가르치기도 하고 SE radio(Software Engineering Radio, https://www.se-radio.ne..
책 2022. 12. 15. 23:14

[박종천] 개발자로 살아남기

개발자로 살아남기 실리콘밸리와 우리나라에서 30년간 TOP 개발자로 활약한 저자의 커리어패스 인사이트를 공개합니다. 저자가 제안하는 ‘성장하는 30년 커리어패스’에 도전하세요. 처음 10년은 성장하는 시기, 다음은 리딩하며 일하는 시기, 마지막은 서포트하는 시기입니다. 시기별로 엔지니어링 역량, 매니지먼트 역량, 비즈니스 역량을 갖추세요. 이 책은 주니어/시니어 개발자, 팀장, 리드에 이르기까지 다양한 역할에 필요한 역량을 9가지 기술 중심으로 소개합니다. 저자 박종천 출판 골든래빗(주) 출판일 2022.01.01 저자: 박종천 님 1993년 한글과컴퓨터 개발자를 시작으로 미국 블리자드, 엔씨소프트, 삼성, 몰로코(현재) 등 다양한 기업에서 개발자, 시니어 개발자, 테크니컬 리더, 그룹장 등으로 근무한 ..
책 2022. 9. 3. 23:20

RedShift 테이블 별 용량 조회하기 (레드시프트 테이블 용량 조회)

AWS RedShift에서 테이블 용량을 조회하는 방법 입니다. (SVV_TABLE_INFO 뷰 테이블 조회) RedShfit(레드시프트)란? AWS에서 제공하는 Managed 데이터 웨어하우스 클러스터로 구성되며 대용량 병렬 처리(MPP, Massive Parallel Processing) 지원 컬럼 기반(column-oriented) 데이터 스토리지로 디스크에서 필요한 컬럼만 읽어와 처리함 S3에 쿼리 할 수 있는 Redshift Spectrum(레드시프트 스펙트럼) 기능 지원 PostgreSQL을 기반으로 만들어짐 레드시프트 테이블별 용량 조회하기 방법: SVV 뷰(View)의 SVV_TABLE_INFO 뷰 테이블 조회 SVV 뷰: 레드시프트의 시스템 뷰 중 하나로 STV(시스템 정보 스냅샷 데이터..
컴퓨터 기본/데이터베이스(DB) 2022. 8. 29. 23:59

NoSQL 등장 배경 및 종류: 트래픽 증가에 대응하기 위해 등장

회사의 일부 서비스에서 MongoDB, ElasticSearch, DocumentDB 등 NoSQL 데이터베이스 관리 시스템을 사용하고 있어 왜 / 어떤 경우에 NoSQL을 사용하는지 등장 배경부터 한번 정리해봤습니다. (NoSQL 사용 이유) NoSQL(Not Only SQL) 이란? SQL만을 사용하지 않는 DBMS(Database Managment System, 데이터베이스 관리 시스템)들을 지칭하는 용어 과거 RDBMS(Relational Database Managment System, 관계형 데이터베이스 관리 시스템)와 달리 SQL이 아닌 다른 방식으로 데이터를 처리 / 조회 (물론 SQL과 비슷한 명령어를 지원하기도 함) Redis, MongoDB, HBase, ElasticSearch, AW..
컴퓨터 기본/데이터베이스(DB) 2022. 8. 23. 23:40
◀ 1 2 3 4 ··· 14 ▶

티스토리툴바