행궁동 데이터 엔지니어

컴퓨터 기본 → (66)건

[MySQL] 인덱스 스킵 스캔 (Index Skip Scan)

MySQL 8.0에 도입된 인덱스 스킵 스캔 기능을 간단히 정리하고 실습 코드를 준비해 봤습니다. 목차 1. 인덱스 스킵 스캔이란 무엇인가? 2. 인덱스 스킵 스캔 사용을 위한 조건 3. 인덱스 스킵 스캔 실습 해보기 3.1. Skip Scan: Off 3.2. Skip Scan: On 3.3. 인덱스 선두 컬럼의 유니크한 값 개수에 따른 효율 차이 확인 참고 자료 1. 인덱스 스킵 스캔이란 무엇인가? 인덱스 선두 컬럼이 조건절에 없어도 선두 컬럼을 스킵하며 인덱스 레인지 스캔 하는 것 MySQL 8.0 버전부터 도입 예를 들어 아래와 같이 gender, birth_date 순서로 다중 컬럼 인덱스를 생성했다면 조건절에 gender 컬럼 없이는 인덱스를 사용하지 못합니다 (Index Range Scan을..
컴퓨터 기본/데이터베이스(DB) 2023. 6. 4. 23:31

[MySQL] Slow Query Parameters 목록

MySQL의 Slow Query를 모니터링하기 위한 Slow Query 관련 Parameters 목록을 간단히 정리해봤습니다. 다음에는 슬로우 쿼리 로그를 해석해보겠습니다. 요약 1. slow_query_log: 슬로우 쿼리 저장 유무 설정 (On / Off) 2. long_query_time: 슬로우 쿼리 기준 시간 설정 (ex. 5로 설정한 경우 5초 이상 걸린 쿼리 저장) 3. log_output: FILE 로 저장할지 TABLE에 저장할지 설정 4. slow_query_log_file: FILE로 저장할 경우 로그 파일경로 및 이름 설정 1. Slow Query Log 켜기 - Paramter name: slow_query_log - 설정 가능한 값: ON / OFF - https://dev.my..
컴퓨터 기본/데이터베이스(DB) 2023. 5. 21. 23:53

[MySQL] WHERE절에 EXISTS 사용해서 빠르게 조회하기

특정 조건의 데이터가 존재하는지 확인하기 위해 EXISTS 쿼리를 사용할 때가 있습니다. EXISTS는 조건과 맞는 row 찾으면 이후 rows들은 탐색하지 않기 때문에 빠른 조회가 가능한 장점이 있습니다. (최소 1개에서 ~ 최대 전체 N개 Rows까지 탐색하게 됩니다.) EXISTS 문법 Exists는 EXISTS(서브쿼리) 형태로 Where절이나 Select절에서 사용합니다. 결과 값은 존재하는 행이 있을 경우 True(1) 존재하는 값이 없을 경우 False(0)을 반환 합니다. -- 1. Where 절에서 사용하는 예시 (중첩 서브쿼리, 서브쿼리) -- * Where 절에서 사용하는 서브쿼리를 중첩 서브쿼리 또는 그냥 서브쿼리라고 합니다. SELECT select_column FROM produ..
컴퓨터 기본/데이터베이스(DB) 2023. 1. 24. 23:38

[Git] 깃 커밋 메시지 수정하기 (Changing commit message, git commit message 수정)

git commit 메시지를 변경하는 방법입니다. 로컬에만 커밋한 경우와 로컬에서 커밋 후 remote 저장소에 push한 경우를 다룹니다. 1. 로컬에만 commit한 경우 (remote 저장소에 push하지 않음) git commit --amend git commit 명령어의 --amend 옵션을 사용해 커밋 메시지를 수정할 수 있습니다(amend: 개정하다). --amend 옵션으로는 가장 최근 commit 메시지 1개만 수정할 수 있습니다. 가장 최근 커밋 메시지가 아닌 이전 커밋 메시지를 수정하고 싶으신 경우 아래 "3. 이전 커밋 메시지를 수정하고 싶을 때"를 참고해 주세요 (git rebase -i HEAD~n 명령어) 위와 같이 최상단에 commit message가 있는 commit 정보 ..
컴퓨터 기본/Git 2023. 1. 3. 00:49

RedShift 테이블 별 용량 조회하기 (레드시프트 테이블 용량 조회)

AWS RedShift에서 테이블 용량을 조회하는 방법 입니다. (SVV_TABLE_INFO 뷰 테이블 조회) RedShfit(레드시프트)란? AWS에서 제공하는 Managed 데이터 웨어하우스 클러스터로 구성되며 대용량 병렬 처리(MPP, Massive Parallel Processing) 지원 컬럼 기반(column-oriented) 데이터 스토리지로 디스크에서 필요한 컬럼만 읽어와 처리함 S3에 쿼리 할 수 있는 Redshift Spectrum(레드시프트 스펙트럼) 기능 지원 PostgreSQL을 기반으로 만들어짐 레드시프트 테이블별 용량 조회하기 방법: SVV 뷰(View)의 SVV_TABLE_INFO 뷰 테이블 조회 SVV 뷰: 레드시프트의 시스템 뷰 중 하나로 STV(시스템 정보 스냅샷 데이터..
컴퓨터 기본/데이터베이스(DB) 2022. 8. 29. 23:59

NoSQL 등장 배경 및 종류: 트래픽 증가에 대응하기 위해 등장

회사의 일부 서비스에서 MongoDB, ElasticSearch, DocumentDB 등 NoSQL 데이터베이스 관리 시스템을 사용하고 있어 왜 / 어떤 경우에 NoSQL을 사용하는지 등장 배경부터 한번 정리해봤습니다. (NoSQL 사용 이유) NoSQL(Not Only SQL) 이란? SQL만을 사용하지 않는 DBMS(Database Managment System, 데이터베이스 관리 시스템)들을 지칭하는 용어 과거 RDBMS(Relational Database Managment System, 관계형 데이터베이스 관리 시스템)와 달리 SQL이 아닌 다른 방식으로 데이터를 처리 / 조회 (물론 SQL과 비슷한 명령어를 지원하기도 함) Redis, MongoDB, HBase, ElasticSearch, AW..
컴퓨터 기본/데이터베이스(DB) 2022. 8. 23. 23:40

[GitHub Actions] GitHub Actions 예제, Tutorials / Github Action 샘플

GitHub Actions을 사용하면 GitHub repository에 변화가 있을 때 특정 Jobs 들을 실행시킬 수 있습니다. 예를 들어 main branch 특정 파일이 Push 되거나 Merge 되었을 경우 repository의 해당 파일을 원격 저장소에 동기화하는 데 사용할 수 있습니다. 변화가 있을 때: Event가 감지되었을 때 아래는 공식 Documents의 소개 글 입니다. Jenkins와 같은 3rd party 솔루션 없이도 GitHub Actions으로 CI/CD 파이프라인 구성이 가능합니다. GitHub Actions Automate, customize, and execute your software development workflows right in your repository..
컴퓨터 기본/Git 2022. 6. 16. 23:43

[데이터베이스] 데이터 테이블 종류 및 특성 (운영계 - OLTP 관점)

본 포스팅은 학습 용도로 작성하였습니다. 이미지와 주요 내용은 책 ‘빅데이터를 지탱하는 기술(니시다 케이스케 지음, 정인식 옮김, 2018, 제이펍)’ 의 내용을 정리하였습니다. 이외 참고자료는 포스팅 하단에 링크를 남겼습니다. 주요 키워드: 트랜잭션 테이블(Transaction table), 마스터 테이블(Master table), 히스토리 테이블(History table) 개요 기업의 데이터를 활용하기 위해 기업에서 운영 중인 데이터베이스 현황 분석을 하다 보면 수많은 테이블 때문에 난관에 봉착하는 경우가 많습니다. 수많은 테이블 현황을 분석할 때 테이블을 트랜잭션(Transaction), 마스터(Master) 테이블로 분류해 정리하면 분석하고 정리하기 수월합니다. 트랜잭션 테이블 트랜잭션 테이블(T..
컴퓨터 기본/데이터베이스(DB) 2022. 3. 22. 23:38

[Linux] 리눅스 데몬(서비스) 리스트 조회하기 - systemctl 명령어 사용

전체 서비스 리스트 조회하기 $ systemctl list-unit-files Disabled 서비스 리스트 조회하기 $ systemctl list-unit-files | grep disabled >>> proc-sys-fs-binfmt_misc.mount disabled enabled acpid.service disabled enabled brltty.service disabled enabled console-getty.service disabled disabled debug-shell.service disabled disabled Active 서비스 목록 조회하기 $ systemctl list-units --state active >>> UNIT LOAD ACTIVE SUB DESCRIPTION > ..
컴퓨터 기본/리눅스(Linux) 2022. 3. 16. 00:04

[Linux] 실행중인 프로세스 파일 위치 확인 하기

확인 결과 PID 8466번을 가지는 Python3 프로세스의 파일 위치를 확인해 봤습니다. twitter_sample.py 라는 파일을 실행했고, 해당 파일의 경로는 /home/mentha/spark-exam/spark-twitter인 것을 확인할 수 있습니다. ps 명령어로 PID 확인 후 3가지 방법으로 파일 위치를 확인할 수 있습니다. 1. PID 확인하기 (ps 명령어) # 아래 2가지 방법 중 택 1 ps -ef | grep python3 ps aux ps 명령어와 출력결과의 의미가 상세히 궁금하신 경우에는 아래 링크 참고 부탁드립니다 (제 블로그는 아니지만 매우 잘 정리되어 있습니다.) 링크: https://jhnyang.tistory.com/268 (양햄찌가만드는세상님 블로그) 2. 실행중..
컴퓨터 기본/리눅스(Linux) 2022. 2. 9. 23:35

[Linux] buffer cache 파일 확인하기

개요 (How to see buffered and cached data) perf(Performance Counter for Linux) 명령어를 사용해 리눅스 buffer cache에 올라가 있는 파일을 확인하는 방법입니다. free -h 명령어로 메모리를 확인하다가 buffer/cache가 점유하고 있는 메모리가 많은 것을 보고 buffer/cache flush 방법을 찾다가 현재 메모리에 캐싱되어 있는 파일을 확인하는 방법은 없는지 궁금해 찾아보게 되었습니다. perf 설치 및 buffer cache에 대한 내용은 아래 링크를 참고해주세요. 테스트 OS: Ubuntu 20.04 perf 설치 및 설명 참고자료: https://jjudrgn.tistory.com/24 리눅스 buffer cache 설..
컴퓨터 기본/리눅스(Linux) 2022. 2. 8. 22:31

[Oracle] Distinct(unique) 누적 유저 수 구하기 예제 쿼리

오라클에서 ROW_NUMBER(), SUM OVER() 함수를 이용해 Unique 누적 유저수를 구하는 예제 쿼리입니다. 아래에 결과 집합과 예제 쿼리(.sql 파일 포함) 남기겠습니다. 혹시 궁금하신 사항은 댓글 남겨주세요. 감사합니다. 결과 집합 쿼리 /* Oracle 누적 Distinct 유저 카운트 예제 쿼리 * 참고자료: https://stackoverflow.com/questions/37679478/counting-distinct-users-over-time */ --DROP TABLE login_info_sample; CREATE TABLE login_info_sample ( user_id VARCHAR2(10) ,login_dt DATE ); INSERT INTO login_info_sam..
컴퓨터 기본/데이터베이스(DB) 2022. 1. 26. 23:29

[Oracle] Python DataFrame Insert 속도 문제 해결 (CLOB 자료형 문제)

현상 Python에서 to_sql() 메서드로 dataframe을 Oracle 데이터베이스에 Insert 할때 Dataframe 컬럼중 테이터타입이 object인 경우 CLOB(Character large object, CLOB) 자료형으로 매핑되어 Insert가 됨 (CLOB으로 Insert 되게 되면 속도가 매우 느립니다) CLOB : 대용량의 텍스트 데이터를 저장하기 위한 데이터 타입으로 최대 4GB 까지 저장가능 BLOB : 대용량의 바이너리 데이터를 저장하기 위한 데이터 타입으로 최대 4GB BFILE : 대용량의 바이너리 데이터를 파일 형태로 저장하기 위한 데이터 타입 최대 4GB 참고 : https://sksstar.tistory.com/72 문제점 CLOB 자료형으로 Insert 할 경우 ..
컴퓨터 기본/데이터베이스(DB) 2022. 1. 17. 23:15

[DB 튜닝] DB 튜닝 개론 / 기초

DB 튜닝 방법은 크게 액세스 하는 데이터가 소량인지 대량인지 만약 액세스 하는 데이터가 대량이라면 부분 범위 처리가 가능한지 아닌지에 따라 큰 틀에서 튜닝 방법을 나눌 수 있습니다. 튜닝 방법 나누기 (데이터 대량/소량, 부분 범위 처리 가능/불가능) 1.1. 액세스하는 데이터가 소량인 경우 인덱스, NL(Nested Loop) 조인으로 해결 인덱스 선두 컬럼 사용 생성한 인덱스를 잘 활용할 수 있도록 Equal(=) 조건 사용 기존 인덱스로 개선되지 않는다면 테이블 액세스 최소화를 위한 컬럼 추가 or 인덱스 추가/변경 1.2. 액세스 하는 데이터가 대량인 경우 : 부분 범위 처리 가능 / 불가능으로 나눠서 확인 2.1. 액세스 하는 데이터가 대량 & 부분 범위 처리가 가능한 경우 해당 쿼리가 지원하..
컴퓨터 기본/데이터베이스(DB) 2021. 12. 6. 23:35

[Linux] 하위디렉토리까지 파일검색 후 날짜 출력하기 (하위폴더 검색 및 mtime출력)

리눅스에서 하위 디렉토리(폴더) 파일 검색 및 날짜(변경일자 mtime, modify time) 출력하는 방법입니다. 사용 명령어 find 명령어와 -printf 옵션, $PWD 변수 (PRINT Working Directory) egrep 명령어 (Extension grep) : 정규표현식 사용을 위함 awk 명령어 (Aho Weinberger Kernighan): 날짜와 파일 이름만 잘라내기 (Parsing) ls 명령어와 -lR --time-style 옵션 : -l 파일을 리스트로 보여줌, -R 하위디렉토리 파일까지 보여줌, --tiem-style : time format 지정 가능 긴 설명보다는 예시 코드가 도움이 될 거 같아, 아래에 코드와 출력 결과 남기겠습니다. CASE 1 : .log 확장..
컴퓨터 기본/리눅스(Linux) 2021. 8. 9. 23:51

[Oracle] 날짜 표시 형식 변경하기 (시분초까지 보이게하기)

Oracle에서 SELECT시 표현되는 날짜 형식(Date Format)을 변경하는 방법입니다. NLS_DATE_FORMAT Parameter를 변경하면 위에처럼 날짜 표시 형식을 변경할 수 있습니다. NLS(National Language Supprot, 국가별 언어 지원) : 언어 지원과 관련된 설정 정보 NLS 설정 확인 명령어 -- NLS 설정 파라미터 확인 SELECT * FROM NLS_SESSION_PARAMETERS; 변경 방법 2가지 SQL Developer에서 GUI로 변경하는 방법과 명령어로 변경하는 방법 2가지를 설명합니다. SQL Developer 말고 다른 Client 프로그램을 사용하시는 분들은 바로 명령어 버전을 참고하세요. 1. GUI (SQL Developer 기준) 메뉴..
컴퓨터 기본/데이터베이스(DB) 2021. 6. 19. 14:58

[DB] 쿼리 조건문 WHERE 1=1, WHERE 절에 1=1 사용 하는 이유 (동적 쿼리)

쿼리를 분석하다 보면 WHERE 절에 의미없는 조건 1=1이 있는 경우가 있습니다. WHERE 절에 의미없는 조건 1=1을 사용하는 이유는 동적 쿼리(Dynamic query)를 작성하기 위해서입니다. WHERE 절에서의 동적 쿼리란? 상황에 따라 WHERE 절의 필터 조건을 바꾸는 것 WHERE 1=1로 쿼리를 작성하면 추가 조건이 필요할 때마다 동일한 양식(AND 조건문)으로 조건을 추가할 수 있음 WHERE절 첫 번째 조건이 항상 고정되어 있다면 1=1을 사용할 필요 없음 동적 쿼리가 아닌 일반 쿼리에서도 1=1은 불필요 1=1을 사용한 동적 쿼리 예시 /* 1번 케이스 job, mgr 컬럼 기준으로 필터링 */ SELECT * FROM emp WHERE 1=1 AND job = 'SALESMAN'..
컴퓨터 기본/데이터베이스(DB) 2021. 6. 5. 14:54

[Linux] 쉘 초기화 파일(/etc/profile, bashrc, bash_profile 등) 실행 순서 및 설명

Linux 배시 쉘(Bash Shell, 배시 셸) 초기화 파일(/etc/profile, /etc/bashrc, ~/. bash_profile 등)에 대해 정리해봤습니다. 배시 (Bash, Bourne-again shell, 본 어게인 셸)은 본 셸을 대체하는 자유 소프트웨어로서 GNU 프로젝트를 위해 브라이언 폭스(Brian Fox)가 작성한 유닉스 셸이다.[2][3] 1989년 발표되어 GNU 운영 체제와 리눅스, 맥 OS X 그리고 다윈 등 운영 체제의 기본 셸로 탑재되어 광범위하게 배포되었다. 또한 DJGPP와 노벨 넷웨어에 의해 도스로 이식되었고 시그윈과 MinGW의 배포로 마이크로소프트 윈도우로 이식되었다. - 출처 : 위키백과 위의 위키백과 설명처럼 배시 쉘은 터미널 실행시(로그인 시) 기본..
컴퓨터 기본/리눅스(Linux) 2021. 5. 30. 19:46

[Oracle] 오라클 테이블, 컬럼, 인덱스, 코멘트 정보 조회

Oracle DB에서 Table, Column, Index, Commnet 정보를 조회하는 방법이 잘 정리된 포스팅이 있어 공유드립니다. 아래 예시 쿼리들은 TABLE_NAME으로 조회하는 방식이지만 Schema (Onwer) 등 기타 조건을 WHERE 절에 넣어 조회할 수 있습니다. 1. 접두사 종류 3가지 : 권한 및 조회 범위에 따라 사용 (보통은 ALL 추천) - DBA/ALL/USER 2. Object 조회 -- 오브젝트 조회 SELECT * FROM ALL_OBJECTS WHERE OBJECT_NAME LIKE '명' 3. 테이블 조회 -- 테이블 조회 SELECT * FROM ALL_TABLES WHERE TABLE_NAME LIKE '명' 4. Synonym 조회 (테이블 별칭) -- 시노..
컴퓨터 기본/데이터베이스(DB) 2021. 5. 29. 14:56

[Linux] 리눅스 -dev, -devel 패키지란?

리눅스에서 각종 패키지를 설치하다 보면 의존성(Dependency) 문제로 아래와 같이 libxml2-devel, openssl-devel 같은 devel 패키지를 설치해야 하는 경우가 많습니다 (데비안계열인 우분투의 경우 libxml2-dev, openssl-dev) 레드햇 계열 배포판(CentOS) 시스템 라이브러리 설치 예시 (출처 : https://firedev.tistory.com/m/entry/CentOS-CentOS-설치-후-설정) yum -y install zlib curl yum -y install gcc g++ cpp gcc-c++ compat-gcc-34-g77 yum -y install libxml2 libxml2-devel yum -y install gd gd-devel yum -..
컴퓨터 기본/리눅스(Linux) 2021. 5. 13. 22:10
◀ 1 2 3 4 ▶

티스토리툴바