행궁동 데이터 엔지니어

컴퓨터 기본/데이터베이스(DB) → (48)건

[MySQL] 인덱스 스킵 스캔 (Index Skip Scan)

MySQL 8.0에 도입된 인덱스 스킵 스캔 기능을 간단히 정리하고 실습 코드를 준비해 봤습니다. 목차 1. 인덱스 스킵 스캔이란 무엇인가? 2. 인덱스 스킵 스캔 사용을 위한 조건 3. 인덱스 스킵 스캔 실습 해보기 3.1. Skip Scan: Off 3.2. Skip Scan: On 3.3. 인덱스 선두 컬럼의 유니크한 값 개수에 따른 효율 차이 확인 참고 자료 1. 인덱스 스킵 스캔이란 무엇인가? 인덱스 선두 컬럼이 조건절에 없어도 선두 컬럼을 스킵하며 인덱스 레인지 스캔 하는 것 MySQL 8.0 버전부터 도입 예를 들어 아래와 같이 gender, birth_date 순서로 다중 컬럼 인덱스를 생성했다면 조건절에 gender 컬럼 없이는 인덱스를 사용하지 못합니다 (Index Range Scan을..
컴퓨터 기본/데이터베이스(DB) 2023. 6. 4. 23:31

[MySQL] Slow Query Parameters 목록

MySQL의 Slow Query를 모니터링하기 위한 Slow Query 관련 Parameters 목록을 간단히 정리해봤습니다. 다음에는 슬로우 쿼리 로그를 해석해보겠습니다. 요약 1. slow_query_log: 슬로우 쿼리 저장 유무 설정 (On / Off) 2. long_query_time: 슬로우 쿼리 기준 시간 설정 (ex. 5로 설정한 경우 5초 이상 걸린 쿼리 저장) 3. log_output: FILE 로 저장할지 TABLE에 저장할지 설정 4. slow_query_log_file: FILE로 저장할 경우 로그 파일경로 및 이름 설정 1. Slow Query Log 켜기 - Paramter name: slow_query_log - 설정 가능한 값: ON / OFF - https://dev.my..
컴퓨터 기본/데이터베이스(DB) 2023. 5. 21. 23:53

[MySQL] WHERE절에 EXISTS 사용해서 빠르게 조회하기

특정 조건의 데이터가 존재하는지 확인하기 위해 EXISTS 쿼리를 사용할 때가 있습니다. EXISTS는 조건과 맞는 row 찾으면 이후 rows들은 탐색하지 않기 때문에 빠른 조회가 가능한 장점이 있습니다. (최소 1개에서 ~ 최대 전체 N개 Rows까지 탐색하게 됩니다.) EXISTS 문법 Exists는 EXISTS(서브쿼리) 형태로 Where절이나 Select절에서 사용합니다. 결과 값은 존재하는 행이 있을 경우 True(1) 존재하는 값이 없을 경우 False(0)을 반환 합니다. -- 1. Where 절에서 사용하는 예시 (중첩 서브쿼리, 서브쿼리) -- * Where 절에서 사용하는 서브쿼리를 중첩 서브쿼리 또는 그냥 서브쿼리라고 합니다. SELECT select_column FROM produ..
컴퓨터 기본/데이터베이스(DB) 2023. 1. 24. 23:38

RedShift 테이블 별 용량 조회하기 (레드시프트 테이블 용량 조회)

AWS RedShift에서 테이블 용량을 조회하는 방법 입니다. (SVV_TABLE_INFO 뷰 테이블 조회) RedShfit(레드시프트)란? AWS에서 제공하는 Managed 데이터 웨어하우스 클러스터로 구성되며 대용량 병렬 처리(MPP, Massive Parallel Processing) 지원 컬럼 기반(column-oriented) 데이터 스토리지로 디스크에서 필요한 컬럼만 읽어와 처리함 S3에 쿼리 할 수 있는 Redshift Spectrum(레드시프트 스펙트럼) 기능 지원 PostgreSQL을 기반으로 만들어짐 레드시프트 테이블별 용량 조회하기 방법: SVV 뷰(View)의 SVV_TABLE_INFO 뷰 테이블 조회 SVV 뷰: 레드시프트의 시스템 뷰 중 하나로 STV(시스템 정보 스냅샷 데이터..
컴퓨터 기본/데이터베이스(DB) 2022. 8. 29. 23:59

NoSQL 등장 배경 및 종류: 트래픽 증가에 대응하기 위해 등장

회사의 일부 서비스에서 MongoDB, ElasticSearch, DocumentDB 등 NoSQL 데이터베이스 관리 시스템을 사용하고 있어 왜 / 어떤 경우에 NoSQL을 사용하는지 등장 배경부터 한번 정리해봤습니다. (NoSQL 사용 이유) NoSQL(Not Only SQL) 이란? SQL만을 사용하지 않는 DBMS(Database Managment System, 데이터베이스 관리 시스템)들을 지칭하는 용어 과거 RDBMS(Relational Database Managment System, 관계형 데이터베이스 관리 시스템)와 달리 SQL이 아닌 다른 방식으로 데이터를 처리 / 조회 (물론 SQL과 비슷한 명령어를 지원하기도 함) Redis, MongoDB, HBase, ElasticSearch, AW..
컴퓨터 기본/데이터베이스(DB) 2022. 8. 23. 23:40

[데이터베이스] 데이터 테이블 종류 및 특성 (운영계 - OLTP 관점)

본 포스팅은 학습 용도로 작성하였습니다. 이미지와 주요 내용은 책 ‘빅데이터를 지탱하는 기술(니시다 케이스케 지음, 정인식 옮김, 2018, 제이펍)’ 의 내용을 정리하였습니다. 이외 참고자료는 포스팅 하단에 링크를 남겼습니다. 주요 키워드: 트랜잭션 테이블(Transaction table), 마스터 테이블(Master table), 히스토리 테이블(History table) 개요 기업의 데이터를 활용하기 위해 기업에서 운영 중인 데이터베이스 현황 분석을 하다 보면 수많은 테이블 때문에 난관에 봉착하는 경우가 많습니다. 수많은 테이블 현황을 분석할 때 테이블을 트랜잭션(Transaction), 마스터(Master) 테이블로 분류해 정리하면 분석하고 정리하기 수월합니다. 트랜잭션 테이블 트랜잭션 테이블(T..
컴퓨터 기본/데이터베이스(DB) 2022. 3. 22. 23:38

[Oracle] Distinct(unique) 누적 유저 수 구하기 예제 쿼리

오라클에서 ROW_NUMBER(), SUM OVER() 함수를 이용해 Unique 누적 유저수를 구하는 예제 쿼리입니다. 아래에 결과 집합과 예제 쿼리(.sql 파일 포함) 남기겠습니다. 혹시 궁금하신 사항은 댓글 남겨주세요. 감사합니다. 결과 집합 쿼리 /* Oracle 누적 Distinct 유저 카운트 예제 쿼리 * 참고자료: https://stackoverflow.com/questions/37679478/counting-distinct-users-over-time */ --DROP TABLE login_info_sample; CREATE TABLE login_info_sample ( user_id VARCHAR2(10) ,login_dt DATE ); INSERT INTO login_info_sam..
컴퓨터 기본/데이터베이스(DB) 2022. 1. 26. 23:29

[Oracle] Python DataFrame Insert 속도 문제 해결 (CLOB 자료형 문제)

현상 Python에서 to_sql() 메서드로 dataframe을 Oracle 데이터베이스에 Insert 할때 Dataframe 컬럼중 테이터타입이 object인 경우 CLOB(Character large object, CLOB) 자료형으로 매핑되어 Insert가 됨 (CLOB으로 Insert 되게 되면 속도가 매우 느립니다) CLOB : 대용량의 텍스트 데이터를 저장하기 위한 데이터 타입으로 최대 4GB 까지 저장가능 BLOB : 대용량의 바이너리 데이터를 저장하기 위한 데이터 타입으로 최대 4GB BFILE : 대용량의 바이너리 데이터를 파일 형태로 저장하기 위한 데이터 타입 최대 4GB 참고 : https://sksstar.tistory.com/72 문제점 CLOB 자료형으로 Insert 할 경우 ..
컴퓨터 기본/데이터베이스(DB) 2022. 1. 17. 23:15

[DB 튜닝] DB 튜닝 개론 / 기초

DB 튜닝 방법은 크게 액세스 하는 데이터가 소량인지 대량인지 만약 액세스 하는 데이터가 대량이라면 부분 범위 처리가 가능한지 아닌지에 따라 큰 틀에서 튜닝 방법을 나눌 수 있습니다. 튜닝 방법 나누기 (데이터 대량/소량, 부분 범위 처리 가능/불가능) 1.1. 액세스하는 데이터가 소량인 경우 인덱스, NL(Nested Loop) 조인으로 해결 인덱스 선두 컬럼 사용 생성한 인덱스를 잘 활용할 수 있도록 Equal(=) 조건 사용 기존 인덱스로 개선되지 않는다면 테이블 액세스 최소화를 위한 컬럼 추가 or 인덱스 추가/변경 1.2. 액세스 하는 데이터가 대량인 경우 : 부분 범위 처리 가능 / 불가능으로 나눠서 확인 2.1. 액세스 하는 데이터가 대량 & 부분 범위 처리가 가능한 경우 해당 쿼리가 지원하..
컴퓨터 기본/데이터베이스(DB) 2021. 12. 6. 23:35

[Oracle] 날짜 표시 형식 변경하기 (시분초까지 보이게하기)

Oracle에서 SELECT시 표현되는 날짜 형식(Date Format)을 변경하는 방법입니다. NLS_DATE_FORMAT Parameter를 변경하면 위에처럼 날짜 표시 형식을 변경할 수 있습니다. NLS(National Language Supprot, 국가별 언어 지원) : 언어 지원과 관련된 설정 정보 NLS 설정 확인 명령어 -- NLS 설정 파라미터 확인 SELECT * FROM NLS_SESSION_PARAMETERS; 변경 방법 2가지 SQL Developer에서 GUI로 변경하는 방법과 명령어로 변경하는 방법 2가지를 설명합니다. SQL Developer 말고 다른 Client 프로그램을 사용하시는 분들은 바로 명령어 버전을 참고하세요. 1. GUI (SQL Developer 기준) 메뉴..
컴퓨터 기본/데이터베이스(DB) 2021. 6. 19. 14:58

[DB] 쿼리 조건문 WHERE 1=1, WHERE 절에 1=1 사용 하는 이유 (동적 쿼리)

쿼리를 분석하다 보면 WHERE 절에 의미없는 조건 1=1이 있는 경우가 있습니다. WHERE 절에 의미없는 조건 1=1을 사용하는 이유는 동적 쿼리(Dynamic query)를 작성하기 위해서입니다. WHERE 절에서의 동적 쿼리란? 상황에 따라 WHERE 절의 필터 조건을 바꾸는 것 WHERE 1=1로 쿼리를 작성하면 추가 조건이 필요할 때마다 동일한 양식(AND 조건문)으로 조건을 추가할 수 있음 WHERE절 첫 번째 조건이 항상 고정되어 있다면 1=1을 사용할 필요 없음 동적 쿼리가 아닌 일반 쿼리에서도 1=1은 불필요 1=1을 사용한 동적 쿼리 예시 /* 1번 케이스 job, mgr 컬럼 기준으로 필터링 */ SELECT * FROM emp WHERE 1=1 AND job = 'SALESMAN'..
컴퓨터 기본/데이터베이스(DB) 2021. 6. 5. 14:54

[Oracle] 오라클 테이블, 컬럼, 인덱스, 코멘트 정보 조회

Oracle DB에서 Table, Column, Index, Commnet 정보를 조회하는 방법이 잘 정리된 포스팅이 있어 공유드립니다. 아래 예시 쿼리들은 TABLE_NAME으로 조회하는 방식이지만 Schema (Onwer) 등 기타 조건을 WHERE 절에 넣어 조회할 수 있습니다. 1. 접두사 종류 3가지 : 권한 및 조회 범위에 따라 사용 (보통은 ALL 추천) - DBA/ALL/USER 2. Object 조회 -- 오브젝트 조회 SELECT * FROM ALL_OBJECTS WHERE OBJECT_NAME LIKE '명' 3. 테이블 조회 -- 테이블 조회 SELECT * FROM ALL_TABLES WHERE TABLE_NAME LIKE '명' 4. Synonym 조회 (테이블 별칭) -- 시노..
컴퓨터 기본/데이터베이스(DB) 2021. 5. 29. 14:56

[SQL 실행과정] 파싱(Parsing), 소프트파싱(Soft parsing), 하드 파싱(Hard parsing) - SQL 쿼리 처리 과정

SQL문 실행 과정에 대한 포스팅입니다. DBMS 엔진은 요청받은 쿼리문을 실행하기 위해 파싱(Parsing)이라는 과정을 진행합니다. 이 파싱에는 문법 체크, 권한 유무, Library cache에 기존 쿼리가 있는지를 체크하는 공통 파싱 그리고 Library chace에 기존 쿼리가 있는 경우 진행하는 소프트 파싱(Soft parsing) 기존 쿼리가 없는 경우 진행하는 하드 파싱(Hard parsing) 총 3가지가 있습니다 (아래 표에 조금 더 상세히 정리) 파싱 종류 주요 내용 비고 공통 파싱 Syntax check(문법 체크) Semantic check(오브젝트 및 권한유무 체크, 오브젝트 : 테이블, 컬럼 등) Library cache check (쿼리가 저장되어 있는 검사) Library ..
컴퓨터 기본/데이터베이스(DB) 2021. 4. 18. 19:23

[Oracle DB] 오라클 DB 백그라운드 프로세스별 역할

오라클 Database의 백그라운드 프로세스 설명입니다. 오라클 데이터베이스의 프로세스는 백그라운드 프로세스와 서버 프로세스로 구분됩니다. 백그라운드 프로세스는 인스턴스가 시작될 때, 서버 프로세스는 사용자가 데이터베이스 서버에 접속할 때 생성됩니다. 백그라운드 프로세스는 데이터베이스 운영에 필요한 백그라운드 작업을 수행합니다. 주요 백그라운드 프로세스는 아래와 같이 동작합니다. 주요 백그라운드 프로세스별 역할 (출처 : 불친절한 SQL 프로그래밍 35p) 백그라운드 프로세스명 설명 PMON (Process monitor) 다른 프로세스를 감시 (프로세스 정리) SMON (System monitor) 시스템 레벨의 정리 작업을 담당 (인스턴스 복구) CKPT(Checkpoint) Control file과..
컴퓨터 기본/데이터베이스(DB) 2021. 4. 18. 13:26

[DB 정규화] 1정규형, 2정규형, 3정규형

정규형(Normal Form, NF)은 데이터 이상(Anomaly) 현상을 제거하기 위한 관계형 모델의 설계 지침입니다. 1, 2, 3 정규형(NF)은 관계형 데이터 모델을 만든 에드거 F. 커드(E.F. Codd) 박사가 제안했습니다. 정규화(Normalization)는 정규형을 위배한 릴레이션을 정규형으로 만드는 과정입니다. 1정규형(1NF), 2정규형(2NF), 3정규형(3NF) 각각에서 만족해야 하는 규칙은 아래 표와 같습니다. 1~3 정규형은 계층적이라 선행조건을 만족해야 합니다. ex. 2정규형은 1정규형 조건 + 2정규형 조건을 만족해야 합니다. 구분 조건 1정규형 (1NF) 속성의 원자성(Atomicity) 만족 2정규형 (2NF) 1정규형 만족 + 부분 종속 (Partial depende..
컴퓨터 기본/데이터베이스(DB) 2021. 4. 17. 22:52

[Oracle] 연속으로 된 날짜 만들기 (CONNECT BY LEVEL 활용)

데이터베이스를 사용하다 보면 연속으로 된 날짜가 필요한 경우가 있습니다. (월 단위, 주 단위 날짜 등) 오라클 DB에서 제공하는 CONNECT BY LEVEL 쿼리를 사용해 연속으로 된 날짜를 만들어 보겠습니다. 아래 내용을 보시면 알겠지만 CONNECT BY LEVEL 쿼리는 반복문처럼 활용할 수 있습니다. 내용 : 연속으로 된 날짜 생성 아래 사진과 같이 매주 금요일, 매월 1일 등을 생성할 수 있습니다. 주요 사용 쿼리 및 함수 목록 CONNECET BY LEVEL : 계층형 쿼리로 날짜 연산에 사용 TO_DATE('문자열', '날짜포맷') : 문자열을 날짜로 변환 ex) TO_DATE('20210101', 'YYYMMDD') TO_CHAR('내용', '포맷') : 숫자/날짜 등을 문자열로 변환 ..
컴퓨터 기본/데이터베이스(DB) 2021. 3. 31. 23:25

[Oracle] 오라클 VARCHAR2 타입 Byte semantics과 Character Semantics

오라클 VARCHAR2 타입을 사용할 때 데이터 크기를 Byte, Character로 처리하는 방법에 대한 내용입니다.참고 : 오라클 VARCHAR2 타입의 데이터 크기는 1 ~ 4000 Bytes 범위로 설정할 수 있습니다. 아래에서 Semantics(의미론)라는 단어 때문에 헷갈릴 수 있는데Semantics를 '규칙'이라고 치환해서 생각하면 이해하기 편합니다. Byte semantics (바이트 규칙) : Varchar2 타입 컬럼 최대 데이터 크기를 Bytes 기준으로 설정사용방법 : VARCHAR2(길이 BYTE)EX) VARCHAR2(10 BYTE)Character Semantics (캐릭터 규칙) : Varchar2 타입 컬럼 최대 데이터 크기를 Character(문자수) 기준으로 설정사용방법..
컴퓨터 기본/데이터베이스(DB) 2021. 3. 9. 22:50

[MySQL] 날짜 형식이 섞여있는 데이터 처리 하기

아래와 같이 원본 데이터의 날짜 형식이 섞여있을 때 데이터를 처리하는 방법입니다. 아래에 데이터 생성부터 변환 코드 남깁니다. 혹시 궁금하신 내용은 댓글 남겨주세요. 감사합니다. 주요 사용 함수 조건 문 : case when str_to_date(문자열, 'date format') : 문자열을 원하는 날짜 형식(date format, ex. %Y-%m-%d)으로 변환 이외 임시 테이블 생성(create temporary table), Insert, Update 구문 날짜 형식이 섞여있는 테스트용 임시 테이블 생성 -- 데이터 형식이 섞여있는 샘플데이터 생성 -- 임시테이블 (cte) 생성 create temporary table cte( str_val varchar(20) ); -- 데이터 Insert ..
컴퓨터 기본/데이터베이스(DB) 2021. 2. 14. 15:12

[Virtualbox] 버추얼박스에 설치한 MySQL 접속하기

Virtualbox(이하 버추얼박스)에 MySQL을 설치하고 접속하는 방법입니다. 2개 스텝으로 나눠집니다. 1. 버추얼박스 네트워크 설정 (브리지 모드) 2. IP 확인 후 접속 (ifconfig로 확인) 1. 버추얼박스 브리지 모드 네트워크 설정 브리지 모드 설정을 통해 도커가 설치된 가상머신에 IP를 부여하고 호스트 PC에서 접근할 수 있습니다. 브리지 모드가 무엇인지 추가로 궁금하신 분들을 위한 참고자료 : hahaite.tistory.com/283 VirtualBox - NAT 및 Bridge Adapter 개념 및 설정 이글은 예전 제 싸이월드 블로그에 작성한 글을 티스토리로 옮긴 것입니다. 원문 : http://cy.cyworld.com/home/21147242/post/54A21ECBD6D..
컴퓨터 기본/데이터베이스(DB) 2021. 2. 12. 15:32

[리소스 확장의 2가지 방법] 스케일업(Scale up) 스케일아웃(Scale out)

기술문서나, 아키텍처 구성도 등을 보면 자주 접하는 스케일업(Scale up), 스케일아웃(Scale out)이라는 용어(Terminology)에 대해 간단히 정리하려고 합니다. 각 용어를 한문장으로 요약하면 아래 표와 같습니다. 용어 간단 설명 스케일업 (Scale up) 리소스의 수직적 확장 ex) 서버를 업그레이드(Cpu변경, Ram 추가 등)하여 서버 리소스 증대 스케일아웃 (Scale out) 리소스의 수평적 확장 ex) 서버를 추가설치 하여 분산 시스템구현 그림으로 표현하면 아래 그림과 같고 Scale up과 Scale out을 동시에 적용하는 경우도 있습니다. Scale up, Scale out의 특징에 대해 궁금하신 분들이 있을 것 같아 확장, 비용, 운영, 장애 4 가지 측면에서 정리한 ..
컴퓨터 기본/데이터베이스(DB) 2021. 2. 1. 21:26
◀ 1 2 3 ▶

티스토리툴바