행궁동 데이터 엔지니어

컴퓨터 기본 → (66)건

[Docker] 우분투(Ubuntu)에 Docker 설치하기

우분투에 Docker 설치하는 방법입니다. Docker 권한 설정(사용자 계정에서 docker 명령어 사용)까지 상세하게 정리했으니 우분투에 도커 설치가 필요하신 분들은 참고하시면 좋을 것 같습니다. Ubuntu 16.04(Code name : Xenial Xerus), 18.04(Bionic Beaver), 20.04(Focal Fossa) 모두 OK 1. 도커(Docker) 설치 준비 우분투 패키지 관리 툴(APT, Advanced Package Tool)) 업데이트 # Ubuntu apt(Advanced Package Tool) 업데이트 sudo apt update 도커 엔진 설치를 위한 패키지 설치 sudo apt-get install \ apt-transport-https \ ca-certifi..
컴퓨터 기본/도커(Docker) 2021. 5. 1. 17:44

[SQL 실행과정] 파싱(Parsing), 소프트파싱(Soft parsing), 하드 파싱(Hard parsing) - SQL 쿼리 처리 과정

SQL문 실행 과정에 대한 포스팅입니다. DBMS 엔진은 요청받은 쿼리문을 실행하기 위해 파싱(Parsing)이라는 과정을 진행합니다. 이 파싱에는 문법 체크, 권한 유무, Library cache에 기존 쿼리가 있는지를 체크하는 공통 파싱 그리고 Library chace에 기존 쿼리가 있는 경우 진행하는 소프트 파싱(Soft parsing) 기존 쿼리가 없는 경우 진행하는 하드 파싱(Hard parsing) 총 3가지가 있습니다 (아래 표에 조금 더 상세히 정리) 파싱 종류 주요 내용 비고 공통 파싱 Syntax check(문법 체크) Semantic check(오브젝트 및 권한유무 체크, 오브젝트 : 테이블, 컬럼 등) Library cache check (쿼리가 저장되어 있는 검사) Library ..
컴퓨터 기본/데이터베이스(DB) 2021. 4. 18. 19:23

[Oracle DB] 오라클 DB 백그라운드 프로세스별 역할

오라클 Database의 백그라운드 프로세스 설명입니다. 오라클 데이터베이스의 프로세스는 백그라운드 프로세스와 서버 프로세스로 구분됩니다. 백그라운드 프로세스는 인스턴스가 시작될 때, 서버 프로세스는 사용자가 데이터베이스 서버에 접속할 때 생성됩니다. 백그라운드 프로세스는 데이터베이스 운영에 필요한 백그라운드 작업을 수행합니다. 주요 백그라운드 프로세스는 아래와 같이 동작합니다. 주요 백그라운드 프로세스별 역할 (출처 : 불친절한 SQL 프로그래밍 35p) 백그라운드 프로세스명 설명 PMON (Process monitor) 다른 프로세스를 감시 (프로세스 정리) SMON (System monitor) 시스템 레벨의 정리 작업을 담당 (인스턴스 복구) CKPT(Checkpoint) Control file과..
컴퓨터 기본/데이터베이스(DB) 2021. 4. 18. 13:26

[DB 정규화] 1정규형, 2정규형, 3정규형

정규형(Normal Form, NF)은 데이터 이상(Anomaly) 현상을 제거하기 위한 관계형 모델의 설계 지침입니다. 1, 2, 3 정규형(NF)은 관계형 데이터 모델을 만든 에드거 F. 커드(E.F. Codd) 박사가 제안했습니다. 정규화(Normalization)는 정규형을 위배한 릴레이션을 정규형으로 만드는 과정입니다. 1정규형(1NF), 2정규형(2NF), 3정규형(3NF) 각각에서 만족해야 하는 규칙은 아래 표와 같습니다. 1~3 정규형은 계층적이라 선행조건을 만족해야 합니다. ex. 2정규형은 1정규형 조건 + 2정규형 조건을 만족해야 합니다. 구분 조건 1정규형 (1NF) 속성의 원자성(Atomicity) 만족 2정규형 (2NF) 1정규형 만족 + 부분 종속 (Partial depende..
컴퓨터 기본/데이터베이스(DB) 2021. 4. 17. 22:52

[Oracle] 연속으로 된 날짜 만들기 (CONNECT BY LEVEL 활용)

데이터베이스를 사용하다 보면 연속으로 된 날짜가 필요한 경우가 있습니다. (월 단위, 주 단위 날짜 등) 오라클 DB에서 제공하는 CONNECT BY LEVEL 쿼리를 사용해 연속으로 된 날짜를 만들어 보겠습니다. 아래 내용을 보시면 알겠지만 CONNECT BY LEVEL 쿼리는 반복문처럼 활용할 수 있습니다. 내용 : 연속으로 된 날짜 생성 아래 사진과 같이 매주 금요일, 매월 1일 등을 생성할 수 있습니다. 주요 사용 쿼리 및 함수 목록 CONNECET BY LEVEL : 계층형 쿼리로 날짜 연산에 사용 TO_DATE('문자열', '날짜포맷') : 문자열을 날짜로 변환 ex) TO_DATE('20210101', 'YYYMMDD') TO_CHAR('내용', '포맷') : 숫자/날짜 등을 문자열로 변환 ..
컴퓨터 기본/데이터베이스(DB) 2021. 3. 31. 23:25

[Git Repository 로컬 연결] Pull, Push

Git 원격 저장소(Remote Repository)의 데이터를 로컬 PC에 연동(Pull)하고 업로드(Push) 하는 방법입니다. 4단계로 끊어서 간단하게 설명드리겠습니다. 4단계 계정 설정 로컬 저장소 생성 원격 저장소 데이터 로컬 PC로 Pull (다운로드) 원격 저장소에 데이터 Push (업로드) 1. 계정 설정 계정 설정 필수 항목인 user.name과 user.email을 설정합니다. git config --global user.name "Your name" git config --global user.email "Your@git.email" 계정 설정 확인 하기 $ git config --global --list user.name=Your name user.email=Your@git.emai..
컴퓨터 기본/Git 2021. 3. 24. 00:01

[Oracle] 오라클 VARCHAR2 타입 Byte semantics과 Character Semantics

오라클 VARCHAR2 타입을 사용할 때 데이터 크기를 Byte, Character로 처리하는 방법에 대한 내용입니다.참고 : 오라클 VARCHAR2 타입의 데이터 크기는 1 ~ 4000 Bytes 범위로 설정할 수 있습니다. 아래에서 Semantics(의미론)라는 단어 때문에 헷갈릴 수 있는데Semantics를 '규칙'이라고 치환해서 생각하면 이해하기 편합니다. Byte semantics (바이트 규칙) : Varchar2 타입 컬럼 최대 데이터 크기를 Bytes 기준으로 설정사용방법 : VARCHAR2(길이 BYTE)EX) VARCHAR2(10 BYTE)Character Semantics (캐릭터 규칙) : Varchar2 타입 컬럼 최대 데이터 크기를 Character(문자수) 기준으로 설정사용방법..
컴퓨터 기본/데이터베이스(DB) 2021. 3. 9. 22:50

[Linux] 데이터 랜덤 추출 (sort , shuf)

리눅스에서 랜덤 하게 데이터를 추출하는 방법 2가지를 소개합니다. sort 명령어 사용 (-r 옵션) shuf 명령어 사용 (-n 옵션) 2가지 방법중 shuf 명령어가 속도가 빠르니 shuf 명령어 사용을 권장합니다. 아래에 time 명령어를 활용한 sort, shuf 명령어 실행시간 테스트 결과도 첨부합니다. 테스트 데이터 : 전국 아파트 거래내역 데이터 1만 개 랜덤 추출 개수 : 1개 행 time 명령어 사용 테스트 결과, 테스트 방법 : time(명령어) sort 명령어 : 0.022s shuf 명령어 : 0.006s 1. sort 명령어 : -r 옵션과 | (파이프} head -n 명령어(상위 n개 행 추출) 사용 # sort -r [개수] | head -n [개수] sort -r sample..
컴퓨터 기본/리눅스(Linux) 2021. 2. 16. 23:19

[MySQL] 날짜 형식이 섞여있는 데이터 처리 하기

아래와 같이 원본 데이터의 날짜 형식이 섞여있을 때 데이터를 처리하는 방법입니다. 아래에 데이터 생성부터 변환 코드 남깁니다. 혹시 궁금하신 내용은 댓글 남겨주세요. 감사합니다. 주요 사용 함수 조건 문 : case when str_to_date(문자열, 'date format') : 문자열을 원하는 날짜 형식(date format, ex. %Y-%m-%d)으로 변환 이외 임시 테이블 생성(create temporary table), Insert, Update 구문 날짜 형식이 섞여있는 테스트용 임시 테이블 생성 -- 데이터 형식이 섞여있는 샘플데이터 생성 -- 임시테이블 (cte) 생성 create temporary table cte( str_val varchar(20) ); -- 데이터 Insert ..
컴퓨터 기본/데이터베이스(DB) 2021. 2. 14. 15:12

[Virtualbox] 버추얼박스에 설치한 MySQL 접속하기

Virtualbox(이하 버추얼박스)에 MySQL을 설치하고 접속하는 방법입니다. 2개 스텝으로 나눠집니다. 1. 버추얼박스 네트워크 설정 (브리지 모드) 2. IP 확인 후 접속 (ifconfig로 확인) 1. 버추얼박스 브리지 모드 네트워크 설정 브리지 모드 설정을 통해 도커가 설치된 가상머신에 IP를 부여하고 호스트 PC에서 접근할 수 있습니다. 브리지 모드가 무엇인지 추가로 궁금하신 분들을 위한 참고자료 : hahaite.tistory.com/283 VirtualBox - NAT 및 Bridge Adapter 개념 및 설정 이글은 예전 제 싸이월드 블로그에 작성한 글을 티스토리로 옮긴 것입니다. 원문 : http://cy.cyworld.com/home/21147242/post/54A21ECBD6D..
컴퓨터 기본/데이터베이스(DB) 2021. 2. 12. 15:32

[리소스 확장의 2가지 방법] 스케일업(Scale up) 스케일아웃(Scale out)

기술문서나, 아키텍처 구성도 등을 보면 자주 접하는 스케일업(Scale up), 스케일아웃(Scale out)이라는 용어(Terminology)에 대해 간단히 정리하려고 합니다. 각 용어를 한문장으로 요약하면 아래 표와 같습니다. 용어 간단 설명 스케일업 (Scale up) 리소스의 수직적 확장 ex) 서버를 업그레이드(Cpu변경, Ram 추가 등)하여 서버 리소스 증대 스케일아웃 (Scale out) 리소스의 수평적 확장 ex) 서버를 추가설치 하여 분산 시스템구현 그림으로 표현하면 아래 그림과 같고 Scale up과 Scale out을 동시에 적용하는 경우도 있습니다. Scale up, Scale out의 특징에 대해 궁금하신 분들이 있을 것 같아 확장, 비용, 운영, 장애 4 가지 측면에서 정리한 ..
컴퓨터 기본/데이터베이스(DB) 2021. 2. 1. 21:26

[MySQL] group_concat 사용방법

MySQL에서 Group_concat을 이용해 그룹별로 데이터를 Concatenate 하는 방법입니다. 간단한 예시를 들면 아래와 같이 [Table 1] '부서 테이블' 이 있을 때 [Table 2] 부서별 성명, [Table 3] 직급별 성명으로 그룹지어 나타낼 수 있습니다. 그럼 본격적으로 group_concat 하는 방법을 확인해보겠습니다 Grooup_concat 실습 순서 (MySQL) 1. 부서 테이블 생성 2. Group_concat 확인 예시 코드로 설명하고 전체 쿼리를 담은. sql 파일은 글 제일 아래에 첨부 1. 부서(DEPARTMENT) 테이블 생성 하기 -- 테스트용 DB 생성 CREATE database GROUP_CONCAT; -- DB 선택 USE GROUP_CONCAT; --..
컴퓨터 기본/데이터베이스(DB) 2020. 6. 10. 22:02

[Git 자주 쓰는 명령어] status, add, log, branch

Git에서 자주 사용하는 명령어 몇 가지를 정리해봤습니다. 아래 명령어들은 필수적으로 알고 있는 것이 좋습니다. 자주 쓰는 명령어 5가지 git status : git 상태 확인 git add : git 관리 대상 파일 추가 git log : git log 확인 git branch : 현재 branch 확인 git commit "파일명" -m "코멘트" : git commit 하기 (-m : message 기록해서) 예시 (Windows Git CMD에서 테스트) test.txt 파일 생성 : echo "hello git" > test.txt git 상태 확인 : git status git 관리 대상추가 : git add test.txt 관리대상 추가 후 git 상태 확인 : git status git ..
컴퓨터 기본/Git 2020. 4. 28. 23:04

[워크벤치 오류 해결방법] Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column.

Workbench를 사용해 DELETE 중 아래와 같은 오류가 발생할 경우 해결하는 방법입니다. 오류 내용 Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. 해결 방법 아래 경로로 차례대로 이동 후 Safe Update의 체크박스를 해제하면 간단히 해결됩니다. Edit → Preferences → SQL Editor → Other → Safe Updates (rejects UPDATEs and DELETEs with no restrictions) 체크 박스 해제 아래에 스크린샷 남기겠습니다.
컴퓨터 기본/데이터베이스(DB) 2020. 4. 1. 23:17

엘라스틱서치(elasticsearch)에 IP 설정해서 외부에서 접속하기

엘라스틱서치 (Elasticsearch)에 IP를 설정하고 외부에서 접속할 수 있도록 하는 방법입니다. (포트 설정하는 방법도 함께 설명 합니다) 우선 제가 엘라스틱서치를 구성한 환경은 아래와 같습니다. 운영체제 : 우분투 18.04(버추얼박스 가상머신) 엘라스틱서치 버전 : 7.6.1 가상머신(게스트) 네트워크에 호스트 전용 어댑터 부여 방법은 아주 간단합니다. 1. 엘라스틱서치 설정파일 접근 설정 파일 경로 : /etc/elasticsearch/elasticsearch.yml 저는 nano 에디터로 접근했습니다. nano /etc/elasticsearch/elasticsearch.yml 혹시 .yml 확장자가 궁금하신 분들은 다음 링크 참조 : https://ko.wikipedia.org/wiki/Y..
컴퓨터 기본/리눅스(Linux) 2020. 3. 30. 22:41

[MySQL 백업 오류] mysqldump: Got errno 28 on write 해결방법

mysqldump를 이용해서 DB를 백업할 때 아래와 같은 오류가 발생하는 경우가 있습니다. mysqldump: Got errno 28 on write 위의 errno 28 오류는 백업 파일 저장을 위한 디스크 용량이 부족할 때 나옵니다. df -h 명령어로 디스크 용량 확인 후, rm 명령어로 불필요한 파일을 삭제하면 문제를 해결할 수 있습니다. 디스크 용량 확인 : df -h(h옵션은 디스크용량 단위를 보기 편하게 바꿔줌, 옵션 미사용: bytes단위) 파일/디렉터리 삭제 : rm [파일명 or 디렉터리명] -rf(r: 디렉토리 삭제 시 하위 폴더까지 삭제 옵션, f: 강제 삭제 옵션) Error Message Backup failed: mysqldump: Got errno 28 on write Me..
컴퓨터 기본/데이터베이스(DB) 2020. 3. 4. 21:16

[MySQL] 테이블에서 특정 날짜 이전 데이터 삭제

MySQL에서 특정 날짜 이전 데이터를 삭제(Delete)하고 확인하는 방법입니다. (확인 : 날짜별로 데이터 확인하기, 날짜 min, max 확인하기) 주요 사용 연산자와 함수 삭제 : DELETE, WHERE 확인 : DISTINCT, DATE_FORMAT, MIN, MAX, COUNT, GROUP BY 특정 날짜 이전 데이터 삭제 예시 MySQL에서 특정 날짜 이전 데이터 삭제하기 -- 삭제 전 행(row) 수 확인 select count(*) from 테이블이름; -- delete 쿼리로 date_reg > '2020-02-01'인 경우 삭제 -- 실제 rows 삭제 쿼리 입니다. 삭제만 필요하신 경우 이 쿼리만 참고하시면 됩니다. -- 아래 쿼리에서 테이블이름, date_reg(컬럼명), '20..
컴퓨터 기본/데이터베이스(DB) 2020. 3. 3. 21:20

ODBC(Open Database Connectivity)란?

ODBC(Open Database Connectivity) 어떤 DBMS(응용 프로그램)을 사용하는지 관계없이, DBMS 간에 호환될 수 있도록 마이크로소프트에서 만든 표준이다. MySQL, MariaDB, MS-SQL, ORACLE, Postgres 등 많은 DBMS에 데이터가 저장되어 있는데, 특정 조건의 데이터를 가져오기 위해 각 DBMS의 Syntax에 맞춰 쿼리문을 작성하는 것은 너무 번거롭다. ODBC를 사용하면 하나의 프로그램(쿼리문)만 작성해도 다양한 DBMS에 저장된 데이터를 가져올 수 있다. * 단 ODBC로 연계하려는 DBMS의 드라이버들은 설치해야함 1. 밖에 비 내린다 님 블로그, ODBC란?, https://epdl-studio.tistory.com/8 2. beom3님 블로그,..
컴퓨터 기본/데이터베이스(DB) 2020. 1. 20. 23:19

MariaDB 계정 생성과 권한 부여 및 회수 하기(grant, revoke)

MariaDB에서 계정을 생성하고 권한 부여하는 방법입니다. 계정 생성 방법 계정 생성 : create user '계정명'@'접속 위치(host)' identified by '비밀번호'; 접속 위치 관련 설명, 특정 IP 지정, 모든 IP 허용('%'), 내부에서만 허용('localhost') 특정 IP 지정 ex) create user 'test'@'8.8.8.8' indetified by '1234'; < test라는 계정으로 8.8.8.8 ip에서만 접근 가능 모든 IP 허용 ex) create user 'test'@'%' identified by '1234'; < test라는 계정으로 모든 ip에서 접근 가능 내부에서만 접근 허용 ex) create user 'test'@'localhost' id..
컴퓨터 기본/데이터베이스(DB) 2020. 1. 19. 22:58

[프로그래머스, SQL 문제] DATATIME에서 DATE로 형 변환 with MySQL

프로그래머스 SQL 문제 중 String, Date 카테고리에 속한 문제를 풀어봤습니다. 주요 사용 연산자와 함수 : DATE_FORMAT('컬럼명',FORAMT) https://programmers.co.kr/learn/courses/30/lessons/59414 코딩테스트 연습 - DATETIME에서 DATE로 형 변환 | 프로그래머스 ANIMAL_INS 테이블은 동물 보호소에 들어온 동물의 정보를 담은 테이블입니다. ANIMAL_INS 테이블 구조는 다음과 같으며, ANIMAL_ID, ANIMAL_TYPE, DATETIME, INTAKE_CONDITION, NAME, SEX_UPON_INTAKE는 각각 동물의 아이디, 생물 종, 보호 시작일, 보호 시작 시 상태, 이름, 성별 및 중성화 여부를 나타..
컴퓨터 기본/데이터베이스(DB) 2020. 1. 12. 17:19
◀ 1 2 3 4 ▶

티스토리툴바