'분류 전체보기' 카테고리의 글 목록 (3 Page)

[Oracle] Distinct(unique) 누적 유저 수 구하기 예제 쿼리

오라클에서 ROW_NUMBER(), SUM OVER() 함수를 이용해 Unique 누적 유저수를 구하는 예제 쿼리입니다. 아래에 결과 집합과 예제 쿼리(.sql 파일 포함) 남기겠습니다. 혹시 궁금하신 사항은 댓글 남겨주세요. 감사합니다. 결과 집합 쿼리 /* Oracle 누적 Distinct 유저 카운트 예제 쿼리 * 참고자료: https://stackoverflow.com/questions/37679478/counting-distinct-users-over-time */ --DROP TABLE login_info_sample; CREATE TABLE login_info_sample ( user_id VARCHAR2(10) ,login_dt DATE ); INSERT INTO login_info_sam..

컴퓨터 기본/데이터베이스(DB) 2022. 1. 26. 23:29

[Oracle] Python DataFrame Insert 속도 문제 해결 (CLOB 자료형 문제)

현상 Python에서 to_sql() 메서드로 dataframe을 Oracle 데이터베이스에 Insert 할때 Dataframe 컬럼중 테이터타입이 object인 경우 CLOB(Character large object, CLOB) 자료형으로 매핑되어 Insert가 됨 (CLOB으로 Insert 되게 되면 속도가 매우 느립니다) CLOB : 대용량의 텍스트 데이터를 저장하기 위한 데이터 타입으로 최대 4GB 까지 저장가능 BLOB : 대용량의 바이너리 데이터를 저장하기 위한 데이터 타입으로 최대 4GB BFILE : 대용량의 바이너리 데이터를 파일 형태로 저장하기 위한 데이터 타입 최대 4GB 참고 : https://sksstar.tistory.com/72 문제점 CLOB 자료형으로 Insert 할 경우 ..

컴퓨터 기본/데이터베이스(DB) 2022. 1. 17. 23:15

[DB 튜닝] DB 튜닝 개론 / 기초

DB 튜닝 방법은 크게 액세스 하는 데이터가 소량인지 대량인지 만약 액세스 하는 데이터가 대량이라면 부분 범위 처리가 가능한지 아닌지에 따라 큰 틀에서 튜닝 방법을 나눌 수 있습니다. 튜닝 방법 나누기 (데이터 대량/소량, 부분 범위 처리 가능/불가능) 1.1. 액세스하는 데이터가 소량인 경우 인덱스, NL(Nested Loop) 조인으로 해결 인덱스 선두 컬럼 사용 생성한 인덱스를 잘 활용할 수 있도록 Equal(=) 조건 사용 기존 인덱스로 개선되지 않는다면 테이블 액세스 최소화를 위한 컬럼 추가 or 인덱스 추가/변경 1.2. 액세스 하는 데이터가 대량인 경우 : 부분 범위 처리 가능 / 불가능으로 나눠서 확인 2.1. 액세스 하는 데이터가 대량 & 부분 범위 처리가 가능한 경우 해당 쿼리가 지원하..

컴퓨터 기본/데이터베이스(DB) 2021. 12. 6. 23:35

[Oracle] Python cx_Oracle 패키지 arraysize

Python cx_Oracle 패키지의 Arraysize에 관한 포스팅입니다. Arraysize라는 파라미터는 Oracle DBMS 자체에 존재하는 파라미터로 DBMS가 클라이언트에게 데이터를 보내는 단위라는 정의는 동일하고 다른 DBMS도 이와 같은 파라미터를 가지고 있으니 참고 바랍니다. Arraysize를 잘 튜닝하면 대용량 데이터를 빠르게 가져올 수 있습니다. (대용량 데이터를 빠르게 Select 할 수 있습니다) Arraysize? DBMS는 클라이언트에게 SELECT 요청을 받았을 때 DBMS가 데이터를 모두 읽어 한 번에 전송하지 않고 먼저 읽는 데이터부터 일정량(Array Size)을 전송하고 멈추는 구조를 가지고 있습니다. Arraysize : DBMS에서 클라이언트로 데이터를 전송할 때..

카테고리 없음 2021. 10. 17. 23:44

[Python] PEP 8 -- 파이썬 코드 스타일 가이드 (이항 연산자 +-/*)

*PEP (Python Enhancement Proposal) : Python을 개선하기 위한 제안서 PEP 중 8번 Style Guide for Python Code는 파이썬의 코드 스타일 가이드를 담고 있습니다. 코드 작성 후 Black과 같은 코드 포맷터로 자동 포맷팅 할 수 있지만, 간결하고 가독성좋으며 오류가 적은 코드 작성을 위해 어떤 고민이 있었는지 알아보는 것이 의미 있다는 생각에 일부 정리해봤습니다. 기타 : 많은 프로젝트에는 그 프로젝트만의 코딩 스타일 가이드라인이 있고, PEP 8과 충돌이 발생할 경우, 해당 프로젝트의 코딩 스타일을 우선적으로 적용하는 것이 좋습니다. 이번 포스팅은 이항 연산자 위주로 정리해봤습니다. 1. Should a Line Break Before or Afte..

프로그래밍/Python 2021. 10. 9. 20:32

[OS] 동시성(Concurrency) vs 병렬성(Parallelism)

동시성과 병렬성에 대해 간단히 정리해봤습니다. 아래 링크된 Smart Tiger님 블로그의 자료를 많이 참고했음을 밝힙니다. https://seamless.tistory.com/42 동시성(Concurrency) vs 병렬성(Parallelism) 서점에 가면 다양한 언어별로 동시성을 다루는 책들을 많이 볼 수 있습니다. 프로그래밍을 하다 보면 이러한 동시성 처리가 필요한 경우가 있습니다. 그런데 동시성이라는 말을 종종 병렬성과 seamless.tistory.com 동시성, 병렬성 참고 그림 위에 그림 처럼 동시성(Concurrency)은 2가지 작업(파란색, 빨간색)을 번갈아가며 실행하는 것이고 병렬성(Paralleleism)은 2가지 작업을 각 각 실행하는 것 동시성은 작업이 빠르게 번갈아가며 실행되..

프로그래밍/코딩관련 정보 2021. 10. 7. 19:54

[운의 알고리즘] 새로운 시작전에 다시 보기

환경 / 주변 사람 / 자신의 운 3가지를 확인해 현재를 판단하는 방법과 15년 15,000명 상담 경험에 입각한 구체적인 14가지 실천 방법을 알려준다. 새로운 일을 시작하기 전에 보면 좋은 책 같다. 📕 책 소개 저자 타로마스터 현존 정희도 15년 간 15,000명 타로 상담 유년시절 아토피로 고생했었고, 개그맨 공채(SBS 2008) 합격, 박사 학위(2019)가 있음 어려움을 이겨낸 후 긍정적인 영향을 주며 사는 분 같고, 욕심과 실행력도 있는 분으로 보임 타로마스터 정회도 유튜브 링크 TAROTMASTER JEONG HOI DO 책 내용 운 : 인생의 수많은 변수 중 자신의 통제권을 벗어나 있는 것 최선을 다하는 것은 좋은 결과의 필요조건이지 충분조건은 아님 -19 page 운명 : 노력 X 운..

책 2021. 10. 3. 18:26

[Airflow] Airflow log 정기적으로 삭제하기 (mtime 활용 Logrotate 설정)

Airflow를 운영하다 보면 AIRFLOW_HOME\logs 디렉터리에 많은 로그가 쌓입니다. 해당 디렉토리에 쌓이는 Log는 Dag의 Tasks 로그(execution_time 별)로 아래와 같은 내용을 담고 있습니다. Airflow 운영 기간이 길어지면 누적해서 쌓인 Tasks log의 용량이 상당히 크기 때문에 지속적으로 Log를 Rotation(회전)할 필요가 있습니다. ex. 최근 30일의 Log만 남기고 삭제한다, 최근 30일의 Log를 압축해 이관 후 기존 Log는 삭제한다. 아래에 리눅스의 find 명령어(with mtime 옵션)를 사용해서 최근 30일의 Airflow 로그만 남기는 Dag 코드 남기겠습니다. Airflow에서 최근 30일 Log만 남기기 Airflow 버전 : 2.1...

데이터사이언스/Airflow 2021. 9. 18. 18:13

[.rpm .deb 변환] Centos 패키지 → Ubuntu 패키지로 변경하기

레드햇(.rpm) 패키지를 데비안(.deb) 패키지로 변환하는 방법입니다. (alien 패키지를 사용하고 .deb를 .rpm으로 변경도 함께 다룹니다) 부제 : Ubuntu Oracle Client 설치, 우분투 Oracle 클라이언트 설치, 우분투 오라클 클라이언트 설치 왜 .rpm을 .deb로 변경하지? 가끔 레드햇 패키지 파일은 제공되나 데비안 패키지는 제공되지 않는 패키지가 있습니다. ex. Oracle Instant Client 이런 경우 소스코드는 제공하기에 소스코드로 패키지를 설치하면 됩니다. 하지만 소스코드로 설치할 경우 환경변수를 별도로 설정해야 하는 번거로움이 있습니다. 레드햇 패키지 파일 .rpm만 제공되는 경우 .deb로 변경해서 데비안 패키지 관리 명령어로 설치하면 환경변수를 별도..

프로그래밍/환경설정 2021. 9. 14. 23:21

[R Shiny] Nginx 연동 Client IP 얻기 (x_forwarded_for)

Nginx로 Shiny Sever에 Reverse Proxy를 설정한 후 Clinet IP를 얻는 방법입니다. * Reverse Proxy : 외부에서 User(Client)가 서비스 요청을 하면 Proxy server가 중개해주는 것 * Forward Proxy : 내부에서 Client가 외부로 서비스 요청을 하면 Proxy server가 중개해주는 것 Reverse Proxy : Client - Internet - Reverse Proxy - Server Forward Proxy : Client - Foward Proxy - Internet - Server 출처 : https://velog.io/@moonyoung/Nginx%EC%99%80-Apache Shiny Server Free 버전의 경우 s..

프로그래밍/환경설정 2021. 8. 16. 19:45

[Python] list의 append, extend 메서드, 리스트에 다른 리스트의 원소를 그대로 붙이고 싶다면 extend 사용

Python list의 2가지 메서드(Method)에 대한 포스팅입니다. List의 끝에 객체를 붙여 넣는 Append 메서드는 Python 사용자 대부분이 알 것 같습니다. Extend 메서드는 모르는 분들이 제법 있는 것 같은데, 리스트에 다른 리스트를 리스트가 아닌 원소 개별로 붙여야 할 때 유용합니다. 두줄 요약 - Append : List의 끝에 객체를 붙임 (Append object to the end of the list) - Extend: List의 끝에 Iterable 객체(List, Tuple, dict 등)의 원소(Elements)를 붙임 (Extend list by appending elements from the iterable) - Append 결과 >> ['Apple', 'Ba..

프로그래밍/Python 2021. 8. 10. 23:14

[Linux] 하위디렉토리까지 파일검색 후 날짜 출력하기 (하위폴더 검색 및 mtime출력)

리눅스에서 하위 디렉토리(폴더) 파일 검색 및 날짜(변경일자 mtime, modify time) 출력하는 방법입니다. 사용 명령어 find 명령어와 -printf 옵션, $PWD 변수 (PRINT Working Directory) egrep 명령어 (Extension grep) : 정규표현식 사용을 위함 awk 명령어 (Aho Weinberger Kernighan): 날짜와 파일 이름만 잘라내기 (Parsing) ls 명령어와 -lR --time-style 옵션 : -l 파일을 리스트로 보여줌, -R 하위디렉토리 파일까지 보여줌, --tiem-style : time format 지정 가능 긴 설명보다는 예시 코드가 도움이 될 거 같아, 아래에 코드와 출력 결과 남기겠습니다. CASE 1 : .log 확장..

컴퓨터 기본/리눅스(Linux) 2021. 8. 9. 23:51

[에러 해결] PCDATA invalid Char value 26 Error

PCDATA(Parsed Character DATA)란 XML 파서에 의해 분석될 문자 데이터를 의미합니다. 간단히 말해 XML 요소의 시작 태그와 종료 태그 사이에 위치한 텍스트를 PCDATA라고 생각하면 됩니다. 출처 : http://tcpschool.com/xml/xml_dtd_component DB에서 데이터를 불러와 사용할 때 PCDATA Invalid Char value Error가 발생하는 경우가 있습니다. "PCDATA Invalid Char value 26 Error" 케이스를 Oracle DB에서 해결하는 쿼리 아래에 남기겠습니다. Oracle이 아닌 MySQL, PostgrSQL도 Replace 함수가 있으므로 동일한 방법으로 해결 가능 value 26이 아닌 기타 ASCII코드 1~..

프로그래밍/코딩관련 정보 2021. 8. 8. 22:25

[Bamboo] Ubuntu에 Bamboo 설치하기

뱀부(Bamboo)는 컨플루언스와 지라의 개발사인 아틀라시안의 CI/CD 제품입니다. 대표적인 오픈소스 소프트웨어인 Jenkins와 같은 역할을 한다고 볼 수 있습니다. 특히 Atlassian 계열의 도구들과 유연한 통합을 지원하여 Bitbucket/Jira 등을 사용할 경우 손쉬운 통합을 지원합니다. 출처: [인프라] CI(지속적인 통합, Continuous Integration) 이해하기 , https://12bme.tistory.com/151 [길은 가면, 뒤에 있다.] CI/CD 환경 테스트를 위해 Bamboo를 설치하고 2개 Web 서버에 배포하려고 합니다. 우선 Bamboo 설치부터 진행해보겠습니다. 목차 1. 서버 구성 내용 2. Bamboo 설치 3. 실행 1. 서버 구성 내용 Azure ..

프로그래밍/환경설정 2021. 8. 2. 22:54

[Python] Python 멀티프로세싱 예제 with concurrent.futures

Python에서 멀티프로세싱을 구현한 예제입니다. 사용 모듈 : concurrent.futures 테스팅 알고리즘 : 소수(Prime number) 판별 ← 에라토스테네스의체 X, 테스트를 위해 계산 집약적인 알고리즘 사용 112272535095293과 같은 15자리 소수 8개 사용 테스트 케이스 3가지 결과 Single Process : 4.03초 Multi Thread (4) : 4.15초 / 문서 하단에 참고자료로 정리한 '불곰'님 블로그를 보면 Python에서 멀티프로세싱을 구현하려면 Multi Thread가 아닌 Multi Process를 사용해야 한다고 합니다. Single Process보다 느렸던 이유는 오버헤드 때문인 것 같습니다. Multi Process (4) : 1.90초 상세한 설명..

프로그래밍/Python 2021. 7. 31. 16:10

[R] dataframe 컬럼명 변경하는방법 2가지

R dataframe의 컬럼명을 변경하는 방법 2가지입니다. 1. plyr 패키지의 rename() 함수 사용 : 원하는 컬럼만 1:1로 변경가능 2. names() 함수 사용 : 컬럼명 일괄 변경 목표 : Iris 데이터의 컬럼명 변경 컬럼명 변경 방법 1. plyr 패키지의 rename() 함수 사용 컬럼이름 변경하기 2. names()함수 사용 컬럼이름 변경하기 긴 설명보다는 코드를 보시면 직관적인 이해가 되실 거 같아 아래에 예시 코드 남깁니다. library(plyr) library(datasets) data(iris) # 방법 1 : plyr 패키지의 rename() 함수사용 # 장점 : 컬럼별 1:1로 변경할 수 있음 names(iris) iris_rename

프로그래밍/코딩관련 정보 2021. 7. 25. 22:17

[R] dataframe 사용자 지정 정렬하기

R dataframe의 row를 원하는 순서로 정렬하는 방법입니다. Factor자료형과 order 함수를 사용해서 정렬 합니다. 목표 : Iris 데이터를 Species명 기준으로 정렬하기 기존 : setosa, versicolor, virginica 순서로 정렬 변경 : versicolor, setosa, virginica 순서로 정렬 사용자 지정 정렬(order) 방법 factor 자료형과 order 함수 사용 긴 설명보다는 코드를 보시면 직관적인 이해가 되실 거 같아 아래에 예시 코드 남깁니다. # Iris 데이터 불러오기 library(datasets) data(iris) unique(iris$Species) # 사용자지정 정렬을 위한 vector 생성 order_v

프로그래밍/코딩관련 정보 2021. 7. 25. 21:51

[R] mapvalues로 데이터 매핑하기, 데이터 변경하기

R에서 데이터를 매핑하는 방법입니다. plyr패키지의 mapvalues 함수를 이용해서 매핑하는 방법이고, 엑셀의 Vlookup 함수, Python의 Dict 자료구조처럼 사용할 수 있습니다. 목표, Iris 데이터의 Species(종) 명을 아래와 같이 한글로 변경 setosa -> 부채붓꽃 vesicolor -> 북방푸른꽃창포 virginica -> 아이리스버지니카 매핑(mapping) 방법 plyr 패키지의 mapvalues 함수 사용 사용 방법 : plyr::mapvalues(데이터, 패턴벡터, 대체내용벡터) 긴 설명보다는 코드를 보시면 직관적인 이해가 되실 거 같아 아래에 예시 코드 남깁니다. # plyr 패키지 및 데이터셋 로드 library(plyr) library(datasets) data..

프로그래밍/코딩관련 정보 2021. 7. 24. 16:00

[Oracle] 날짜 표시 형식 변경하기 (시분초까지 보이게하기)

Oracle에서 SELECT시 표현되는 날짜 형식(Date Format)을 변경하는 방법입니다. NLS_DATE_FORMAT Parameter를 변경하면 위에처럼 날짜 표시 형식을 변경할 수 있습니다. NLS(National Language Supprot, 국가별 언어 지원) : 언어 지원과 관련된 설정 정보 NLS 설정 확인 명령어 -- NLS 설정 파라미터 확인 SELECT * FROM NLS_SESSION_PARAMETERS; 변경 방법 2가지 SQL Developer에서 GUI로 변경하는 방법과 명령어로 변경하는 방법 2가지를 설명합니다. SQL Developer 말고 다른 Client 프로그램을 사용하시는 분들은 바로 명령어 버전을 참고하세요. 1. GUI (SQL Developer 기준) 메뉴..

컴퓨터 기본/데이터베이스(DB) 2021. 6. 19. 14:58

[Rstudio] Error: Unauthorized user, Rstudio-server 특정 계정 로그인 안되는 문제 해결

Rstudio-server를 설치해서 사용하다 보면 특정 계정만 로그인이 안 되는 경우가 있습니다. 로그인이 안되는 이유는 PAM(Pluggable Authentication Modules) 설정 문제로 다양한 이유가 있을 수 있습니다. 이 포스팅은 계정의 UID가 1000번 미만이어서 오류가 발생하는 경우를 다룹니다. Linux 환경에서 아래 명령어를 입력했을 때 로그인 안되는 계정이 아래 rtest_2 계정처럼 1000 미만의 UID를 갖는다면 문제를 해결할 방법을 잘 찾아오신 겁니다. # /etc/passwd 파일 : 리눅스의 계정 설정파일 cat /etc/passwd | grep [계정명] rtest_2 계정으로 로그인하려고하면 아래처럼 Error: Unauthorized user. 라는 메시지가..

프로그래밍/환경설정 2021. 6. 13. 21:41

행궁동 데이터 엔지니어

분류 전체보기 → (279)건