'프로그래밍' 카테고리의 글 목록

Git Commit 전에 컴파일 에러 체크하기 (Serverless Framework, TypeScirpt)

Husky라는 Git hooks 설정 npm 패키지를 이용해 commit 전에 컴파일 에러를 체크하는 방법입니다.- Git hooks: git commit, git push와 같은 git 명령어가 실행되기 전/후에 자동으로 실행되는 스크립트를 설정하는 기능 1. 문제 상황Main 브랜치에 코드가 머지되면 Serverless Framework 배포가 일어나는데 Lambda함수 코드의 컴파일 에러 때문에 배포에 실패하는 경우가 있었습니다.Commit 전에 Lambda 함수 코드에 컴파일 에러가 없는지 체크해 머지 이후 배포 실패를 막으려고 합니다. 2. 해결 방법Git Hooks 자동화 라이브러리인 Husky를 이용해 Commit 전에 컴파일을 체크합니다.- Git Hooks(다시 한번..): git ..

프로그래밍/환경설정 2024. 12. 22. 22:57

[Golang] Go에서 Map 타입 데이터를 Json으로 변환하기 (Json 형태로)

회사에서 Go 언어를 조금 사용하고 있는데, 정리하지 않으니 계속 찾게되어 기억하기 위해 적어봅니다. 요약 json.Marshal() 함수로 Map 타입 데이터를 마셜링 후 String으로 변환 *Marshalling(마셜링): 데이터를 프로그램이 인식할 수 있는 형태로 변형하는 것 String, Int 등으로 표현된 데이터를 Bytes 형태로 변형하는 것을 예로 들 수 있음 출처: https://codecollector.tistory.com/1513 예제 코드 package main import ( "fmt" "encoding/json" "reflect" ) func main() { // Map 선언 및 초기화 var mapExample map[string]string // 선언한 Map Type 확인..

프로그래밍/Go 2023. 2. 27. 23:46

[Golang] Jupyter Notebook, Lab에서 Golang 인터프리터언어처럼 사용하기

Jupyter Notebook 또는 Jupyter Lab 환경에서 Golang를 사용하는 방법입니다. 컴파일 언어인 Golang을 인터프리터 언어(ex. Python)처럼 노트북파일의 셀단위로 바로바로 실행할 수 있습니다. (Python 처럼 바로바로 실행결과를 확인할 수 있습니다 - 아래 사진 참고) 주피터 환경에서 Golang을 실행하기 위해 gohpernotes라는 gopherData 커뮤니티에서 관리하는 오픈소스를 활용합니다. * 짤막 정보 Gopher: Golang의 마스코트 캐릭터 시작 전에 환경: Mac OS 13.0 (M1 프로세서) 운영체제가 Windows, Linux로 다른 경우에도 절차는 똑같습니다. 다만 운영체제별 Jupyter의 경로와 kennel.json 파일 수정 방법에는 차..

프로그래밍/환경설정 2023. 1. 7. 23:30

[GO gRPC 에러 해결] protoc-gen-go: program not found or is not executable

환경: MacOS 13.0 (M1) MaxOS가 아닌 Linux 운영체제에서 해당 오류 발생 시 ~/.zshrc 파일이 아닌 사용하는 쉘 설정파일에서 PATH를 수정해주시면 됩니다(대부분 bash쉘을 사용하기에 ~/.bashrc 파일 수정). 쉘 뒤에 붙은 rc의 의미: "run commands", https://superuser.com/questions/173165/what-does-the-rc-in-bashrc-etc-mean

프로그래밍/환경설정 2023. 1. 2. 00:10

[Python] 이미지 파일에서 메타데이터(Metadata) 추출하기

사진 파일을 열어보면 아래와 같이 사진의 세부정보를 설명하는 데이터를 볼 수 있습니다. 밑의 정보처럼 다른 데이터를 설명하기 위해 만들어진 데이터를 메타데이터(Metadata)라고 이야기합니다. 이번 포스팅은 사진 파일에서 Python을 이용해 메타데이터를 추출하는 방법에 대해 다루려고 합니다. 개요 사진에서 위치정보, 노출시간, 조리개 정보, 촬영시각 등 메타정보(메타데이터)를 추출하기 위해 Python의 PIL(Python Image Library)을 활용합니다. 메타데이터의 추출은 디지털카메라, 휴대폰 카메라의 사진들이 EXIF(Exchangeable Image File Format) 메타데이터 포맷에 맞춰 정보들을 담고 있기에 가능합니다. EXIF 메타데이터 포맷은 표준은 아니지만 오늘날 대부분의..

프로그래밍/Python 2022. 8. 17. 23:26

[Python] PEP 8 -- 파이썬 코드 스타일 가이드 (이항 연산자 +-/*)

*PEP (Python Enhancement Proposal) : Python을 개선하기 위한 제안서 PEP 중 8번 Style Guide for Python Code는 파이썬의 코드 스타일 가이드를 담고 있습니다. 코드 작성 후 Black과 같은 코드 포맷터로 자동 포맷팅 할 수 있지만, 간결하고 가독성좋으며 오류가 적은 코드 작성을 위해 어떤 고민이 있었는지 알아보는 것이 의미 있다는 생각에 일부 정리해봤습니다. 기타 : 많은 프로젝트에는 그 프로젝트만의 코딩 스타일 가이드라인이 있고, PEP 8과 충돌이 발생할 경우, 해당 프로젝트의 코딩 스타일을 우선적으로 적용하는 것이 좋습니다. 이번 포스팅은 이항 연산자 위주로 정리해봤습니다. 1. Should a Line Break Before or Afte..

프로그래밍/Python 2021. 10. 9. 20:32

[OS] 동시성(Concurrency) vs 병렬성(Parallelism)

동시성과 병렬성에 대해 간단히 정리해봤습니다. 아래 링크된 Smart Tiger님 블로그의 자료를 많이 참고했음을 밝힙니다. https://seamless.tistory.com/42 동시성(Concurrency) vs 병렬성(Parallelism) 서점에 가면 다양한 언어별로 동시성을 다루는 책들을 많이 볼 수 있습니다. 프로그래밍을 하다 보면 이러한 동시성 처리가 필요한 경우가 있습니다. 그런데 동시성이라는 말을 종종 병렬성과 seamless.tistory.com 동시성, 병렬성 참고 그림 위에 그림 처럼 동시성(Concurrency)은 2가지 작업(파란색, 빨간색)을 번갈아가며 실행하는 것이고 병렬성(Paralleleism)은 2가지 작업을 각 각 실행하는 것 동시성은 작업이 빠르게 번갈아가며 실행되..

프로그래밍/코딩관련 정보 2021. 10. 7. 19:54

[.rpm .deb 변환] Centos 패키지 → Ubuntu 패키지로 변경하기

레드햇(.rpm) 패키지를 데비안(.deb) 패키지로 변환하는 방법입니다. (alien 패키지를 사용하고 .deb를 .rpm으로 변경도 함께 다룹니다) 부제 : Ubuntu Oracle Client 설치, 우분투 Oracle 클라이언트 설치, 우분투 오라클 클라이언트 설치 왜 .rpm을 .deb로 변경하지? 가끔 레드햇 패키지 파일은 제공되나 데비안 패키지는 제공되지 않는 패키지가 있습니다. ex. Oracle Instant Client 이런 경우 소스코드는 제공하기에 소스코드로 패키지를 설치하면 됩니다. 하지만 소스코드로 설치할 경우 환경변수를 별도로 설정해야 하는 번거로움이 있습니다. 레드햇 패키지 파일 .rpm만 제공되는 경우 .deb로 변경해서 데비안 패키지 관리 명령어로 설치하면 환경변수를 별도..

프로그래밍/환경설정 2021. 9. 14. 23:21

[R Shiny] Nginx 연동 Client IP 얻기 (x_forwarded_for)

Nginx로 Shiny Sever에 Reverse Proxy를 설정한 후 Clinet IP를 얻는 방법입니다. * Reverse Proxy : 외부에서 User(Client)가 서비스 요청을 하면 Proxy server가 중개해주는 것 * Forward Proxy : 내부에서 Client가 외부로 서비스 요청을 하면 Proxy server가 중개해주는 것 Reverse Proxy : Client - Internet - Reverse Proxy - Server Forward Proxy : Client - Foward Proxy - Internet - Server 출처 : https://velog.io/@moonyoung/Nginx%EC%99%80-Apache Shiny Server Free 버전의 경우 s..

프로그래밍/환경설정 2021. 8. 16. 19:45

[Python] list의 append, extend 메서드, 리스트에 다른 리스트의 원소를 그대로 붙이고 싶다면 extend 사용

Python list의 2가지 메서드(Method)에 대한 포스팅입니다. List의 끝에 객체를 붙여 넣는 Append 메서드는 Python 사용자 대부분이 알 것 같습니다. Extend 메서드는 모르는 분들이 제법 있는 것 같은데, 리스트에 다른 리스트를 리스트가 아닌 원소 개별로 붙여야 할 때 유용합니다. 두줄 요약 - Append : List의 끝에 객체를 붙임 (Append object to the end of the list) - Extend: List의 끝에 Iterable 객체(List, Tuple, dict 등)의 원소(Elements)를 붙임 (Extend list by appending elements from the iterable) - Append 결과 >> ['Apple', 'Ba..

프로그래밍/Python 2021. 8. 10. 23:14

[에러 해결] PCDATA invalid Char value 26 Error

PCDATA(Parsed Character DATA)란 XML 파서에 의해 분석될 문자 데이터를 의미합니다. 간단히 말해 XML 요소의 시작 태그와 종료 태그 사이에 위치한 텍스트를 PCDATA라고 생각하면 됩니다. 출처 : http://tcpschool.com/xml/xml_dtd_component DB에서 데이터를 불러와 사용할 때 PCDATA Invalid Char value Error가 발생하는 경우가 있습니다. "PCDATA Invalid Char value 26 Error" 케이스를 Oracle DB에서 해결하는 쿼리 아래에 남기겠습니다. Oracle이 아닌 MySQL, PostgrSQL도 Replace 함수가 있으므로 동일한 방법으로 해결 가능 value 26이 아닌 기타 ASCII코드 1~..

프로그래밍/코딩관련 정보 2021. 8. 8. 22:25

[Bamboo] Ubuntu에 Bamboo 설치하기

뱀부(Bamboo)는 컨플루언스와 지라의 개발사인 아틀라시안의 CI/CD 제품입니다. 대표적인 오픈소스 소프트웨어인 Jenkins와 같은 역할을 한다고 볼 수 있습니다. 특히 Atlassian 계열의 도구들과 유연한 통합을 지원하여 Bitbucket/Jira 등을 사용할 경우 손쉬운 통합을 지원합니다. 출처: [인프라] CI(지속적인 통합, Continuous Integration) 이해하기 , https://12bme.tistory.com/151 [길은 가면, 뒤에 있다.] CI/CD 환경 테스트를 위해 Bamboo를 설치하고 2개 Web 서버에 배포하려고 합니다. 우선 Bamboo 설치부터 진행해보겠습니다. 목차 1. 서버 구성 내용 2. Bamboo 설치 3. 실행 1. 서버 구성 내용 Azure ..

프로그래밍/환경설정 2021. 8. 2. 22:54

[Python] Python 멀티프로세싱 예제 with concurrent.futures

Python에서 멀티프로세싱을 구현한 예제입니다. 사용 모듈 : concurrent.futures 테스팅 알고리즘 : 소수(Prime number) 판별 ← 에라토스테네스의체 X, 테스트를 위해 계산 집약적인 알고리즘 사용 112272535095293과 같은 15자리 소수 8개 사용 테스트 케이스 3가지 결과 Single Process : 4.03초 Multi Thread (4) : 4.15초 / 문서 하단에 참고자료로 정리한 '불곰'님 블로그를 보면 Python에서 멀티프로세싱을 구현하려면 Multi Thread가 아닌 Multi Process를 사용해야 한다고 합니다. Single Process보다 느렸던 이유는 오버헤드 때문인 것 같습니다. Multi Process (4) : 1.90초 상세한 설명..

프로그래밍/Python 2021. 7. 31. 16:10

[R] dataframe 컬럼명 변경하는방법 2가지

R dataframe의 컬럼명을 변경하는 방법 2가지입니다. 1. plyr 패키지의 rename() 함수 사용 : 원하는 컬럼만 1:1로 변경가능 2. names() 함수 사용 : 컬럼명 일괄 변경 목표 : Iris 데이터의 컬럼명 변경 컬럼명 변경 방법 1. plyr 패키지의 rename() 함수 사용 컬럼이름 변경하기 2. names()함수 사용 컬럼이름 변경하기 긴 설명보다는 코드를 보시면 직관적인 이해가 되실 거 같아 아래에 예시 코드 남깁니다. library(plyr) library(datasets) data(iris) # 방법 1 : plyr 패키지의 rename() 함수사용 # 장점 : 컬럼별 1:1로 변경할 수 있음 names(iris) iris_rename

프로그래밍/코딩관련 정보 2021. 7. 25. 22:17

[R] dataframe 사용자 지정 정렬하기

R dataframe의 row를 원하는 순서로 정렬하는 방법입니다. Factor자료형과 order 함수를 사용해서 정렬 합니다. 목표 : Iris 데이터를 Species명 기준으로 정렬하기 기존 : setosa, versicolor, virginica 순서로 정렬 변경 : versicolor, setosa, virginica 순서로 정렬 사용자 지정 정렬(order) 방법 factor 자료형과 order 함수 사용 긴 설명보다는 코드를 보시면 직관적인 이해가 되실 거 같아 아래에 예시 코드 남깁니다. # Iris 데이터 불러오기 library(datasets) data(iris) unique(iris$Species) # 사용자지정 정렬을 위한 vector 생성 order_v

프로그래밍/코딩관련 정보 2021. 7. 25. 21:51

[R] mapvalues로 데이터 매핑하기, 데이터 변경하기

R에서 데이터를 매핑하는 방법입니다. plyr패키지의 mapvalues 함수를 이용해서 매핑하는 방법이고, 엑셀의 Vlookup 함수, Python의 Dict 자료구조처럼 사용할 수 있습니다. 목표, Iris 데이터의 Species(종) 명을 아래와 같이 한글로 변경 setosa -> 부채붓꽃 vesicolor -> 북방푸른꽃창포 virginica -> 아이리스버지니카 매핑(mapping) 방법 plyr 패키지의 mapvalues 함수 사용 사용 방법 : plyr::mapvalues(데이터, 패턴벡터, 대체내용벡터) 긴 설명보다는 코드를 보시면 직관적인 이해가 되실 거 같아 아래에 예시 코드 남깁니다. # plyr 패키지 및 데이터셋 로드 library(plyr) library(datasets) data..

프로그래밍/코딩관련 정보 2021. 7. 24. 16:00

[Rstudio] Error: Unauthorized user, Rstudio-server 특정 계정 로그인 안되는 문제 해결

Rstudio-server를 설치해서 사용하다 보면 특정 계정만 로그인이 안 되는 경우가 있습니다. 로그인이 안되는 이유는 PAM(Pluggable Authentication Modules) 설정 문제로 다양한 이유가 있을 수 있습니다. 이 포스팅은 계정의 UID가 1000번 미만이어서 오류가 발생하는 경우를 다룹니다. Linux 환경에서 아래 명령어를 입력했을 때 로그인 안되는 계정이 아래 rtest_2 계정처럼 1000 미만의 UID를 갖는다면 문제를 해결할 방법을 잘 찾아오신 겁니다. # /etc/passwd 파일 : 리눅스의 계정 설정파일 cat /etc/passwd | grep [계정명] rtest_2 계정으로 로그인하려고하면 아래처럼 Error: Unauthorized user. 라는 메시지가..

프로그래밍/환경설정 2021. 6. 13. 21:41

[VScode] Visual Studio Code 내부망에서 사용하기

인터넷 접근이 제한되는 내부망에서 VSCode를 사용하는 방법입니다. (오프라인 환경에서 VSCode 사용하기) 목표 : VSCode를 인터넷이 안 되는 환경(내부망)에 연결해서 사용하기 결과 : VSCode ssh로 Linux계열 서버에 접속 내부망에서 VSCode를 사용하기 위해 2가지가 필요합니다. 1. VSCode Portable 버전 다운로드 및 필요 Extentions 설치 아래 경로에서 zip 파일로 된 Portable 버전을 다운로드 받은 후 필요한 Extentions를 설치 필요 Extentions을 설치한 Portable 버전 폴더 전체를 내부망에 반입해서 사용 https://code.visualstudio.com/download Download Visual Studio Code - M..

프로그래밍/환경설정 2021. 6. 13. 21:20

[JAVA] JDK, JRE 차이 (Java JDK, JRE 란?)

2줄 요약 JDK(Java Development Kit)에 JRE(Java runtime environment)가 포함된다. JDK = JRE + 컴파일러(javac) 등 컴파일된 Java 프로그램 실행이 목적이면 JRE 설치, Java 프로그래밍이 필요하다면 JDK 설치 단 JSP(Java Server Pages)를 사용하는 경우에는 JDK 설치 필요 JRE, JDK 각론 JRE(Java Runtime Environment) : 컴파일된 Java 프로그램을 실행하는데 필요한 패키지 자바 가상 머신(JVM, Java Virtual Machine) 자바 클래스 라이브러리(Java class library) 자바 명령어(Java command), OS별 동적 라이브러리 등을 포함 OS별 동적 라이브러리 : ..

프로그래밍/코딩관련 정보 2021. 5. 23. 18:54

[VSCode] Visual Studio Code 환경 복사(Portable 버전 사용하기)

Visual Studio Code(이하 VSCode)는 다양한 확장 프로그램(Extenstions)을 설치해서 사용할 수 있는 장점이 있습니다. 확장프로그램 예시: ssh 접속, code formatter, git, python, docker, notepad++ 등 단점으로는 다른 컴퓨터에서 특정 확장 프로그램을 사용하고 싶으면 매번 설치가 필요한 점이 있습니다. 이번 포스팅은 위의 단점을 해결하는 방법에 대한 내용으로 집 or 회사에서 사용하던 VSCode 환경을 다른 곳에서도 똑같이 복사해서 사용하는 방법입니다. VSCode 환경을 똑같이 사용하는 방법은 VSCode Portabale 버전을 사용하는 것입니다. Portable 버전에 확장 프로그램을 설치하고 Portable 버전을 외부 저장장치(클라..

프로그래밍/환경설정 2021. 5. 15. 18:32

행궁동 데이터 엔지니어

프로그래밍 → (64)건