행궁동 데이터 엔지니어

1달 언어씹어먹기(Python) → (16)건

[좌표를 주소로 변환하기(Python)] 카카오, 네이버 API 사용법, 지오코딩(Geocoding)

카카오개발자, 네이버 API를 사용해서 좌표를 주소로 변환하는 방법에 대한 포스팅 입니다. 제목에 지오코딩(Geocoding)이라고 적었지만 사실 엄밀히 말하면 좌표를 주소로 변환하는 것이기에 Reverse Geocoding 에 대한 포스팅 입니다. Geocoding : 주소 → 좌표 Reverse Geocoding : 좌표 → 주소 (아래는 제가 사용한 카카오 지도 REST API 명세서 입니다) 기존 링크가 변경되어 (2023-03-26 업데이트) https://developers.kakao.com/docs/latest/ko/local/dev-guide#address-coord Kakao Developers 카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, ..
1달 언어씹어먹기(Python)/Python 2020. 3. 25. 23:07

[Python] 텍스트로 된 숫자(파일명) 정렬하기 natsort 라이브러리 활용

Python에서 natsort 라이브러리를 활용해 텍스트로 된 숫자 정렬하는 방법입니다. natsort 라이브러리의 natsorted() 메서드를 사용하면 텍스트를 쉽게 정렬할 수 있습니다. 상세 코드와 html 파일도 하단에 첨부합니다. 아래는 os.listdir()로 숫자로 된 파일들을 불러오고 정렬하는 예제입니다. natsord.natsorted() 메서드 사용방법 natsort.natsorted(seq, key=None, reverse=False, alg=0) Parameters seq (iterable) – The input to sort. key (callable, optional) – A key used to determine how to sort each element of the iter..
1달 언어씹어먹기(Python)/Python 2020. 3. 6. 21:57

Python으로 CSV(Comma Separated Values) 파일 읽는 방법 with csv, pandas

Python에서 CSV 파일 읽는 방법 2가지를 소개합니다. 아래 1, 2번 코드에서는 'busdata.csv' 파일을 읽어 봤습니다. 1. import csv : csv 모듈로 CSV 파일 읽기 # csv 모듈 및 DataFrame import import csv from pandas import DataFrame busdata_with_csv = [] # csv 모듈로 파일 읽고 busdata_with_csv에 append with open('busdata.csv', 'r', encoding='utf8') as f: data = csv.reader(f) for line in data: busdata_with_csv.append(line) # DataFrame으로 만들고 출력 확인 df_with_csv..
1달 언어씹어먹기(Python)/Python 2020. 1. 23. 20:26

[버스도착정보 수집] 1분 간격으로 수집 하도록 수집 설정 변경

버스도착정보 데이터를 다시 보니, 도착 예정 버스가 몇 정류장 전에 있고 몇 분 후에 도착한다는 정보가 있어 여러 정류장에서 데이터를 수집할 필요가 없었습니다. 따라서 제가 버스를 타는 정류장 2곳 과, 내리는 정류장 1곳에서만 데이터를 수집하도록 설정하고 대신 8분 간격 수집에서 1분 간격으로 변경했습니다. 내일부터는 1분 단위로 버스정보를 볼 수 있게 되었습니다. 그리고 오늘은 AWS에 데이터베이스 서버를 구성했습니다. (사실 구성이라기 보단 확인 했습니다. 제가 선택한 AWS EC2 서버에 MariaDB 10.1이 기본으로 설치되어 있었습니다.) 설정 정보 - 수집 데이터 항목 : 버스 도착정보 데이터(도착까지 남은 시간과, 잔여좌석 수 포함) - 수집 버스 정보 : 수원에서 잠실로 이동하는 100..
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 12. 23:06

[Python 더블 언더스코어] __repr__

객체지향 언어인 파이썬은 모든 데이터들을 객체로 표현하거나 객체 사이의 관계로 표현합니다. 여기서 객체 각각의 표현이나 관계를 쉽게 하기 위해 특별한 Built-in 함수들을 사용할 수 있는데 그것들이 특별 메소드(Special Method)라는 이름이 붙은 언더스코어(_) 2개짜리 더블 언더스코어 메소드입니다. 개발자 corikachu님 블로그 https://corikachu.github.io/articles/python/python-magic-method 이 글에서는 더블 언더스코어 메소드 중 객체의 표현을 위한 __repr__에 대해 알아보려고 합니다. __repr__(self) : 객체를 나타내는 공식적인 문자열로 repr()로 호출할 수 있습니다. 아래 예시 코드를 보겠습니다. class rep..
1달 언어씹어먹기(Python)/Python 2019. 12. 11. 23:47

[버스도착정보 수집] 수집한 2일치 데이터 확인

어제 UTC 시간에 맞게 수집 시간을 변경했고, 오늘 수집한 데이터를 확인하니 4시 40분부터 9시까지 버스도착정보 데이터가 잘 수집되었습니다. 데이터를 조금 확인해보니 아침 7시 이전에는 버스를 타야 안전하게 앉아서 갈 수 있고, 8시 20분쯤 오는 버스도 자리가 있는 경우가 있을 것 같습니다. (아래 데이터는 버스 도착까지 10분이하로 남았으면서 잔여 좌석수가 10개 이상인 경우만 노란색으로 채움) 최소 2주 정도는 데이터가 수집되어야 어느정도 의미가 있을 것 같습니다. 계속 수집 확인할 예정이고, 지금은 29개 정류장에서 모두 8분 간격으로 데이터를 수집하고 있는데 내일은 정류장별로 수집 간격을 조정할 예정입니다. 2~4개 정류장은 1~3분 마다 수집하고 나머지 정류장은 15분 정도로 수집 간격을 ..
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 10. 22:37

[버스도착정보 수집] 버스도착정보 정상 수집 확인 완료

오늘은 퇴근해서 씻자마자 어제 서버에 수집 설정한 데이터가 잘 수집되었는지 확인했습니다. 결과는 정상수집! 단 Crontab 시간 설정에 오류가 있어서 수집된 데이터가 04:40분~09:00분이 아니라 06:40분~10:00분으로 수집됐습니다(서버가 UTC+0 시간인걸 고려해서 수집 시간 설정을 -9시간 해줘야 했는데 실수로 -7시간을 줬었네요 ㅠ). 그래도 의도한 대로 정상 수집되어 다행이고, 아래에 결과 첨부합니다.
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 9. 22:56

[버스도착정보 수집] 서버에 버스도착정보 수집 설정 완료

오늘은 서버에 버스도착정보 수집 설정을 완료했습니다. 설정 정보 - 수집 데이터 항목 : 버스 도착정보 데이터(도착까지 남은 시간과, 잔여좌석 수 포함) - 수집 버스 정보 : 수원에서 잠실로 이동하는 1007번 버스 (정차하는 정류장 74개 중 29개) - 수집 시간 : 매일 04:40 ~ 09:00, 8분 간격으로 수집 - 사용 API(REST) : https://www.data.go.kr/dataset/15000175/openapi.do - 서버 : AWS EC2 Ubuntu 18.04.3 LTS - 수집 코드 : Python 3.7 - 수집 설정 방법 : Crontab 오늘 수집 테스트까지 완료하려고 했는데, API 일일 트래픽 1,000회가 초과해서 테스트는 못해보네요. 내일 수집된 데이터 확인..
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 8. 23:19

[버스도착정보 수집] 버스도착정보 CSV 파일로 저장

오늘은 버스도착정보를 CSV 파일로 저장하는 코드를 작성했습니다. 지금까지 진행한 결과는 아래와 같습니다. 공공데이터포털 버스도착정보 수집 API 사용 신청 데이터를 수집할 서버 구축(AWS EC2 사용) 수집할 버스도착정보 데이터 정의(수집할 버스 번호, 수집 시간, 수집 간격 등 결정) 버스도착정보 데이터 확인(XML 포맷 확인 후 파싱 테스트 완료) 버스도착정보 저장 테스트 이제 해야하는건 CSV로 저장하는 포맷을 다듬고, AWS 서버에서 자동 수집되도록 설정하는 것입니다. 아마도 내일 중으로 완료되고 월요일부터는 버스도착정보를 수집할 수 있을 것 같습니다. 상세 코드는 다음에 리뷰하겠습니다.
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 7. 17:09

Python으로 CSV파일 읽기, 내용 덧붙이기

Python CSV 모듈을 활용한 CSV 파일 읽기와 내용 덧붙이는 방법입니다. 1. CSV 모듈로 CSV 파일 읽기# csv 모듈 import # 참고링크 : https://docs.python.org/3.7/library/csv.html import csv # with로 오픈 with open('pick_bus.csv', 'r', encoding='utf8') as f: reader = csv.reader(f) station_info = list(reader)[1:] #csv파일을 제대로 읽어왔는지 일부데이터 확인 station_info[:5] with open('pick_bus.csv', 'r', encodin='utf8') as f: 에서 'pic_bus.csv"는 오픈하려고 하는 csv 파일명이..
1달 언어씹어먹기(Python)/Python 2019. 12. 6. 09:52

[버스도착정보 수집] Python을 이용한 XML 파일 파싱

오늘은 버스도착정보 API로 응답받은 XML 파일을 파싱 해봤습니다. 버스도착정보 API로 응답받은 XML 파일은 아래처럼 구성되어있었고 Python의 xml.etree.ElementTree 모듈을 이용해서 파싱 했습니다. xml.etree.ElementTree 모듈 정보 : https://docs.python.org/3.7/library/xml.etree.elementtree.html 우선 결과만 보면 파싱은 잘 되는 것을 볼 수 있습니다. 해당 모듈을 사용해 파싱 하는 상세한 방법은 다음 글에서 다루겠습니다.
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 5. 23:42

[Python] Iterator를 이용한 while loop

Python Iterator에 관한 내용입니다. Python에는 Iterator 라는 class가 존재합니다. Iterator는 이름그대로 반복할 수 있는 클래스 인데, next() 함수를 이용해서 다음 데이터를 불러올 수 있습니다. Iterator는 Container Object(리스트, 튜플 등) A가 있을때 iter(A), A.__iter__() 2가지 방법을 사용해 만들 수 있습니다. 생성한 Iterator사용하면 for loop가 아닌 while loop로 반복문을 간단하게 실행할 수 있습니다. next() 함수를 사용해서 Iterator를 불러오다 마지막 데이터를 불러오고나면 StopIteration Exception이 발생하는 것을 이용하거나 next(Iterator, '마지막 반환값') 으..
1달 언어씹어먹기(Python)/Python 2019. 12. 4. 23:39

[버스 도착 정보] 수집 데이터 정의 및 테스트

수집하려는 버스 도착 정보 데이터 정의입니다. 원래는 1007 버스 도착 정보, 첫차 시간부터 1분마다 계속 수집하려고 했으나 공공데이터포털에 1일 트래픽 제한이 있어 트래픽 제한을 넘지 않는 선에서 효과적으로 수집 일정을 정했습니다. 수집 일정 1. 수집 시간 : 매일 04:40(첫차) ~ 09:04(정시 출근을 위한 막차), 8분 간격 2. 수집 횟수 : 264분 / 8분 = 34회 / 일 3. 수집 정류장 수 : 28개 수집 일정을 정했으니 실제 수집하는 코드를 작성하고, AWS서버에 업로드 후 crontab으로 자동실행을 시키려고 했으나 오늘은 시간상 하지 못했습니다. 아래 작성한 일부 샘플 코드 올립니다. 다음 포스팅에서 실제 버스정보 수집 코드 작성 후 코드 공유하겠습니다.
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 3. 23:51

[AWS EC2] 데이터수집을 위한 서버신청 및 고정IP 할당

오늘은 퇴근 후 공공데이터 포털에서 버스 도착 정보 조회서비스 수집서버를 구축했습니다. 사실 오늘 수집서버 + 수집코드까지 완성하려고 했지만, 공공데이터 포털 OpenAPI 서비스를 이용하려면 고정 IP 서버가 있어야 해서 AWS EC2 서버 신청 및 고정IP 할당 작업을 하다 보니 수집 코드는 만들지 못했습니다. 아래는 구성한 서버모습 입니다. 우분투 18.04 버전에 python3은 설치되어있었고, 추가적으로 MariaDB를 설치했습니다. 오늘 서버에 실질적으로 입력한 코드는 아래 3줄이 전부네요 ㅎㅎ sudo apt update sudo apt list mariadb-server -a sudo apt install mariadb-server 내일부터 OpenAPI를 사용해서 버스 도착정보데이터를 수..
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 2. 23:40

[수집데이터 선정] 버스 도착 정보 조회 서비스, 공공데이터 포털

우선은 수집할 데이터를 선정했습니다. 공공데이터 포털에서 API 형식으로 제공하는 '버스 도착 정보' 데이터입니다. 데이터에 정류소별 버스 도착 예정 시각과 광역버스의 경우 남은 좌석수가 나와 수집하기로 결정했습니다. 위의 정보를 수집해서 특정 시간에 광역버스를 탔을 때 빈 좌석이 있을 확률을 예측하는 모델을 만들어 보고 싶습니다. 다음번에는 아래 상세 문서를 확인하고 데이터를 시범 수집하는 글을 올리겠습니다. 감사합니다. 1. 공공데이터 포털 : https://www.data.go.kr/
1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 1. 23:52

언어씹어먹기 - Python

Python : 1991년에 발표된 인터프리터 방식의 프로그래밍 언어 대표적으로 2.x, 3.x 버전이 있는데 저는 3.x 버전을 00먹을 예정이에요. 1. 그 언어를 잘하고 싶은 이유 데이터 분석 관련 일을 하고 있는데, 앞으로 Python으로 데이터 수집/분석 프로그램을 개발할 예정이라 업무에서 필요해요. Python 실력을 키워 업무에서 중요한 역할을 하고, 탄탄한 커리어를 쌓고 싶어요(연봉 쭉쭉과 부수입 기대.. 흐흐) 2. 희망하는 그 언어수준의 최종단계 데이터 수집/분석 상용 프로그램 개발 3. 최종단계로 가기까지 단계 쪼개기 1달 동안 Python으로 상용 프로그램 개발까지 해보고 싶지만, 실제 상용 프로그램 개발 경험이 없는 저한테 무리인 것 같아요. 그래서 이번 목표는 아래 목표 1~2로..
1달 언어씹어먹기(Python)/개요 2019. 11. 30. 00:20
◀ 1 ▶

티스토리툴바