'1달 언어씹어먹기(Python)/Python(데이터수집)' 카테고리의 글 목록

[버스도착정보 수집] 1분 간격으로 수집 하도록 수집 설정 변경

버스도착정보 데이터를 다시 보니, 도착 예정 버스가 몇 정류장 전에 있고 몇 분 후에 도착한다는 정보가 있어 여러 정류장에서 데이터를 수집할 필요가 없었습니다. 따라서 제가 버스를 타는 정류장 2곳 과, 내리는 정류장 1곳에서만 데이터를 수집하도록 설정하고 대신 8분 간격 수집에서 1분 간격으로 변경했습니다. 내일부터는 1분 단위로 버스정보를 볼 수 있게 되었습니다. 그리고 오늘은 AWS에 데이터베이스 서버를 구성했습니다. (사실 구성이라기 보단 확인 했습니다. 제가 선택한 AWS EC2 서버에 MariaDB 10.1이 기본으로 설치되어 있었습니다.) 설정 정보 - 수집 데이터 항목 : 버스 도착정보 데이터(도착까지 남은 시간과, 잔여좌석 수 포함) - 수집 버스 정보 : 수원에서 잠실로 이동하는 100..

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 12. 23:06

[버스도착정보 수집] 수집한 2일치 데이터 확인

어제 UTC 시간에 맞게 수집 시간을 변경했고, 오늘 수집한 데이터를 확인하니 4시 40분부터 9시까지 버스도착정보 데이터가 잘 수집되었습니다. 데이터를 조금 확인해보니 아침 7시 이전에는 버스를 타야 안전하게 앉아서 갈 수 있고, 8시 20분쯤 오는 버스도 자리가 있는 경우가 있을 것 같습니다. (아래 데이터는 버스 도착까지 10분이하로 남았으면서 잔여 좌석수가 10개 이상인 경우만 노란색으로 채움) 최소 2주 정도는 데이터가 수집되어야 어느정도 의미가 있을 것 같습니다. 계속 수집 확인할 예정이고, 지금은 29개 정류장에서 모두 8분 간격으로 데이터를 수집하고 있는데 내일은 정류장별로 수집 간격을 조정할 예정입니다. 2~4개 정류장은 1~3분 마다 수집하고 나머지 정류장은 15분 정도로 수집 간격을 ..

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 10. 22:37

[버스도착정보 수집] 버스도착정보 정상 수집 확인 완료

오늘은 퇴근해서 씻자마자 어제 서버에 수집 설정한 데이터가 잘 수집되었는지 확인했습니다. 결과는 정상수집! 단 Crontab 시간 설정에 오류가 있어서 수집된 데이터가 04:40분~09:00분이 아니라 06:40분~10:00분으로 수집됐습니다(서버가 UTC+0 시간인걸 고려해서 수집 시간 설정을 -9시간 해줘야 했는데 실수로 -7시간을 줬었네요 ㅠ). 그래도 의도한 대로 정상 수집되어 다행이고, 아래에 결과 첨부합니다.

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 9. 22:56

[버스도착정보 수집] 서버에 버스도착정보 수집 설정 완료

오늘은 서버에 버스도착정보 수집 설정을 완료했습니다. 설정 정보 - 수집 데이터 항목 : 버스 도착정보 데이터(도착까지 남은 시간과, 잔여좌석 수 포함) - 수집 버스 정보 : 수원에서 잠실로 이동하는 1007번 버스 (정차하는 정류장 74개 중 29개) - 수집 시간 : 매일 04:40 ~ 09:00, 8분 간격으로 수집 - 사용 API(REST) : https://www.data.go.kr/dataset/15000175/openapi.do - 서버 : AWS EC2 Ubuntu 18.04.3 LTS - 수집 코드 : Python 3.7 - 수집 설정 방법 : Crontab 오늘 수집 테스트까지 완료하려고 했는데, API 일일 트래픽 1,000회가 초과해서 테스트는 못해보네요. 내일 수집된 데이터 확인..

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 8. 23:19

[버스도착정보 수집] 버스도착정보 CSV 파일로 저장

오늘은 버스도착정보를 CSV 파일로 저장하는 코드를 작성했습니다. 지금까지 진행한 결과는 아래와 같습니다. 공공데이터포털 버스도착정보 수집 API 사용 신청 데이터를 수집할 서버 구축(AWS EC2 사용) 수집할 버스도착정보 데이터 정의(수집할 버스 번호, 수집 시간, 수집 간격 등 결정) 버스도착정보 데이터 확인(XML 포맷 확인 후 파싱 테스트 완료) 버스도착정보 저장 테스트 이제 해야하는건 CSV로 저장하는 포맷을 다듬고, AWS 서버에서 자동 수집되도록 설정하는 것입니다. 아마도 내일 중으로 완료되고 월요일부터는 버스도착정보를 수집할 수 있을 것 같습니다. 상세 코드는 다음에 리뷰하겠습니다.

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 7. 17:09

[버스도착정보 수집] Python을 이용한 XML 파일 파싱

오늘은 버스도착정보 API로 응답받은 XML 파일을 파싱 해봤습니다. 버스도착정보 API로 응답받은 XML 파일은 아래처럼 구성되어있었고 Python의 xml.etree.ElementTree 모듈을 이용해서 파싱 했습니다. xml.etree.ElementTree 모듈 정보 : https://docs.python.org/3.7/library/xml.etree.elementtree.html 우선 결과만 보면 파싱은 잘 되는 것을 볼 수 있습니다. 해당 모듈을 사용해 파싱 하는 상세한 방법은 다음 글에서 다루겠습니다.

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 5. 23:42

[버스 도착 정보] 수집 데이터 정의 및 테스트

수집하려는 버스 도착 정보 데이터 정의입니다. 원래는 1007 버스 도착 정보, 첫차 시간부터 1분마다 계속 수집하려고 했으나 공공데이터포털에 1일 트래픽 제한이 있어 트래픽 제한을 넘지 않는 선에서 효과적으로 수집 일정을 정했습니다. 수집 일정 1. 수집 시간 : 매일 04:40(첫차) ~ 09:04(정시 출근을 위한 막차), 8분 간격 2. 수집 횟수 : 264분 / 8분 = 34회 / 일 3. 수집 정류장 수 : 28개 수집 일정을 정했으니 실제 수집하는 코드를 작성하고, AWS서버에 업로드 후 crontab으로 자동실행을 시키려고 했으나 오늘은 시간상 하지 못했습니다. 아래 작성한 일부 샘플 코드 올립니다. 다음 포스팅에서 실제 버스정보 수집 코드 작성 후 코드 공유하겠습니다.

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 3. 23:51

[AWS EC2] 데이터수집을 위한 서버신청 및 고정IP 할당

오늘은 퇴근 후 공공데이터 포털에서 버스 도착 정보 조회서비스 수집서버를 구축했습니다. 사실 오늘 수집서버 + 수집코드까지 완성하려고 했지만, 공공데이터 포털 OpenAPI 서비스를 이용하려면 고정 IP 서버가 있어야 해서 AWS EC2 서버 신청 및 고정IP 할당 작업을 하다 보니 수집 코드는 만들지 못했습니다. 아래는 구성한 서버모습 입니다. 우분투 18.04 버전에 python3은 설치되어있었고, 추가적으로 MariaDB를 설치했습니다. 오늘 서버에 실질적으로 입력한 코드는 아래 3줄이 전부네요 ㅎㅎ sudo apt update sudo apt list mariadb-server -a sudo apt install mariadb-server 내일부터 OpenAPI를 사용해서 버스 도착정보데이터를 수..

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 2. 23:40

[수집데이터 선정] 버스 도착 정보 조회 서비스, 공공데이터 포털

우선은 수집할 데이터를 선정했습니다. 공공데이터 포털에서 API 형식으로 제공하는 '버스 도착 정보' 데이터입니다. 데이터에 정류소별 버스 도착 예정 시각과 광역버스의 경우 남은 좌석수가 나와 수집하기로 결정했습니다. 위의 정보를 수집해서 특정 시간에 광역버스를 탔을 때 빈 좌석이 있을 확률을 예측하는 모델을 만들어 보고 싶습니다. 다음번에는 아래 상세 문서를 확인하고 데이터를 시범 수집하는 글을 올리겠습니다. 감사합니다. 1. 공공데이터 포털 : https://www.data.go.kr/

1달 언어씹어먹기(Python)/Python(데이터수집) 2019. 12. 1. 23:52

행궁동 데이터 엔지니어

1달 언어씹어먹기(Python)/Python(데이터수집) → (9)건