서울시 부동산 전월세가 데이터 수집 (공공데이터 API 활용)

※ 서울 열린데이터 광장 홈페이지(https://data.seoul.go.kr/) 를 통해 실습했습니다

 

✋ 서울 열린데이터 광장 - API 발급 및 데이터 수집

🎈 통합검색 - 부동산 전월세가

🎈 Open API 

🎈 인증키 신청

🎈 인증키 발급

👉  발급된 인증키 를 복사 후  api  에 활용할 수 있다

 

🎈 샘플 URL 양식 / 요청인자 / 출력값 확인

👉  Open API  호출 후 나오는 출력값을 확인할 수 있다.

👉  List_total_count  가 1,000이 넘을 경우, Open API는 1회에 1,000건을 넘을 수 없으므로 분리해서 호출 (반복문 필요!!)

 

🎈 원하는 조건에 맞춰 샘플 테스트

🎈 양식에 맞춰서 입력해야 원하는 정보가 나옴

👉 사용하고자 하는 언어에 맞게 가이드를 다운로드 받는다

 

🎈 Data 형태 - xml / json

👉 형태는  xml / json  중에 선택한 후, 샘플 URL 형식에 맞게 작성한다

👉 이후,  Google Colab  에 적용하여 api 크롤링을 진행한다

 

🎈 데이터 활용 방안

 Data 변환 (xml, json)  👉  pandas의 dataframe 형태로 변환  👉  csv 파일 만들기  👉 DB(database) 에 저장 

 

 

✋ Google Colab 에 URL 적용하기

🎈 서울시 부동산 XML API 예제

 

🔑 라이브러리 불러오기

# library
import lxml
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import math

service_key = '발급받은 인증 키'
url = f'http://openapi.seoul.go.kr:8088/{service_key}/xml/tbLnOpendataRtmsV/1/5/'
print(url)

👉  인증 키 관리 주의하기!  (개발 시 노출하지 말 것)

 

🔑 API 요청 확인하기

response = requests.get(url)
print(response.content)

🔑 XML 형태로 변환 (Parsing)

soup = BeautifulSoup(response.content, "lxml")  # XML Parsing
print(soup)

🔑 XML 형태를 Pandas DataFrame으로 변환

# 출력값 변수 설정
years            = soup.find_all('acc_year')         # 접수년월
sgg_cds          = soup.find_all('sgg_cd')           # 자치구코드
sgg_nms          = soup.find_all('sgg_nm')           # 자치구명
bjdong_cds       = soup.find_all('bjdong_cd')        # 법정동코드
bjdong_nms       = soup.find_all('bjdong_nm')        # 법정동명
land_gbns        = soup.find_all('land_gbn')         # 지번구분
land_gbn_nms     = soup.find_all('land_gbn_nm')      # 지번구분명
land_gbn_nms     = soup.find_all('land_gbn_nm')      # 지번구분명
bonbeons         = soup.find_all('bonbeon')          # 본번
bubeons          = soup.find_all('bubeon')           # 부번
bldg_nms         = soup.find_all('bldg_nm')          # 건물명
deal_ymds        = soup.find_all('deal_ymd')         # 계약일
obj_amts         = soup.find_all('obj_amt')          # 물건금액(만원)
bldg_areas       = soup.find_all('bldg_area')        # 건물면적(㎡)
tot_areas        = soup.find_all('tot_area')         # 토지면적(㎡)
floors           = soup.find_all('floor')            # 층
right_gbns       = soup.find_all('right_gbn')        # 권리구분
cntl_ymds        = soup.find_all('cntl_ymd')         # 취소일
build_years      = soup.find_all('build_years')      # 건축년도
house_types      = soup.find_all('house_type')       # 건물용도
req_gbn          = soup.find_all('req_gbn')          # 신고구분
rdealer_lawdnms  = soup.find_all('rdealer_lawdnm')   # 신고한 개업공인중개사 시군구명

# 반복문 활용
year_list           = []
sgg_cd_list         = []
bldg_nm_list        = []
obj_amt_list        = []
house_type_list     = []
rdealer_lawdnm_list = []

for year, sgg_cd, bldg_nm, obj_amt, house_type, rdealer_lawdnm in zip(years, sgg_cds, bldg_nms, obj_amts, house_types, rdealer_lawdnms):
  year_list.append(year.get_text())
  sgg_cd_list.append(sgg_cd.get_text())
  bldg_nm_list.append(bldg_nm.get_text())
  obj_amt_list.append(obj_amt.get_text())
  house_type_list.append(house_type.get_text())
  rdealer_lawdnm_list.append(rdealer_lawdnm.get_text())

df = pd.DataFrame({
    "acc_year": year_list, 
    "sgg_cd": sgg_cd_list, 
    "bldg_nm" : bldg_nm_list,
    "obj_amt": obj_amt_list,
    "house_type" : house_type_list,
    "rdealer_lawdnm": rdealer_lawdnm_list
})

df

 

🔑  JSON  형태를  Pandas DataFrame  으로 변환 (추천 ★★★)

service_key = '인증받은 인증 키'
url = f'http://openapi.seoul.go.kr:8088/{service_key}/json/tbLnOpendataRtmsV/1/5/'
print(url)

req = requests.get(url)
content = req.json()
print(content)

## key 값 확인
content.keys()

# dict_keys(['tbLnOpendataRtmsV'])

# key 값 활용하여 내용 확인
content['tbLnOpendataRtmsV']

# row에 해당하는 내용 확인
content['tbLnOpendataRtmsV']['row']

# pandas dataframe 형태로 만들기
pd.DataFrame(content['tbLnOpendataRtmsV']['row'])