[Python.JSON] Python으로 JSON 데이터 파싱 - 이론편

2020. 11. 24. 05:00Python과 머신러닝/웹 데이터 추출

요약

 

[Python.Web] 정규표현식을 이용한 웹 데이터 파싱 - urllib, regular expression

웹사이트에서 원하는 형태의 데이터를 긁어오는 방법을 알아보자. 0. 요약 1. 원하는 URL을 정한다. 2. URL로부터 모든 text를 string으로 읽어온다. 3. 내가 찾고자 하는 string을 regular expression 형태로

coding-grandpa.tistory.com

 

[Python.Web] wget으로 웹 데이터 다운로드 및 파싱 - wget.download

요약 한 웹사이트에서 여러 가지의 파일을 다운로드하고 싶을 때에, wget을 사용하여 한번에 다운 받는 프로그램을 짤 수 있다 이전에 정리한 내용에 이어서, 정규식을 사용하여 원하는 파일을

coding-grandpa.tistory.com

 

[Python.Web] 실시간 금융 데이터 파싱하기 추출

요약 URL로부터 정보를 뽑아오는 3번째 예제이다 (앞의 예제를 못 봤다면 참고해야 이해가 될 것이다) Python으로 웹사이트에서 데이터 추출하기 (urllib, regular expression) 웹사이트에서 원하는 형태의

coding-grandpa.tistory.com

 

[Python.Web] BeautifulSoup으로 하는 웹크롤링, 데이터 스크레이핑

요약 XML이란 eXtensible Markup Language의 약자로 데이터의 구조와 의미를 설명하기 위해 Tag(Markup)를 사용하는 언어이다. HTML과 비슷하게 데이터가 정형화되어 있어 분석이 편리하고, 이를 더욱 쉽게 Pa

coding-grandpa.tistory.com

 

[Python.Web] BeautifulSoup과 wget 으로 웹크롤링, 데이터 스크레이핑

요약 지난 내용은 다운로드하여놓은 xml파일을 분석했다면, 이번엔 웹에서 다운로드하는 단계까지 자동화한다 BeautifulSoup으로 하는 웹크롤링, 데이터 스크레이핑 요약 XML이란 eXtensible Markup Languag

coding-grandpa.tistory.com

 

1. JSON이란

  • JSON이란 JavaScript Object Notation의 줄임말이다.
  • 웹 언어인 JavaScript의 데이터 객체를 표현하는 방식/언어이다.
  • 간결하기 때문에 기계나 사람 모두가 이해하기 편하다.
  • 데이터 용량이 적고 Code로의 전환이 쉽다는 장점이 있어서 XML을 대체하여 활용되고 있다.
  • 간단한 예시를 보자.
{
    "employees":[
        {
            "firstName":"John",
            "lastName":"Doe"
        },
        {
            "firstName":"Anna",
            "lastName":"Smith"
        },
        {
            "firstName":"Peter",
            "lastName":"Jones"
        }
    ]
}

 

2. JSON의 특징

  • Python의 Dict 타입과 유사하다(Key:Value 쌍으로 데이터를 표현)
  • JSON 모듈을 사용하여 간편한 Parsing 및 저장이 가능하다
  • 데이터 저장 및 읽기는 Dict type과 상호 호환이 가능하다
  • 웹에서 제공하는 API는 대부분 정보교환 시 JSON을 활용한다 (Facebook, Twitter, Github 등)
  • 각 사이트의 Developer API를 확인하여 개발할 수 있다.

 

3. 관련 포스트

 

[Python.JSON] Python으로 JSON 데이터 읽기 - 실전편

요약 지난번에는 JSON이 왜 중요하고, Python으로 JSON을 추출하는 것의 특징을 이해했다. 이번에는 예제를 통해 얼마나 JSON을 통한 데이터 추출이 용이한지 보려고 한다. 정답부터 보고 시작하자. im

coding-grandpa.tistory.com

 

[Python.JSON] Python으로 JSON 데이터 저장 및 전달 - 실전편

요약 JSON 읽기에 이어 JSON 쓰기 예제를 통해 Dict Type의 데이터를 JSON으로 전달하는 기초를 배운다. Dict를 JSON 형태로 저장한다면, 나도 웹을 통해 다른 프로그램에 데이터를 매우 용이하게 전달할

coding-grandpa.tistory.com