[Node.js] node-fetch와 cheerio 이용해서 웹 크롤링 하기

https://www.scrapingbee.com/blog/node-fetch/

Web Scraping with node-fetch

이번에 JS 의 비동기를 이용해서 빠르게 크롤링을 해보고 싶어졌습니다.

 

파이썬으로 크롤링 하는건 수도 없이 보이는데 Node.js 에서 웹 크롤링을 하는 예제가 많이 보이지 않아서 관련 링크를 첨부합니다.

Node.js 에는 기본적으로 fetch() 가 없어서 동일하게 이용 가능한 node-fetch 패키지를 설치해야 하고, 이를 이용해서 HTML 응답값을 받아낼 수 있습니다.

 

이렇게 HTML 응답값을 문자열로 받아내고 cheerio로 그 text를 HTML로 해석해서 파싱이 가능합니다.

파이썬으로 따지면 requests 로 요청하고 (==fetch), bs4로 파싱하는 것(==cheerio)입니다.