Notice
Recent Posts
Recent Comments
Link
목록네이버뉴스 크롤링 (1)
DevKim
[Requests & BeautifulSoup] 네이버 뉴스 기사 크롤링하기
밑에 코드를 정상적으로 실행하기 위해, 별도의 data 폴더와 base path가 설정되어있어야한다. 사실상 네이버 뉴스의 모든 뉴스를 크롤링하기엔 불가능하다. 왜냐하면 네이버 뉴스를 클릭해보면 알겠지만, 연합뉴스,한국뉴스...등등 모두 다른 회사에서 만든 뉴스기사임을 볼 수 있다. 그렇다고 모~~든 회사에서 만든 다른 web 의 태깅들을 따로따로 입력할 수도 없는 노릇이다. 그래서 해결방안은 naver 뉴스에 연결되어있는 애들만 크롤링하는 방법이다. 검색어와, 뉴스가 발행된 날짜, 크롤링 할 페이지를 입력하면 자동으로 엑셀파일에 저장되게끔 코드가 짜여져있다 # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup import panda..
데이터 수집 [ Web crawling ]
2021. 1. 16. 21:41