BeautifulSoup1 네이버 영화리뷰 크롤링 bs4 전에 한 네이버 평점 크롤링과 비슷하다 다른 건 그때는 간단한 한마디? 와 평점이 리스트로 여러 개 있었지만 이건 그 평점에 대한 자세한 리뷰가 있다 한 페이지에 15개의 목록이 있으니까 이건 15배 정도 url을 가져와야 한다 당연히 시간도 더 많이 걸리고 그래서 빠르게 해결하기 위해 multiprocessing을 사용한다 한 번에 하나의 url 요청을 하고 요청이 올 때까지 기다리다 완료되면 다음 걸 하는 게 아니라 하나 요청하고 기다릴 동한 다음 걸 요청하고 이런 식으로 동작해서 훨씬 빠르다 사용법은 대충 객체 하나 만들고 프로세스 몇 개 쓸지 정해주고 그냥 map 함수로 실행시킬 함수에 변수를 대입하면 된다 multiprocessing 을 사용하지 않았을 때보다 10배 이상은 빠른 듯 참고로 이전.. 2023. 3. 30. 이전 1 다음