playwright2 playwright 를 이용해 디시인사이드 크롤링 해보기 (python) 발단 디시인사이드의 특정 갤러리의 게시글들을 주기적으로 백업을 해서 보고 싶었다. 요구사항은 - 주기적으로 새로운 게시글을 조회하여 백업 (이전 글들은 굳이 다시 조회할 필요 없음) - 백업한 게시글은 dcinside를 거치지 않고 자체적으로 다시 볼 수 있어야 함 이렇게 두 가지 였다. 구현 방식 고민 나는 playwright 라는 도구를 사랑한다. 회사에서는 playwright node.js 버전을 사용하고 있다. 그런데 어쩐 일인지 과거의 나는 python 으로 뭔가를 만들어보고 싶어했던것 같고 클라우드 한 구석에 playwright python 을 이용한 자동화 시스템이 있었다. 이 시스템은 문제없이 잘 돌아가고 있었기에 기존 시스템의 연장선 느낌으로 개발을 원했다. 그래서 나는 python에 그.. 2023. 7. 24. Google Colab에서 Playwright 사용하기 어제 밤에 뭔가를 자동화 하고 싶다는 생각이 들었고 이를 위해 Playwright가 적합할 것이라는 생각이 들었다. 그리고 그 과정에서 코랩을 사용하면 좋겠다는 생각이 들었다. 일단 무료이기도 하고 머신러닝용으로 그래픽 카드가 좋으니까라는 판단에서 였다. 작성은 Playwright공식 홈페이지에 있는 Getting Started 코드를 기반으로 작성하였다. (일단 동작이 되는것을 확인하는 것이 주된 목표였기 때문에 아직은 뭘 더 작성하거나 한 건 없다.) # https://stackoverflow.com/questions/73084593/running-playwright-on-google-colab-gives-error-asyncio-run-cannot-be-called # https://askubunt.. 2023. 5. 26. 이전 1 다음
