본문 바로가기

playwright3

[Playwright] 인증정보 접근하기 (cookie, local storage, session storage) 이 글은 인증정보를 접근하고 보관하는 방법에 대해 다룹니다. (cookie, local storage, session storage) 일반적으로 로그인을 하였을 때 cookie나 local storage나 session storage를 통해 클라이언트의 브라우저에 인증정보(혹은 세션에 해당하는 키 값)를 보관합니다. 이러한 특성을 이용하여 테스트시에 인증정보를 보관하고 있다가 다시 로드하게 된다면, 각각의 테스트에서 인증할 필요가 없어지기 때문에 테스트 실행 속도를 단축시킬 수 있습니다. 이 글은 파이썬 playwright를 기반으로 작성되었으나. 기본적으로 node.js와 크게 다르지 않기 때문에 참고해주시면 감사하겠습니다. 방법 1 : 수동으로 값 가져오기 page 객체를 중심으로 각각의 저장소에 접.. 2023. 9. 11.
playwright 를 이용해 디시인사이드 크롤링 해보기 (python) 발단 디시인사이드의 특정 갤러리의 게시글들을 주기적으로 백업을 해서 보고 싶었다. 요구사항은 - 주기적으로 새로운 게시글을 조회하여 백업 (이전 글들은 굳이 다시 조회할 필요 없음) - 백업한 게시글은 dcinside를 거치지 않고 자체적으로 다시 볼 수 있어야 함 이렇게 두 가지 였다. 구현 방식 고민 나는 playwright 라는 도구를 사랑한다. 회사에서는 playwright node.js 버전을 사용하고 있다. 그런데 어쩐 일인지 과거의 나는 python 으로 뭔가를 만들어보고 싶어했던것 같고 클라우드 한 구석에 playwright python 을 이용한 자동화 시스템이 있었다. 이 시스템은 문제없이 잘 돌아가고 있었기에 기존 시스템의 연장선 느낌으로 개발을 원했다. 그래서 나는 python에 그.. 2023. 7. 24.
Google Colab에서 Playwright 사용하기 어제 밤에 뭔가를 자동화 하고 싶다는 생각이 들었고 이를 위해 Playwright가 적합할 것이라는 생각이 들었다. 그리고 그 과정에서 코랩을 사용하면 좋겠다는 생각이 들었다. 일단 무료이기도 하고 머신러닝용으로 그래픽 카드가 좋으니까라는 판단에서 였다. 작성은 Playwright공식 홈페이지에 있는 Getting Started 코드를 기반으로 작성하였다. (일단 동작이 되는것을 확인하는 것이 주된 목표였기 때문에 아직은 뭘 더 작성하거나 한 건 없다.) # https://stackoverflow.com/questions/73084593/running-playwright-on-google-colab-gives-error-asyncio-run-cannot-be-called # https://askubunt.. 2023. 5. 26.