평범한 이야기들

Headless라는 용어는 브라우저 창을 사용하지 않는다 라고 보시면 됩니다. 기본적으로 우리가 사용하는 브라우저는 html css js 파일 등을 불러와서 화면에 어떻게 그려줘야 할지 계산을 하고 우리에게 화면으로 보여줍니다. 하지만 GUI 환경이 아닌 곳에서 즉 ㄹ리눅스 서버와 같은 곳에서는 화면이 존재하지 않기 때문에 일반적인 방식으로 브라우저를 사용할 수 없습니다. 그래서 사용되는 게 Headless 모드입니다. 화면을 가상으로 랜더링 해서 실제 브라우저에서 사용하는 것처럼 작동하는 방법입니다. 기존에 작업했던 소스입니다.

Selenium 서버를 설치하고 나서 네이버 데이터랩 쇼핑인사이트 인기 검색어를 가져오기 위해 작업을 진행했습니다. 저는 github에 있는 php-webdriver를 이용했습니다. https://github.com/php-webdriver/php-webdriver 해당 주소로 들어가 clone으로 프로그램을 다운로드합니다. 그러면 루트 폴더에 example.php 파일이 존재하는 해당 내용을 참고해서 만드시면 됩니다. 추가 정보는 해당 페이지 wiki에 존재하니 참고하시면 되겠습니다. 인기 검색어의 위치를 파악하기 위해 크롬의 개발자 도구를 이용합니다. 해당 위치를 알게 되었으니 Xpath 문법을 이용해 해당 위치를 지정해주면 됩니다. 해당 위치는 아래와 같이 xpath 경로로 만들 수 있습니다. [@..

네이버 데이터랩 안에 있는 쇼핑인사이트의 인기 검색어의 데이터가 필요로 했습니다. 그래서 네이버 개발자 센터에서 데이터랩 API를 신청했는데 알고 보니 해당 데이터는 API로 제공하고 있지 않았습니다. 그래서 다른 방법이자 원초적인 크롤링을 통해서 접근을 하기 위해서 자료를 찾아보았습니다. 그중에서 가장 많이 나오고 인기 있는 Selenium(셀레니움, 셀레늄)을 알게 되었습니다. Selenium은 웹 애플리케이션 테스트를 위한 포터블 프레임워크입니다. 순서가 정해진 일련의 웹 테스트를 자동으로 할 수 있게 해 줍니다. 다만 현재는 파이썬에서 크롤링을 하는 방법으로 더 유명한 거 같습니다. Selenium 설치 방법은 대부분 파이썬 패키지 관리자인 PIP를 통해서 설치하는 방법만 나왔습니다. 그리고 크롤..