평범한 이야기들

Mac에 Selenium 서버를 설치하고 사용하는 과정입니다. Mac에 설치하는 방법은 윈도우와 Ubuntu20.04에서 설치했던 방법을 가져와서 설치하는 것과 비슷한 느낌이었습니다. 기본적으로 Homebrew와 자바는 설치가 되어있다고 가정하고 진행하도록 하겠습니다. 크롬 드라이버 설치 brew 명령어를 통해서 크롬 드라이버를 다운 및 설치를 합니다. ~ brew install cask chromedriver 명령어를 통해 설치를 하게 되면 아래와 같은 화면을 보실 수 있습니다. Selenium 서버 다운로드 Selenium 서버를 직접 다운로드합니다. 대부분 사이트에서는 파이썬 패키지 도구인 pip를 통해서 설치를 합니다. 하지만 저는 파이썬을 사용하지 않기 때문에 직접 자바 jar파일을 다운로드하여..

윈도우에 이어서 실제 서버인 Ubuntu 20.04에서 돌리기 위해서 Selenium 서버를 설치를 진행했습니다. 1. 기본 패치키 및 자바 설치 먼저 시스템에 필요한 패키지를 설치해야 합니다. 여기서 Xvfb(X virtual frame buffer)는 유닉스 계열 운영 체제(예: 리눅스)를 위한 메모리 내 디스플레이 서버입니다. CLI 환경의 운영체에서 디스플레이 없이 X11 디스플레이 서버 프로토콜을 구현한다고 합니다. $ sudo apt-get update $ sudo apt-get install -y unzip xvfb libxi6 libgconf-2-4 또한 자바 8 버전 이상이 서버에 설치되어 있어야 합니다. $ sudo apt-get install default-jdk 위 명령어로 설치를 ..

Headless라는 용어는 브라우저 창을 사용하지 않는다 라고 보시면 됩니다. 기본적으로 우리가 사용하는 브라우저는 html css js 파일 등을 불러와서 화면에 어떻게 그려줘야 할지 계산을 하고 우리에게 화면으로 보여줍니다. 하지만 GUI 환경이 아닌 곳에서 즉 ㄹ리눅스 서버와 같은 곳에서는 화면이 존재하지 않기 때문에 일반적인 방식으로 브라우저를 사용할 수 없습니다. 그래서 사용되는 게 Headless 모드입니다. 화면을 가상으로 랜더링 해서 실제 브라우저에서 사용하는 것처럼 작동하는 방법입니다. 기존에 작업했던 소스입니다.

Selenium 서버를 설치하고 나서 네이버 데이터랩 쇼핑인사이트 인기 검색어를 가져오기 위해 작업을 진행했습니다. 저는 github에 있는 php-webdriver를 이용했습니다. https://github.com/php-webdriver/php-webdriver 해당 주소로 들어가 clone으로 프로그램을 다운로드합니다. 그러면 루트 폴더에 example.php 파일이 존재하는 해당 내용을 참고해서 만드시면 됩니다. 추가 정보는 해당 페이지 wiki에 존재하니 참고하시면 되겠습니다. 인기 검색어의 위치를 파악하기 위해 크롬의 개발자 도구를 이용합니다. 해당 위치를 알게 되었으니 Xpath 문법을 이용해 해당 위치를 지정해주면 됩니다. 해당 위치는 아래와 같이 xpath 경로로 만들 수 있습니다. [@..

네이버 데이터랩 안에 있는 쇼핑인사이트의 인기 검색어의 데이터가 필요로 했습니다. 그래서 네이버 개발자 센터에서 데이터랩 API를 신청했는데 알고 보니 해당 데이터는 API로 제공하고 있지 않았습니다. 그래서 다른 방법이자 원초적인 크롤링을 통해서 접근을 하기 위해서 자료를 찾아보았습니다. 그중에서 가장 많이 나오고 인기 있는 Selenium(셀레니움, 셀레늄)을 알게 되었습니다. Selenium은 웹 애플리케이션 테스트를 위한 포터블 프레임워크입니다. 순서가 정해진 일련의 웹 테스트를 자동으로 할 수 있게 해 줍니다. 다만 현재는 파이썬에서 크롤링을 하는 방법으로 더 유명한 거 같습니다. Selenium 설치 방법은 대부분 파이썬 패키지 관리자인 PIP를 통해서 설치하는 방법만 나왔습니다. 그리고 크롤..