[Selenium] Window10에 셀레니움(셀레늄) 서버 사용하기

 네이버 데이터랩 안에 있는 쇼핑인사이트의 인기 검색어의 데이터가 필요로 했습니다. 그래서 네이버 개발자 센터에서 데이터랩 API를 신청했는데 알고 보니 해당 데이터는 API로 제공하고 있지 않았습니다. 그래서 다른 방법이자 원초적인 크롤링을 통해서 접근을 하기 위해서 자료를 찾아보았습니다. 그중에서 가장 많이 나오고 인기 있는 Selenium(셀레니움, 셀레늄)을 알게 되었습니다.

 

 Selenium은 웹 애플리케이션 테스트를 위한 포터블 프레임워크입니다. 순서가 정해진 일련의 웹 테스트를 자동으로 할 수 있게 해 줍니다. 다만 현재는 파이썬에서 크롤링을 하는 방법으로 더 유명한 거 같습니다.

 

 Selenium 설치 방법은 대부분 파이썬 패키지 관리자인 PIP를 통해서 설치하는 방법만 나왔습니다. 그리고 크롤링 자체도 파이썬을 이용해서 하는 방법만 너무 많아서 저는 제가 쓰는 PHP를 통해서 하려고 찾아보았고 내용을 정리합니다.

 

1. 크롬 브라우저 업데이트

 저는 크롬 브라우저를 사용하기 위해서 크롬 브라우저를 최신 버전으로 업데이트했습니다.

크롬 브라우저의 설정으로 들어갑니다.

크롬 브라우저 설정 위치

 

 왼쪽 메뉴 하단에 "Chrome 정보" 메뉴를 클릭하시면 크롬의 현재 버전이 나오게 됩니다.

저는 최신 버전이었습니다. 최신 버전이 아니신 경우 업데이트 버튼이 나오기 때문에 해당 버튼을 클릭하셔서 업데이트해주시면 됩니다.

Chrome 버전 위치

 

 최신 버전이시거나 업데이트가 끝나신 분들은 크롬의 버전을 잘 기억해두시면 됩니다.

 

2. Selenium 서버 다운로드

 Selenium 서버는 자바언어로 되어있어서 해당 PC에 자바가 필수적으로 설치되어 있어야 합니다.

아래 주소로 접속해 Selenium 서버를 다운로드하면 됩니다.

 

https://www.selenium.dev/

 

 접속 후에 "Download" 메뉴를 클릭합니다.

https://www.selenium.dev/ 메인 화면

 

 Selenium Server 블록에서 최신 버전의 서버를 다운로드합니다.

Selenium Server 다운로드 위치

 

 

3. Selenium Chrome Driver 다운로드

 Selenium에서 사용하는 크롬 드라이버를 다운로드하여야 합니다. Selenium 서버를 받은 화면에서 스크롤을 내리면 "+ Browsers" 부분이 존재합니다. 해당 메뉴를 클릭합니다.

+ Browsers 메뉴 위치

 

접혀있던 내용이 펼쳐지면서 각 브라우저의 드라이버를 다운로드할 수 있습니다. 저는 크롬으로 하기 때문에 크롬 영역에서 documentation을 클릭합니다.

 

크롬 드라이버 다운로드 위치

 

 여기서 사용하고 계시는 크롬의 버전에 맞는 드라이버를 다운로드하시면 됩니다.

 

크롬 버전에 맞는 드라이버 다운로드

 

 사용하고 계시는 버전이 화면에 존재하지 않으시면 위 "Downloads" 메뉴를 클릭해서 버전에 맞는 드라이버를 설치하시면 됩니다.

 

이전 버전의 드라이버를 받을 수 있는 메뉴 위치

 

4. Selenium 서버 실행하기

 이전에 받았던 Selenium 서버 파일과 크롬 드라이버를 사용하고자 하는 폴더에 함께 이동시킵니다.

 

Selenium 서버 파일과 크롬 드라이버 파일

 

 저는 윈도에서 작업을 하고 있기 때문에 PowerShell 앱을 사용해서 서버를 실행합니다.

> java -jar "받은파일명"

# Selenium 서버 실행하기
> java -jar selenium-server-standalone-3.141.59.jar 

 아래와 같이 서버가 정상적으로 실행이 됩니다. Selenium은 기본적으로 4444번 포트를 사용합니다.

 

실행된 Selenium 서버

브라우저에서 "localhost:4444"로 접속을 하게 되면 Selenium 서버에 접속이 되며 아래와 같은 화면으로 우리를 반겨줍니다.

 

localhost:4444 로 접속하면 나오는 화면

 WebDriver 기능을 이용해 Selenium 서버를 통해 자동화가 실행이 되면 아래와 같이 "Chrome이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다."라고 나옵니다.

 

WebDriver 를 이용해 실행하면 나오는 화면

 

 이렇게 윈도에서 파이썬 패키지 도구를 이용하지 않고 Selenium 서버를 사용할 수 있게 설치했습니다. 이후 원하시는 작업을 작성하셔서 사용하시면 정상적으로 사용이 가능합니다.