평범한 이야기들

Headless라는 용어는 브라우저 창을 사용하지 않는다 라고 보시면 됩니다. 기본적으로 우리가 사용하는 브라우저는 html css js 파일 등을 불러와서 화면에 어떻게 그려줘야 할지 계산을 하고 우리에게 화면으로 보여줍니다. 하지만 GUI 환경이 아닌 곳에서 즉 ㄹ리눅스 서버와 같은 곳에서는 화면이 존재하지 않기 때문에 일반적인 방식으로 브라우저를 사용할 수 없습니다. 그래서 사용되는 게 Headless 모드입니다. 화면을 가상으로 랜더링 해서 실제 브라우저에서 사용하는 것처럼 작동하는 방법입니다. 기존에 작업했던 소스입니다.

Selenium 서버를 설치하고 나서 네이버 데이터랩 쇼핑인사이트 인기 검색어를 가져오기 위해 작업을 진행했습니다. 저는 github에 있는 php-webdriver를 이용했습니다. https://github.com/php-webdriver/php-webdriver 해당 주소로 들어가 clone으로 프로그램을 다운로드합니다. 그러면 루트 폴더에 example.php 파일이 존재하는 해당 내용을 참고해서 만드시면 됩니다. 추가 정보는 해당 페이지 wiki에 존재하니 참고하시면 되겠습니다. 인기 검색어의 위치를 파악하기 위해 크롬의 개발자 도구를 이용합니다. 해당 위치를 알게 되었으니 Xpath 문법을 이용해 해당 위치를 지정해주면 됩니다. 해당 위치는 아래와 같이 xpath 경로로 만들 수 있습니다. [@..

네이버 데이터랩 안에 있는 쇼핑인사이트의 인기 검색어의 데이터가 필요로 했습니다. 그래서 네이버 개발자 센터에서 데이터랩 API를 신청했는데 알고 보니 해당 데이터는 API로 제공하고 있지 않았습니다. 그래서 다른 방법이자 원초적인 크롤링을 통해서 접근을 하기 위해서 자료를 찾아보았습니다. 그중에서 가장 많이 나오고 인기 있는 Selenium(셀레니움, 셀레늄)을 알게 되었습니다. Selenium은 웹 애플리케이션 테스트를 위한 포터블 프레임워크입니다. 순서가 정해진 일련의 웹 테스트를 자동으로 할 수 있게 해 줍니다. 다만 현재는 파이썬에서 크롤링을 하는 방법으로 더 유명한 거 같습니다. Selenium 설치 방법은 대부분 파이썬 패키지 관리자인 PIP를 통해서 설치하는 방법만 나왔습니다. 그리고 크롤..

저는 우분투에서 vim을 사용합니다. 여기에 설정을 좀 더 해주면 사용하기 편하게 세팅이 됩니다. $ cd ~ $ vim .vimrc 자기 자신의 계정 디렉토리에 들어가서 해당 파일을 오픈합니다. 그리고 아래와 같이 입력한 후 저장하면 됩니다. " Syntax Highlighting if has('syntax') syntax on endif set autoindent set cindent set nu set ts=4 " Tab Size set shiftwidth=4 " Auto indent Size " 마지막으로 수정된 곳에 커서를 위치함 au BufReadPost * \ if line("'\"") > 0 && line("'\"")

Ubuntu 20.04에서 Apache2의 가상 호스트 설정하는 방법을 정리합니다. # Apache2의 설정값이 존재하는 위치로 이동 $ cd /etc/apache2/sites-available 기본적으로 설정되어있는 default.conf를 복사해서 사용하거나 해당 파일에서 추가하셔도 됩니다. 저는 도메인과 연결해서 구분하기 편하기 위해서 도메인.conf을 생성했습니다. # 도메인 명으로 파일 복사 $ sudo cp default.conf 도메인.conf 도메인.conf 파일을 열어서 내용에 맞게 수정합니다. DocumentRoot /home/ywpark/public_html ServerName 도메인주소 ServerAlias 도메인주소 ServerAdmin 메일주소 Options Indexes Fol..