[Selenium] 셀레니움을 이용한 네이버 데이터랩 쇼핑인사이트 인기검색어 가져오기2 - 카테고리 선택하기

셀레니움을 이용한 네이버 데이터랩 쇼핑인사이트 인기검색어 가져오기 - 카테고리

 지난번에 포스팅한 셀레니움을 이용한 네이버 데이터랩 쇼핑인사이트 인기검색어 가져오기에 추가 기능을 넣으려고 합니다. 추가기능은 카테고리 선택하기입니다. 지난번 포스팅의 내용은 접속하자마자 인기검색어를 가져왔지만 다양한 카테고리의 인기검색어를 가져오는 게 진짜 목적입니다. 그래서 카테고리를 클릭하고 조회를 할 수 있는 기능을 파이썬을 이용해 활용해보고자 합니다.

 

카테고리 xpath 확인하기

xpath 확인하는 방법은 지난번 포스팅에서 확인할 수 있습니다.

 

2023.07.04 - [평범한 개발 이야기/ETC] - [Selenium] 파이썬 셀레니움을 이용해 네이버 데이터랩 쇼핑인사이트 인기검색어 가져오기

 

메인 카테고리 xpath를 보면 아래와 같습니다.

//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div[1]/span

2번째 카테고리의 xpath입니다.

 //*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div[2]/span

3번째, 4번째 카테고리의 xpath입니다.

# 3번째
//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div[3]/span
# 4번째
//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div[4]/span

 

카테고리는 일정한 패턴으로 되어있는 것을 확인할 수 있습니다. 즉 마지막 div태그의 숫자만 변경되고 있습니다. 이것을 토대로 개발을 할 때 쉽게 접근할 수 있습니다. 해당 위치의 카테고리를 클릭하면 나오는 서브 카테고리들의 xpath는 아래와 같습니다.

//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div[1]/ul/li

마지막 div의 숫자를 보면 메인 카테고리의 xpath인 것을 확인하실 수 있습니다. 이렇게 xpath의 일정한 패턴을 확인하셨습니다. 이 내용을 가지고 카테고리를 선택하는 방법은 아래의 소스와 같습니다. 함수로 만들었으며 하나의 함수를 이용해 모든 카테고리를 선택할 수 있게 진행했습니다.

# 네이버 데이터랩 카테고리 선택
# 2번째 인자 : 카테고리 순서 (분야)
# 3번째 인자 : 서브카테고리 순서 (상세리스트)

def categoryClick(driver, category_idx, idx):

    li_element = driver.find_elements(By.XPATH, '//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div['+str(category_idx)+']/ul/li')

    if len(li_element) < idx :
        return False

    time.sleep(1)
    driver.find_element(By.XPATH, '//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div['+str(category_idx)+']/span').click()
    time.sleep(1)
    driver.find_element(By.XPATH, '//*[@id="content"]/div[2]/div/div[1]/div/div/div[1]/div/div['+str(category_idx)+']/ul/li['+str(idx)+']/a').click()
    time.sleep(1)

    return True

 

조회 버튼 클릭

조회하기 버튼의 xpath를 확인하면 아래와 같습니다.

//*[@id="content"]/div[2]/div/div[1]/div/a

 그런데 클래스 명이 눈에 띕니다. 클래스명은 'btn_submit'로 되어있고 소스상에 2개만 존재합니다. 그래서 저는 클래스 이름을 이용했습니다.

 

아래는 조회하기 버튼 클릭 소스입니다.

# 첫번째 조회하기 버튼 클릭
def clickSubmit(driver):
    time.sleep(1)
    elements = driver.find_elements(By.CLASS_NAME, 'btn_submit')
    elements[0].click()
    time.sleep(1)

 

이렇게 두 함수와 지난번 포스팅의 내용을 합쳐서 데이터랩의 다양한 카테고리를 이용한 인기검색어를 확인하실 수 있습니다.