[ Webtooniverse ] 2차 DB 구축- 카카오 웹툰 크롤링

🏃 Webtooniverse 의 핵심인 웹툰 데이터를 수집해보자 🏃

---

 

드디어 기다리고 기다리던 카카오 웹툰이 출시됐다!

기존의 다음웹툰 데이터를 가져오려고했으나, 카카오 웹툰과 합쳐진다는 기사를 보고 출시될 때까지 기다리기로 했다.

사이트를 보자마자 든 생각은, 아..크롤링 하기 쉽지 않겠구나였다.

---

[ 수집할 데이터 ]

크롤링해야 할 웹툰 카테고리는 다음과 같다.

 

1. 웹툰 원작 - 요일별 작품들의 정보들

2. 소설 원작 - 요일별 작품들의 정보들

3. 완결 웹툰 - 웹툰 원작 50개 + 소설 원작 50개

---

[ 사이트 분석 이슈 ]

"네이버 웹툰 사이트와 달리 카카오 웹툰은 사이트 전체를 selenium으로 자동화하기엔 어려움이 있었다."

 

1. 사이트만 봐도 알겠지만, 중간중간 영상 썸네일이 있고 영상 썸네일과 그렇지 않은 썸네일의 태그가 다르다.

2. 성인 웹툰은 비로그인 상태에서 click이 되지 않는다.

3. 대다수의 사이트의 경우 nth-child 값이 1,2,3,4.. 이렇게 순차적으로 증가하지만,

카카오 웹툰의 경우 뒤죽박죽인 경우가 많았다.

4. 웹툰 원작 탭의 경우, 영상 썸네일의 위치가 일정했지만 소설원작 탭의 경우, 썸네일의 위치가 불규칙적이다.

5. 작품의 정보들을 가져와야하는데 작품 클릭시, 영상이 재생되는 웹툰들이 있다.

 

소설원작

 

---

[ 접근 방법 ]

웹툰 정보에 접근하는 것도 처음엔 어려움이 있었지만,

제목과 작가, 장르 정보는 head 태그에서 가져올 수 있었다. 다행이도 내부 태그는 동일했다.

 

1. 성인 웹툰은 건너뛴다.

   1-1. 어차피 만들고자하는 사이트에서도 카카오 웹툰이 막아둔 작품 내용을 보여줄 순 없다.

   1-2. 성인 웹툰은 '카카오 페이지에서 로그인 후 사용해주세요'라는 문구로 대체한다.

 

2. 움직이는 썸네일과 움직이지 않는 이미지 썸네일을 각각의 메소드로 만들자

 

3. nth-child 순서는 어쩔 수 없이 요일별로 확인해주어야한다.

 

4. 상세 페이지로 클릭시, 영상이 바로 재생되는 경우를 고려하여 time.sleep을 30초로 길게 잡아준다.

---

[ 코드 ]

1. 영상 썸네일의 웹툰

- m : 요일을 나타내는 숫자 (월=1,화=2..)

- day : 요일을 나타내는 문자 (월,화,수.....)

 

웹툰과 장르의 FK도 같이 넣어줘야했기 때문에,

웹툰 PK값을 DB와 지속적으로 대조하면서 확인해주는 작업이 추가적으로 필요하다.

def week_toon_move(m, day):
    global index
    # =============================================움직이는 웹툰 클릭=============================================#
    # 썸네일
    toon_img = driver.find_element_by_css_selector(
        f'#root > main > div > div.page.color_bg_black__2MXm7.activePage > div.swiper-container.swiper-container-initialized.swiper-container-horizontal.swiper-container-pointer-events > div > div.swiper-slide.swiper-slide-active > div > div > div > div > div > div:nth-child({m}) > div.Masonry_masonry__38RyV > div:nth-child(1) > div > div > div > div > div > a > video'
    ).get_attribute('poster')

    driver.find_element_by_css_selector(
        f'#root > main > div > div.page.color_bg_black__2MXm7.activePage > div.swiper-container.swiper-container-initialized.swiper-container-horizontal.swiper-container-pointer-events > div > div.swiper-slide.swiper-slide-active > div > div > div > div > div > div:nth-child({m}) > div.Masonry_masonry__38RyV > div:nth-child(1) > div > div > div > div > div > a > video'
    ).click()

    time.sleep(23)

    # 제목
    toon_title=driver.find_element_by_css_selector('head > meta:nth-child(33)').get_attribute('content').strip()

    # 작가
    toon_author=driver.find_element_by_css_selector('head > meta:nth-child(27)').get_attribute('content')
    temp_List=toon_author.split(',')
    temp_List=temp_List[1:-1]
    toon_author=' / '.join(temp_List).strip()

    # 설명
    toon_content=driver.find_element_by_css_selector('head > meta:nth-child(26)').get_attribute('content')

    # 요일
    toon_weekday = day

    # 실제 사이트
    real_url = driver.current_url

    # 실제 플랫폼
    toon_platform = '카카오'

    # 완결 여부
    finished = False

    #장르
    genre = driver.find_element_by_css_selector(
        '#root > main > div > div.page.color_bg_black__2MXm7.activePage > div > div.Content_homeWrapper__2CMgX.common_positionRelative__2kMrZ > div.Content_metaWrapper__3srNJ > div.Content_contentMainWrapper__3AlhK.Content_current__2yPD8 > div.spacing_pb_28__VqvVT.spacing_pt_96__184F4 > div.common_positionRelative__2kMrZ.spacing_mx_a__2yxXH.spacing_my_0__1f7t6.MaxWidth_maxWidth__2Qvbl > div.Meta_meta__1HmBY.spacing_mx_20__17RDr.spacing_mt_16__29c-N > div > div > p.Text_default__HZL19.textVariant_s13_regular_white__1-AxN.spacing_ml_3__2NL9t.opacity_opacity85__gH87s').text

    data.append(
        [toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, None, toon_platform, finished,genre])

    print([toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, None, toon_platform, finished,genre])

    sql = "INSERT INTO webtoon (toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, toon_age, toon_platform, finished,toon_avg_point,review_count,total_point_count) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s,%s,%s,%s)"
    val = (toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, None, toon_platform, finished,0,0,0)
    cur.execute(sql, val)
    conn.commit()


    genre_List=dic[genre]

    for genre_id in genre_List:
        sql = "INSERT INTO webtoon_genre(toon_id,genre_id) VALUES (%s, %s)"
        val = (index,genre_id)
        cur.execute(sql, val)
        conn.commit()

    index+=1

    driver.back()
    time.sleep(2)

 

2. 이미지 썸네일 웹툰

- m: 요일 별 숫자

- day: 요일 이름

- start : nth-child(start)

- end :nth-child(end)

 

웹툰 원작의 경우 nth-child 숫자가 2,3,5,7,8.. 이런식으로 증가하는 것 같다.

나중에는 규칙을 찾아서 2,3,5 따로 7~ 끝까지 이렇게 분리해서 두개의 메소드로 빼놓고 코드를 돌렸다.

중간에 성인 만화가 들어간 경우, 건너뛰어야하기 때문에 이 경우 또한 고려해주어야한다.

def week_toon_range(m, day, start,end):
    global index

    for i in range(start, end + 1):

        # 썸네일
        toon_img = driver.find_element_by_css_selector(
            f'#root > main > div > div.page.color_bg_black__2MXm7.activePage > div.swiper-container.swiper-container-initialized.swiper-container-horizontal.swiper-container-pointer-events > div > div.swiper-slide.swiper-slide-active > div > div > div > div > div > div:nth-child({m}) > div.Masonry_masonry__38RyV > div:nth-child({i}) > div > div > div > div > a > picture > img'
        ).get_attribute('src')


        # 웹툰 클릭
        driver.find_element_by_css_selector(
            f'#root > main > div > div.page.color_bg_black__2MXm7.activePage > div.swiper-container.swiper-container-initialized.swiper-container-horizontal.swiper-container-pointer-events > div > div.swiper-slide.swiper-slide-active > div > div > div > div > div > div:nth-child({m}) > div.Masonry_masonry__38RyV > div:nth-child({i}) > div > div > div > div > a'
        ).click()

        time.sleep(30)

        # 성인웹툰 패스
        # try:
        #     driver.find_element_by_css_selector(
        #         'body > div:nth-child(21) > div > div > div >div.common_positionAbsolute__3eY3C.common_widthFull__1hw6a.spacing_px_20__1gg7C.Alert_buttonsWrap__2fPaV >button').click()
        #     time.sleep(3)

        # 웹툰 정보
        # 제목
        toon_title=driver.find_element_by_css_selector('head > meta:nth-child(32)').get_attribute('content').strip()

        # 작가
        toon_author = driver.find_element_by_css_selector('head > meta:nth-child(27)').get_attribute('content')
        temp_List = toon_author.split(',')
        temp_List = temp_List[1:-1]
        toon_author = ' / '.join(temp_List).strip()

        # 설명
        toon_content = driver.find_element_by_css_selector('head > meta:nth-child(26)').get_attribute('content')

        # 요일
        toon_weekday = day

        # 연령
        # toon_age

        # 실제 사이트
        real_url = driver.current_url

        # 실제 플랫폼
        toon_platform = '카카오'

        # 완결 여부
        finished = False

        # 장르
        genre = driver.find_element_by_css_selector(
            '#root > main > div > div.page.color_bg_black__2MXm7.activePage > div > div.Content_homeWrapper__2CMgX.common_positionRelative__2kMrZ > div.Content_metaWrapper__3srNJ > div.Content_contentMainWrapper__3AlhK.Content_current__2yPD8 > div.spacing_pb_28__VqvVT.spacing_pt_96__184F4 > div.common_positionRelative__2kMrZ.spacing_mx_a__2yxXH.spacing_my_0__1f7t6.MaxWidth_maxWidth__2Qvbl > div.Meta_meta__1HmBY.spacing_mx_20__17RDr.spacing_mt_16__29c-N > div > div > p.Text_default__HZL19.textVariant_s13_regular_white__1-AxN.spacing_ml_3__2NL9t.opacity_opacity85__gH87s').text


        data.append([toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, None, toon_platform,
                     finished,genre])
        print([toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, None, toon_platform,
               finished,genre])

        sql = "INSERT INTO webtoon (toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, toon_age, toon_platform, finished,toon_avg_point,review_count,total_point_count) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s,%s,%s,%s)"
        val = (toon_title, toon_author, toon_content, toon_img, toon_weekday, real_url, None, toon_platform, finished,0,0,0)
        cur.execute(sql, val)
        conn.commit()

        genre_List = dic[genre]

        for genre_id in genre_List:
            sql = "INSERT INTO webtoon_genre(toon_id,genre_id) VALUES (%s, %s)"
            val = (index,genre_id)
            cur.execute(sql, val)
            conn.commit()

        index+=1
        driver.back()
        time.sleep(3)

 

[ 결과 값 ]

중간 과정이 험난했지만..

db에 결과 값이 정상적으로 저장되는 것을 확인할 수 있다.

장르와 웹툰의 연결 테이블에도 잘 들어가진다.