[ Webtooniverse ] Maria DB 구축하기 - 네이버 웹툰 크롤링

🏃 Webtooniverse 의 핵심인 웹툰 데이터를 수집해보자 🏃

---

[ MySql 이 아닌, Maria DB를 선택한 이유 ]

- 평소같았으면 편하고 익숙한 Mysql을 골랐을 테지만,

'Mysql에서 Maria DB로 마이그에리션 해야 할 10가지 이유'라는 글을 읽고

이번 기회에 MariaDB를 선택해서 프로젝트를 진행해보고 싶었다.

사실 Maria DB가 Mysql보다 더 나은 성능을 제공한다고는하지만, 이번 프로젝트 자체가 두개의 성능을 확연하게 비교할 수 있을 만큼의 큰 프로젝트는 아니기에 큰 차이가 없을 것 같긴하다.

---

[ 필요한 데이터 ]

1. 요일별 웹툰

- 웹툰 관련 서비스에는 지금 연재되고 있는 웹툰이 필수적이기에,

가장 먼저 요일별 웹툰을 DB에 저장하기로했다.

 

요일별 웹툰만 400개가 넘기 때문에, 셀레니움을 사용하여 자동화 시스템을 구현하였다.

 

* 요일별 웹툰 이슈사항 *

1. 오늘의 웹툰

- 오늘의 웹툰이 그날 그날 변하기 때문에,

오늘에 해당하는 웹툰을 클릭하는 태크와, 그렇지 않은 요일을 클릭하는 태그가 다르다. 

오늘 크롤링을 다 못하면 내일로 넘어가야하기 때문에, 편의성을 위해 2개의 메소드로 분리해주었다.

 

2. 웹툰 제목과 작가

- 웹툰제목과 작가 이름이 h2에 같이 묶여있기 때문에,

웹툰 제목만 따로 가져오려면 한번더 문자열 처리를 해주어야한다.

 

[ 코드 ]

toonTitle = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > h2').text
tempList = toonTitle.split(' ')
tempList = tempList[:-1]

if tempList[-1] == '/':
	tempList = tempList[:-2]

toonTitle = ' '.join(tempList)

카카오(전 다음) 웹툰과 네이버 웹툰을 분리하고, 완결된 웹툰과 연재중인 웹툰을 분리해주기 위해

Column에 웹툰 플랫폼과 완결 여부를 추가해주었다.

 

[ 코드 ]

from selenium import webdriver
import pandas as pd
import time
import pymysql

conn = pymysql.connect(db 정보)
cur = conn.cursor()

# Genre Table
sql = "CREATE TABLE GENRE(genreId BIGINT NOT NULL AUTO_INCREMENT PRIMARY KEY,genreType VARCHAR(45) NOT NULL);"
cur.execute(sql)
sql = "ALTER TABLE GENRE CONVERT TO CHARACTER SET utf8;"
cur.execute(sql)

genre_sql = "INSERT INTO GENRE (genreType) VALUES (%s);"
values = ("스포츠")
cur.execute(genre_sql, values)
conn.commit()

# Webtoon table
sql = "CREATE TABLE WEBTOON(toonId BIGINT NOT NULL AUTO_INCREMENT PRIMARY KEY,toonTitle VARCHAR(255) NOT NULL ,toonAuthor VARCHAR(45) NOT NULL,toonContent VARCHAR(4000) NOT NULL,toonImg VARCHAR(255) NOT NULL,toonWeekday VARCHAR(45),realUrl VARCHAR(255) NOT NULL,toonAge VARCHAR(45),toonFlatform VARCHAR(45) NOT NULL,finished boolean);"
cur.execute(sql)
sql = "ALTER TABLE WEBTOON CONVERT TO CHARACTER SET utf8;"
cur.execute(sql)

#sql = "ALTER TABLE WEBTOON MODIFY toonContent VARCHAR(4000)"
#cur.execute(sql)

# Webtoon_Genre Table
sql = "CREATE TABLE WEBTOON_GENRE(toonGenreId BIGINT NOT NULL AUTO_INCREMENT PRIMARY KEY,toonId BIGINT NOT NULL ,genreId BIGINT NOT NULL);"
cur.execute(sql)

driver = webdriver.Chrome('chromedriver.exe')

driver.get('https://comic.naver.com/webtoon/weekday')
time.sleep(4)

data = []

def weekly_crawl(day_name, num, start, end):
    global toon_num
    for i in range(start, end + 1):
        c = driver.find_element_by_css_selector(
            f'#content > div.list_area.daily_all > div:nth-child({num}) > div > ul > li:nth-child({i}) > div > a > span')
        c.click()
        time.sleep(3)

        toonTitle = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > h2').text
        tempList = toonTitle.split(' ')
        tempList = tempList[:-1]

        if tempList[-1] == '/':
            tempList = tempList[:-2]

        toonTitle = ' '.join(tempList)
        toonAuthor = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > h2 > span').text
        toonContent = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > p:nth-child(2)').text
        toonImg = driver.find_element_by_css_selector('#content > div.comicinfo > div.thumb > a > img').get_attribute(
            'src')
        toonWeekday = day_name
        realUrl = driver.current_url
        toonAge = driver.find_element_by_css_selector(
            '#content > div.comicinfo > div.detail > p.detail_info > span.age').text
        toonFlatform = "네이버"
        finished = False

        # 장르-웹툰 연관관계 설정
        genre = driver.find_element_by_css_selector(
            '#content > div.comicinfo > div.detail > p.detail_info > span.genre').text.strip()
        genre_List = genre.split(',')

        for gl in genre_List:
            gl = gl.strip()
            genreId = dic[gl]
            sql = "INSERT INTO WEBTOON_GENRE(toonId,genreId) VALUES (%s, %s)"
            val = (toon_num, genreId)
            cur.execute(sql, val)
            conn.commit()

            time.sleep(5)

        # toonId +1
        toon_num += 1

        data.append(
            [toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished])

        print([toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished])

        sql = "INSERT INTO WEBTOON (toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s)"
        val = (toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished)
        cur.execute(sql, val)
        conn.commit()

        time.sleep(5)

        driver.back()

        time.sleep(2)

 

코드 돌려놓고 잠에 들었는데,

일어나서 확인해보니 toonContent(웹툰 설명글)이 너무 길다고 오류가 나면서 멈춰있었다.

다시는 길다고 못하게,,처음엔 VARCHAR(255)로 설정해놓은 것을 VARCHAR(4000)으로 대폭 늘려줬다.

 

WEBTOON table을 확인해보니 제목과 작가명도 잘 분리되어 뽑아와졌다.

---

2. 완결 웹툰

- 완결 웹툰만 거의 1000개쯤 되는 것 같아서,

인기순으로 나열 한 뒤, 33줄만 가져오기로했다. (99개)

 

[ 코드 ]

def finished_webtoon():
    # global toon_num
    c = driver.find_element_by_css_selector('#submenu > ul > li:nth-child(7) > a')
    c.click()
    time.sleep(3)

    # 인기순 클릭
    c1 = driver.find_element_by_css_selector('#content > div.view_type > ul.sortby > li:nth-child(1) > a')
    c1.click()
    time.sleep(5)

    for i in range(1, 100):
        c2 = driver.find_element_by_css_selector(f'#content > div.list_area > ul > li:nth-child({i}) > dl > dt > a')
        c2.click()
        time.sleep(3)

        toonTitle = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > h2').text
        tempList = toonTitle.split(' ')
        tempList = tempList[:-1]

        if tempList[-1] == '/':
            tempList = tempList[:-2]

        toonTitle = ' '.join(tempList)

        toonAuthor = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > h2 > span').text
        toonContent = driver.find_element_by_css_selector('#content > div.comicinfo > div.detail > p:nth-child(2)').text
        toonImg = driver.find_element_by_css_selector('#content > div.comicinfo > div.thumb > a > img').get_attribute(
            'src')
        toonWeekday = None
        realUrl = driver.current_url

        try:
            toonAge = driver.find_element_by_css_selector(
                '#content > div.comicinfo > div.detail > p.detail_info > span.age').text
        except:
            toonAge = None

        toonFlatform = "네이버"
        finished = True

        # 장르-웹툰 연관관계 설정
        genre = driver.find_element_by_css_selector(
            '#content > div.comicinfo > div.detail > p.detail_info > span.genre').text.strip()
        genre_List = genre.split(',')

        for gl in genre_List:
            gl = gl.strip()
            genreId = dic[gl]
            sql = "INSERT INTO WEBTOON_GENRE(toonId,genreId) VALUES (%s, %s)"
            val = (toon_num, genreId)
            cur.execute(sql, val)
            conn.commit()

            time.sleep(5)

        # toonId +1
        toon_num += 1

        print([toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished])

        data.append(
            [toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished])

        sql = "INSERT INTO WEBTOON (toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s)"
        val = (toonTitle, toonAuthor, toonContent, toonImg, toonWeekday, realUrl, toonAge, toonFlatform, finished)
        cur.execute(sql, val)
        conn.commit()

        driver.back()
        time.sleep(3)

---

Q. [ 장르_웹툰 Join Table을 DB에 어떻게 저장할 것인가? ]

 

Entity 설계한 것을 보면 알겠지만, webtoon에는 장르 정보가 따로 컬럼으로 들어가있지 않고,

다:다 관계를 풀어내기 위해 WebtoonGenre 라는 연결 테이블을 하나 두었다.

 

문제는 크롤링한 장르는  "로맨스,일상,학원" 같이 하나의 String으로 들어가게 된다는 점이고,

조인 테이블에는 Webtoon과 Genre의 FK가 들어간다는 것이었다.

 

---

[ 해결방법 ]

-이게 맞는 방법인지는 모르겠지만,

수집한 웹툰 데이터와 장르의 매핑을 직접해줘야했기 때문에

PK를 AUTO_INCREMENT로 설정해둔 점을 이용하여, 전역 변수로 1씩 들어나게 해주었고

딕셔너리를 이용하여 각각의 String을 int 형태로 변경해주었다.

 

만들고자하는 테이블은 다음과 같은 형태이다.

[ 코드 ]

toon_num = 1

dic = {
    "에피소드": 1,
    "옴니버스": 2,
    "스토리": 3,
    "일상": 4,
    "개그": 5,
    "판타지": 6,
    "액션": 7,
    "드라마": 8,
    "로맨스": 9,
    "감성": 10,
    "스릴러": 11,
    "시대극": 12,
    "스포츠": 13
}

# 장르-웹툰 연관관계 설정
        genre = driver.find_element_by_css_selector(
            '#content > div.comicinfo > div.detail > p.detail_info > span.genre').text.strip()
        genre_List = genre.split(',')

        for gl in genre_List:
            gl = gl.strip()
            genreId = dic[gl]
            sql = "INSERT INTO WEBTOON_GENRE(toonId,genreId) VALUES (%s, %s)"
            val = (toon_num, genreId)
            cur.execute(sql, val)
            conn.commit()

            time.sleep(5)

        # toonId +1
        toon_num += 1

[ 결과 ]

총 536개의 웹툰 작품들이 2개씩 장르를 가지고 있기 때문에,

1072개의 데이터가 잘 생성이 된 것을 확인할 수 있다.