2.1.1 『토지』의 대중 수용 관련 선행 연구

『토지』의 대중 수용과 관련된 선행 연구로는 연재 시작된 1969년부터 1999년까지를 연구 대상 시기로 삼아, 연구 대상 시기 기사가 디지털화되어 키워드 검색이 가능했던 『경향신문』, 『동아일보』, 『매일경제신문』(이하 『매일경제』), 『조선일보』, 『중앙일보』, 『한겨레』 6개 신문에서 ‘박경리’, ‘소설 토지’, ‘박경리 토지’로 검색된 기사 1,000여 건 가운데 『토지』와 직접적으로 관련된 기사를 통해 대중에게 『토지』가 어떻게 인식되었는지를 분석한 것7이 있다. 해당 연구는 기존 문학 연구에서 소외된 대중 수용과 관련된 연구라는 점, 주요한 연구 텍스트로 여겨지지 않았던 일간지 신문 기사 1,000여 건을 연구 대상으로 삼아 작가와 문학 작품 외에서 대중 수용에 끼친 영향력을 분석해보려 했다는 점, 연구자가 기사를 직접 읽어서 기사의 주제와 종류를 분류, 분석하였다는 점에서 의의를 지닌다. 다만, 해당 연구 방법론은 연구자가 직접 모든 연구 자료 전문을 읽고 분석해야 한다는 점에서 연구 확장에 물리적인 한계가 있다.

2.1.2 연구 대상 설정

본 연구자는 선행 연구의 성과를 바탕으로 하되, 객관적이고 종합적인 대중의 문학 수용 환경을 살펴보기 위해 연구 대상과 검색어를 확대하여 더 방대한 일간지 기사를 연구 데이터로 구축하고자 했다.

선행 연구의 분석 대상 텍스트는 “1969년~1999년 기사에 대한 키워드 검색이 가능한 『경향신문』, 『동아일보』, 『매일경제신문』, 『조선일보』, 『중앙일보』, 『한겨레』 6개”8이다. 본 연구는 이를 바탕으로 데이터 수집 대상 텍스트를 ‘연구 시작 당시(2024년 3월) 디지털화된 주요 일간지 신문 기사’로 확대하였다. ‘주요 일간지’는 대표성과 발행량을 고려하여 1) 10대 중앙 일간지 2) 9대 지역 일간지 3) 중앙 일간지에 버금가는 발행량을 보이는 전문지 및 기관지(이하, 전문·기관지) 4종 4) 국가기간뉴스통신사 『연합뉴스』 1종, 총 24종으로 선정하였다.

데이터 수집 대상 시기는 선행 연구의 1969년 9월~1999년 12월 31일에서 1955년 8월~2024년 8월까지 69년으로 확대하였다. 작가 박경리의 위상이 대중의 『토지』 수용에 영향을 주었기 때문에, 기존 1969년 9월, 소설 『토지』 연재 시작 월에서 박경리 등단 월인 1955년 8월로 데이터 수집 대상 시기를 앞당겼다.

선행 연구는 <네이버 뉴스 라이브러리>와 『중앙일보』 만을 분석 대상 일간지로 선정했었기 때문에 데이터 수집이 <네이버 뉴스 라이브러리>에 구축된 날짜까지만 가능했다. 본 연구는 구축 대상 데이터를 확대함으로써 <네이버 뉴스 라이브러리>에 한정된 연구 시기에서 자유로울 수 있었다. 대상 시기를 2024년 8월로 한정한 것은, 2024년 8월이 『토지』 완간 30주년이기 때문이다.

『토지』 완간 30주년을 기준으로 삼은 것은 『토지』의 대중 수용을 분석하기 위해서는 다른 보편적인 시계열보다 『토지』를 중심으로 한 시계열이 우선적으로 고려되어야 할 것으로 판단했기 때문이다. 완간 20주년인 2014년의 경우, 마로니에북스에서 2012년에 출간한 『토지』 전집이 대중 수용자에게 충분히 보급되었다고 보기 어렵기 때문에, 마로니에북스 판 『토지』 전집이 대중 수용자에게 충분히 보급될 시간을 확보하기 위해서 2024년 8월까지를 연구 대상으로 확대하였다. 확대된 연구 대상 시기는 추후 판본별 인식의 변화 등 보다 세부적인 수용 환경 분석도 가능하게 할 것이다.

작가 박경리는 1955년 등단하여 ｢불신시대｣로 1957년 현대문학 신인문학상 수상, 1959년 『표류도』로 제2회 내성문학상 수상, 1964년 『시장과 전장』으로 제2회 여류문학상을 수상하며 등단 초기부터 10여 년 동안 문단에서 꾸준히 문학성을 인정받은 작가였다. 그뿐만 아니라 1960년 연재한 『성녀와 마녀』는 1969년에, 1962년에 출간한 『김약국의 딸들』은 다음 해인 1963년에 영화화되며 『토지』 연재가 시작되는 1969년에 이미 대중에게 잘 ‘읽히는’ 인기 작가였다. 선행 연구에서는 소설 『토지』와 관계없이 ‘작가 박경리’만 언급된 기사는 분석 대상에 포함하지 않았음에도, 『토지』 연재 초기 대중의 작품 수용에 작가 박경리의 위상이 크게 영향을 끼쳤음을 확인9할 수 있었다. ‘작가 박경리’에 대한 기사를 최대한 많이 수집하기 위하여 ‘朴景利, 박경리, 박경이’를 검색어에 추가하였다.

선행 연구에서 제외되었던 변용 작품(영화, 드라마 등)이 역으로 『토지』 수용에 영향을 끼칠 수 있다. 이를 반영하기 위해 『토지』 변용 작품 관련 기사를 수집하기 위해 ‘작가 토지, 문학 토지, 예술 토지, 작품 토지, 드라마 토지, 영화 토지, 라디오 토지, 음악극 토지, 만화 토지(‘토지’, ‘소설’, ‘문학’, ‘작품’, ‘작가’의 경우 한자 ‘土地’, ‘小說’, ‘文學’, ‘作品’, ‘作家’도 검색어에 포함.)’를 검색어에 추가하였다.

확정된 연구 대상과 검색어를 정리하면 다음과 같다.

2.2.1 자체적인 데이터 구축의 필요성

필요한 일간지 기사 자료를 별도의 코딩 프로그램 활용 없이 수집하는 방법은 2025년 현재 크게 두 가지가 있다. 하나는 한국언론진흥재단에서 구축한 <빅카인즈>10를 활용하는 방법과 포털 뉴스의 오픈 API(application programming interface, 이하 API)11를 활용하는 방법이다.

1990년부터 2025년 현재까지 104개 매체의 약 1억여 건 뉴스콘텐츠 분석이 가능한 정형화된 데이터를 무료로 제공하는 <빅카인즈>는 별도의 데이터 분석 기술 학습이 없어도 방대한 양의 기사 데이터를 홈페이지 안에서 분석할 수 있다는 점에서 전통적인 질적 연구 방법론에 익숙한 인문학자가 이용하기에 유용한 서비스이다. 연구 대상 시기가 1955년 8월~2024년 8월까지 69년간인 본 연구자의 경우, <빅카인즈>로는 연구 대상 시기의 2/3에 해당하는 44년 간의 데이터를 구할 수 없다는 점에서 한계가 있다. 이 44년 간의 시기는 특히 박경리가 신인 작가에서 중견, 인기 작가로 입지가 변화하던 때와 『토지』 연재 기간 대부분을 포함한다는 점에서 <빅카인즈>에서 확보·분석 가능한 데이터는 『토지』를 중심으로 문학의 대중 수용사를 살펴보고자 하는 연구 기획에 적합하지 않다.

포털 뉴스의 오픈 API를 이용하는 방법은 대표적으로 네이버 검색 API12를 이용하는 것이다. 네이버가 제공하는 검색 API는 분야별로 검색 결과를 반환할 수 있기 때문에 연구자가 손쉽게 기사 데이터를 확보할 수 있다. 네이버 검색 API를 활용하는 방법의 가장 큰 문제는 현재 API에 검색을 진행할 기간이 매개 변수(파라미터)로 설정되어 있지 않다는 것이다. 네이버 검색 API는 한 번에 표시할 수 있는 검색 결과 개수의 최댓값을 100, 검색 시작 위치의 최댓값을 1000으로 제한하고 있는데, 이는 이론적으로 한 검색어의 검색 결과가 1,100건이 넘는다고 해도 검색어 당 결과를 정확도, 날짜순 내림차순으로 정렬하여 1,100건까지만 확보할 수 있다는 것을 의미한다.

‘토지’는 일반명사로 많이 사용되기 때문에 1,100건 이내의 결과만으로는 유의미한 결과를 도출하기 어렵다. 추후 기간이 매개 변수로 추가된다고 하더라도, 현재 네이버 뉴스에서 수집할 수 있는 1990년~1999년의 기사는 『연합뉴스』 뿐이며 그 외의 신문사는 2000년 이후의 기사만 수집할 수 있어 확보할 수 있는 자료의 시기 범주가 <빅카인즈>보다 적다. 이처럼 현재 구축된 일간지 데이터 분석 서비스나 포털 검색 API를 활용하는 것 모두 1990년 이후라는 최근 30여 년 여의 자료만을 연구 대상으로 삼을 수 있기 때문에, 1955년에 등단한 작가가 1969년부터 연재하기 시작한 소설의 수용사를 연구하기 위해서는 연구 대상 시기의 데이터를 자체적으로 수집하고, 최대한 기사 자료의 누락이 없게 하기 위해서 반복적인 중복 제거 작업 등 후작업을 거쳐 자체적인 데이터를 구축해야 했다.

2.2.2 AI 챗봇 활용의 필요성

인문학 연구 방법론에 익숙한 연구자는 ‘디지털 인문학 방법론을 사용한 분석’에 들어가기 전에 ‘컴퓨터가 읽을 수 있는 방식’으로 기존의 자료를 수집하고 정리해야 하며, 그를 위해 새로운 방법론의 기초부터 학습해야 한다. 문제는 방법론의 기초라고 할 수 있는 프로그래밍을 학습할 수 있는 교재나 강좌는 대체로 범용적인 목적에서 만들어졌기에 프로그래밍 기초를 학습한다고 하여도 특정 시기, 특정 분야의 특정 정보를 분석하고자 하는 연구 목적에 맞게 활용하기에는 한참 부족하다는 것이다. 이 단계에서 다른 연구자와 협업하거나 전문가에게 학습을 받아 연구 목적에 맞는 방법론을 학습·심화하는 방식으로 연구를 진행할 수도 있다.

단일한 집단이라고 할 수 없는 ‘대중’의 다양한 ‘수용’ 과정을 긴 시기에 걸쳐 살펴 봄으로써 ‘문학’과 ‘읽기’ 행위의 의의를 살펴보고자 하는 연구에서 ‘24종’이라는 다수의 일간지 기사를 살펴보는 것이 이미 분석할 수 있는 상태로 기사 데이터가 존재하는 특정 신문사 기사들만을 살펴보는 것보다 얼마나 의미가 있는지에 대해서 현재 연구된 바가 없다. 어떠한 결과도 예측할 수 없는 상황에서, 협업을 위해서라도 연구의 필요성을 확인하는 작업이 필요했기에 기초 학습 과정을 생략하고 당시(2024년 5월) 막 서비스되기 시작한 AI 챗봇인 ‘ChatGPT-4o’13를 활용하여 자료를 수집하였다.

6개월간 프로그래밍 기초 지식 없이 AI 챗봇을 활용하여 자료를 수집하며, 스스로 새로운 코드를 만들 수는 없어도 생성된 코드를 점검할 수 있는 정도까지는 코딩 과정에 익숙해질 수 있었다. 다만, AI 챗봇의 지원에도 연구자가 짧은 시간에 프로그래밍 전문가처럼 모든 과정을 능숙하게 다루기는 현실적으로 어려웠다. 이는 프로그래밍 학습 자체의 높은 진입 장벽을 보여주는 동시에, 그 간극을 메우는 데 AI 챗봇이 얼마나 긴요한지를 역설적으로 드러낸다. AI 챗봇의 적극적인 활용14은 본 연구자의 경우뿐만 아니라 인문학 연구자의 ‘디지털 인문학’에 대한 거리감을 좁히는 데에 도움이 될 것으로 보인다.

2.3.1 구축 대상 데이터

데이터베이스화되어 있는 24종의 신문사 기사 모두를 데이터로 구축하고자 먼저 <네이버 뉴스 라이브러리>15, 각 신문사 홈페이지16, <동아 디지털 아카이브>17, <조선 뉴스 라이브러리 100>18 네이버 뉴스19에서 기사를 수집하였다.

『동아일보』와 『조선일보』의 1955년 8월~1999년 12월 기사는 <네이버 뉴스 라이브러리>와, 각 신문사가 구축한 기사 아카이브 홈페이지에서 중복적으로 수집되고, 『동아일보』의 경우 1996년, 『조선일보』의 경우 1993년부터의 기사는 신문사 홈페이지에서도 수집되었다. 『매일경제』의 1966년 10월~1999년 12월까지의 기사도 <네이버 뉴스 라이브러리>와 신문사 홈페이지에서 중복적으로 수집되었다. 박경리로 검색했을 때 <네이버 뉴스 라이브러리>에서는 『동아일보』 1959년 12월 26일 자 기사 “신문학 이래 수확의 해 <금년도작 <베스트·텐> 기타>”가 나오지만, <동아 디지털 아카이브>에서는 나오지 않는 등의 한 수집처에서만 기사를 수집할 경우 누락되는 기사가 발생하는 바, 최대한 누락을 줄이기 위해 중복되더라도 가능한 수집처에서 모두 수집한 후 중복된 기사를 제거하는 방식으로 데이터를 구축했다.

모든 기사는 각 신문별 수집 가능한 가장 오래된 기사에서부터 2024년 8월 31일 발행 기사까지만 수집하였다. 67,000건 이상의 기사가 2.1에서 확정된 검색어를 통해 수집되었고, 기사 본문에 박경리가 등장하지 않은 기사와 동명이인 등을 제외한 작가 박경리가 언급된 기사는 총 12,996건이다. 많은 검색어로 검색하고 많은 페이지를 순환하여 기사를 수집했기 때문에, 수집으로 인한 서버의 부하를 줄이기 위해 모든 작업은 신문사 당 하루 1시간 내외로만 진행했다. 기사 본문에 박경리가 등장하지 않은 기사는 실제 기사가 소설 『토지』나 변용 작품과 관련되지 않아도 ‘토지’라는 글자가 들어가 있어서 수집된 경우가 많아 현시점에서 확정할 수 없다.

작가 박경리가 언급된 신문별 데이터 수집 시작 시기와 최종 구축된 데이터의 기사 건수는 다음 표 1과 같다. 신문 분류 번호는 각각 1. 10대 중앙 일간지 2. 9대 지역 일간지 3. 전문·기관지 4. 국가기간뉴스통신사를 의미한다.

2.3.2 구축 도구와 방법

데이터를 구축하는 기본 도구로 프로그래밍 언어 ‘Python’을 사용하였으며, 개발 환경으로 ‘Visual Studio Code’를 사용하였다. 활용한 AI 챗봇은 ‘ChatGPT-4o’이다. 구축하고자 한 기사 데이터의 정보는 ‘신문사, 기사 제목, 부제, 발행일자, 본문, 기사 주소(이하, URL)’이며, 데이터 구축 코드를 개발하는 과정은 크게 기사 수집 코드 개발과 전처리 과정으로 나뉜다. 기사 수집 코드를 개발하는 과정은 구체적인 웹페이지의 구성에 따라 변경되지만, 기본적인 과정은 다음과 같다.

3장에서는 웹사이트 구성에 따른 데이터 수집 코드 개발 과정과 전처리 코드 개발 과정을 살펴본다.

3.1.1 목록 수집: 주소형, 더보기형, 자바스크립트형

검색 결과 페이지를 변경하는 방식에 따라 각 신문사 웹사이트를 ‘주소형’, ‘클릭형’, ‘스크롤형’ 3가지 유형으로 나누어 볼 수 있다. 신문사 웹사이트 변경 등으로 각 신문사에서 기사를 수집하는 방법은 언제든지 다른 방법으로 변경될 수 있다. 하지만 기사 목록 자체가 ‘사용자가 검색어를 일정 조건으로 검색하면, 그 결과를 조건에 맞추어 보여준다’는 과정의 결과물인 이상, 기사 목록에서 제공하는 정보와 검색 결과 페이지를 변경하는 방식은 크게 위의 세 가지 유형에 속할 수밖에 없다. 기사 목록을 수집할 때 먼저 원하는 웹사이트가 어떤 방식으로 목록을 제공하는지 확인한 후, 그에 맞는 정보를 찾는 것이 중요하다. 아래에서 각각의 형태의 웹사이트에서 기사 목록을 저장하는 코드를 개발하는 과정과 주의할 점을 알아본다.

‘주소형’은 검색어와 목록 페이지 수 등 검색 조건이 URL에 드러나 있어 주소에 페이지 숫자를 입력하여 기사 목록 페이지를 변경할 수 있는 유형이다. 가장 많은 신문사 웹사이트가 ‘주소형’을 택하고 있으며, URL에서 변수만 확인하면 되기 때문에 코드를 개발하기도 가장 쉬운 유형이다. 이 유형에 속하는 신문은 10대 중앙 일간지에서는 『경향신문』, 『동아일보』, 『문화일보』, 『서울신문』, 『조선일보』, 『중앙일보』, 『한겨레』, 『한국일보』, 9대 지역 일간지에서는 『강원일보』, 『경남신문』, 『경인일보』, 『광주일보』, 『대전일보』, 『부산일보』, 『전북일보』 『제주일보』, 전문·기관지 『농민신문』, 『스포츠조선』, 『한국경제』이며, <네이버 뉴스 라이브러리> 소재 신문들도 이 방식으로 목록을 수집할 수 있다.

AI 챗봇을 활용하여 ‘주소형’ 웹사이트에서 목록을 수집하는 코드를 개발하는 과정은 다음과 같다.

기사 목록을 수집하는 코드를 생성하는 과정을 『경향신문』 홈페이지의 경우로 살펴본다.

‘클릭형’은 일정한 숫자의 기사가 페이지별로 제공되는 것이 아니라 페이지 번호나 ‘더보기’ 버튼을 직접 클릭하여 기사를 추가로 로드하는 유형이다. 페이지 번호를 클릭하는 유형은 『국민일보』, 『세계일보』, 『매일신문』 이고, ‘더보기’ 버튼을 클릭하는 유형은 『매일경제』이다.

AI 챗봇을 활용하여 ‘클릭형’ 웹사이트에서 목록을 수집하는 코드를 개발하는 과정은 다음과 같다.

‘클릭형’에서 주의할 점은 사용자가 직접 클릭하는 것처럼 작업을 진행해야 하기 때문에, 원하는 정보가 충분히 로드될 수 있도록 충분한 대기 시간을 주어야 한다는 것이다. 정보가 로드되는 시간은 유동적이므로, time.sleep()보다는 selenium.webdriver의 WebDriverWait를 추천한다.

직접 페이지 번호를 클릭하여 페이지를 루프하는 ‘클릭형’은 하나의 태그가 반복적으로 사용되는 ‘더보기’형보다 많은 정보를 확인하고 페이지 루프가 잘 진행되는지 주의 깊게 확인해 보아야 한다. 보통 페이지 번호와 태그 번호가 일치하지만, 시각적으로 표시되는 정도까지만 그렇게 진행되고, 시각적으로 표시되는 정보 이상의 값을 넣어도 해당 페이지로 이동하지 않는다. 예를 들어, 페이지 번호가 1, 2, … 9, 10까지 표시되고 11부터는 ▶ 버튼을 눌러야 표시가 되는 구조라면, 1에서 10까지는 태그에 번호를 1씩 더해서 클릭하고, 10n+1번째에는 ▶를 누를 수 있도록 해주어야 한다는 것이다. 페이지 루프를 종료하는 방법은 더는 다음 페이지가 없거나, 현재 페이지가 끝 페이지(보통 버튼으로 마지막 페이지에 갈 수 있게 설정되어 있다.)와 같을 때 종료하는 조건을 설정하면 된다. ‘주소형’ 마찬가지로 적용하는 태그에 번호 1을 더했을 때 새 기사가 없거나, 기존 기사와 동일한 기사 목록이 뜨는지에 따라 맞는 조건을 설정하면 된다.

‘스크롤형’은 스크롤을 내리면 새로운 기사가 로드되는 유형이다. 네이버 뉴스 탭이 ‘스크롤형’으로 구성되어 있다. 네이버 뉴스를 통해서만 10년 이상의 기사를 수집할 수 있는 『연합뉴스』가 이 유형에 속한다.

AI 챗봇을 활용하여 ‘스크롤형’ 웹사이트에서 목록을 수집하는 코드를 개발하는 과정은 다음과 같다.

‘스크롤형’에 해당하는 네이버 뉴스 탭에서 기사를 수집할 때 주의점은 목록은 네이버 뉴 스에서 수집할 수 있지만 대다수의 개별 기사가 네이버 뉴스 내부가 아니라 개별 신문사로 연결된다는 점이다. 목록을 먼저 만들고 개별 기사 본문을 수집하는 이유는 코드의 실행과 수정 과정을 최소화하기 위함인데, 개별 기사 URL이 개별 신문사로 연결된다면 각 신문사에 구조에 맞는 본문 수집 코드를 새로 개발해야 한다는 점에서 번거롭다. 네이버 뉴스 탭에서 수집할 수 있는 대다수의 기사를 각 신문사 웹사이트, <빅카인즈> 등에서도 수집할 수 있으므로, 수집 날짜로부터 10년 이전의 『연합뉴스』 기사처럼 네이버 뉴스에서만 수집할 수 있는 기사만 네이버 뉴스 탭을 이용하는 것이 좋다.

기사 목록만 필요하다면 ‘스크롤형’의 코드를 활용하는 것이 다른 방법보다 간단하다. 검색 URL ‘news_office_checked=1001’에서 ‘1001’이 『연합뉴스』의 코드를 의미하므로, 원하는 신문사의 코드만 확인하여 교체하면 하나의 코드로 기사 목록을 손쉽게 수집할 수 있다.

‘주소형’, ‘클릭형’, ‘스크롤형’으로 기사 목록을 수집하는 코드를 개발하는 과정을 살펴보았다. 이는 기사 목록을 탐색하는 방식만을 기준으로 나눈 것으로 웹사이트별로 로그인이 필요하거나, 검색어를 직접 검색창에 입력부터 해야 하는 경우 등이 존재한다. 이때는 앞선 3가지 유형의 코드 생성을 기본으로 하고, 각 웹사이트 구조와 조건에 맞게 해당 방법을 추가하는 코드를 AI 챗봇에 요청하면 된다.

다음은 수집된 기사 목록을 바탕으로 기사 본문을 수집하는 코드를 개발하는 과정을 살펴본다.

3.1.2 본문

<네이버 뉴스 라이브러리>를 제외한 신문사 기사 본문 수집 코드 개발은 유형을 나누었던 기사 목록 코드와 달리 유형을 나눌 필요가 없다. 코드 개발 과정은 간단하지만, 필요한 정보만 수집하기 위해 코드를 실행·확인·수정을 반복적으로 수행해야 한다는 점에서 사실상 가장 많은 시간이 걸리는 작업이다.

AI 챗봇을 활용하여 기사 본문을 수집하는 코드를 개발하는 과정은 다음과 같다.

주의할 점은 같은 신문사라 하여도 웹페이지 구조가 변경된 경우 본문 구조가 다를 수 있다는 점이다. 본문 태그 및 삭제해야 할 내용을 담은 태그는 최소 10개 이상의 서로 다른 시기 기사를 통해 확인한 후 모두 반영할 수 있도록 코드를 개발해야 한다. 『조선일보』의 경우처럼 본문이 담긴 태그가 시기나 기사의 종류에 따라 굉장히 다양한 경우나 『중앙일보』처럼 사진 설명, 광고 태그가 다양한 경우에는 태그들을 리스트로 만드는 것이 추후 코드를 수정하기 용이하다. 삭제해야 할 태그는 모든 것을 전부 삭제하는 코드를 사용하면 되지만, 본문 태그가 다양할 경우, 아래 인용과 같이 본문을 추출할 때까지 본문 태그들을 순회하도록 코드를 구성해야 한다.

# 여러 가지 클래스명 중 첫 번째로 찾은 본문 추출
article_classes = [
'_article_content', 'newsct_article', 'article-txt',
'story-news', 'content01', 'viewContentWrap',
'atic_txt1', 'articleDiv', 'articleBody'
]
# 각 클래스가 로드될 때까지 시도 (첫 번째로 로드되는 클래스 기다림)
for class_name in article_classes:
try:
WebDriverWait(driver, 3).until(
EC.presence_of_element_located((By.CLASS_NAME, class_name))
)
break # 첫 번째로 로드된 클래스가 있으면 루프 종료
except TimeoutException:
continue # 해당 클래스가 로드되지 않았을 경우, 다음 클래스를 시도
soup = BeautifulSoup(driver.page_source, 'html.parser')
article_body = None
for class_name in article_classes:
article_body = soup.find('div', class_=class_name)
if article_body:
break # 본문을 찾으면 루프 종료

따로 태그로 구성되지 않은 기사 작성 기자의 정보, 저작권 표시 등 분석하고자 하는 주제와 무관한 내용은 수집되지 않도록 처리하는 것도 중요하다. 특정 정보가 기사의 특정 부분에 반복적으로 노출이 되는 경우는 아래와 같은 방식으로 해당 내용을 수집하지 않을 수 있다.

# 본문에서 "GoodNews paper ⓒ" 이후 내용을 제거합니다.
content = article_body.get_text(separator='\n', strip=True)
cutoff_phrase = "GoodNews paper"

부제는 신문사마다 처리 방법이 다르고, 과거 기사에서는 태그로 구분이 되어 있지 않은 경우가 훨씬 많다. 최신 기사를 기준으로 부제를 분리할 수 있는 경우는 본문과 분리하여 따로 수집하도록 개발했으나, 현재 코드상으로 따로 분석을 할 정도로 일관성이 있거나 양적으로 충분하게 수집되지 않았다. 태그로 분리되지 않은 부제들을 추출할 수 있는 방법이 추후 개발되어야 한다.

3.1.3. <네이버 뉴스 라이브러리> 본문

<네이버 뉴스 라이브러리>의 경우, 목록에서 기사를 누르면 다음 그림 1처럼 ‘텍스트 보기’ 팝업이 뜬다.

그림 2.

<네이버 뉴스 라이브러리> 1999년 6월 4일 13면 기사 회면

제목 행과 신문사, 발행일, 기사 종류가 담긴 정보 행은 복사할 수 있는 텍스트 형태로 제공되지만, 아래 본문은 복사할 수 없는 그림의 형태로 제공되기 때문에 기사 페이지에서 본문을 스크랩할 수 없기 때문에, 다른 기사들과 달리 기사 검색에 사용되는 데이터에서 기사 본문을 추출해야 한다. 그림 2처럼 검색어가 기사 본문 어디에, 어떤 방식으로 표시되는지 보여주는 div.summary 태그의 내용은 API에 POST 방식으로 요청하고, JSON 형식으로 반환된다는 것은 네트워크 분석을 통해 알아낼 수 있다.

그림 3.

<네이버 뉴스 라이브러리> ‘키워드 검색’을 사용하여 나온 기사 예시

AI 챗봇을 활용하여 <네이버 뉴스 라이브러리> 기사 본문을 수집하는 코드를 개발하는 과정은 다음과 같다.