뉴스가 너무 많으면 아무도 안 읽는다 — 뉴스 수집 파이프라인 개선

뉴스 페이지를 열어보니 하루에 400건이 넘게 쌓이고 있었다.

많으면 좋은 거 아닌가 싶었는데, 직접 써보니 아니었다. 스크롤을 내려도 내려도 비슷한 기사들이 반복됐다. 연합뉴스와 한국경제가 같은 사건을 다르게 쓴 기사들이 뒤섞여 있었다.

사용자 입장에서 생각하면 당연하다. 뉴스 앱은 많이 보여주려는 게 아니라 필요한 것만 보여줘야 한다.

오늘 개선한 것들:

Naver 뉴스 API 연동

RSS만으로는 속보나 키워드 중심 뉴스를 잡기 어려웠다. 증시, 코스피, 코스닥, 환율, 반도체, 배터리, FOMC 7개 키워드로 Naver 뉴스 API를 병렬 호출하는 방식을 추가했다. 기존 RSS와 합쳐서 중복 제거.

요약 품질 개선

뉴스 summary가 너무 짧거나 제목과 거의 같은 경우가 많았다. 제목이 summary에 포함돼 있으면 summary만 보여주고, 없으면 제목 + summary를 합쳐서 더 풍부하게 보여주는 로직을 추가했다.

카테고리 분류 정확도

키워드 기반 자동 분류인데 정치/국제 기사가 경제 탭에 뜨는 경우가 있었다. 키워드 우선순위를 조정했다.

뉴스 기능은 생각보다 세밀한 작업이 많다. 데이터를 수집하는 것보다 적절하게 큐레이션하는 게 훨씬 어렵다.

이 글의 소감을 Threads에서 확인하세요.