BECUAI

RDPLINE, 데이터 가공 솔루션과 뉴스·논문 통합 검색 API 공개

같은 뉴스를 봐도 어떤 사람은 더 깊이 이해합니다. 왜 그런 차이가 생길까요? 그 뉴스의 배경에 대한 사전 지식이 있기 때문입니다. 좀 더 풍부한 맥락 속에서 사안을 바라보게 되는 거지요.

여기서 우리는 뉴스의 역할에 대해 다시 생각해볼 수 있습니다. 뉴스는 지금 무슨 일이 벌어지고 있는지 빠르게 보여주지만, 왜 그 일이 일어났는지까지 설명해주지는 않습니다. 즉 뉴스에 사전지식이 추가된다면, 더 많은 정보를 습득할 수 있게 될 거예요.

그 빈자리를 논문과 연구자료가 채워줄 수 있습니다. 현상 뒤에 있는 맥락과 근거를 설명하고, 보다 깊이 있는 이해를 통해 올바른 의사결정까지 이어가게 해줍니다.

문제는 이제까지 이 두 정보를 함께 탐색하는 일이 생각보다 쉽지 않았다는 점입니다. 뉴스 데이터베이스와 학술 데이터베이스는 각자의 영역에서 따로 존재했고, 하나를 검색해서 다른 하나까지 연결하려면 별도의 작업이 필요했습니다.

비큐AI와 라이너, 뉴스와 논문을 연결하다

비큐AI와 라이너가 각자의 데이터와 API를 연결하는 이유가 여기에 있습니다. 비큐AI의 뉴스 데이터와 라이너의 학술검색 API를 결합해, 특정 현안을 검색하면 관련 뉴스와 학술적 근거를 함께 확인할 수 있는 솔루션을 만들어가고 있습니다.

여기서 눈여겨볼 부분은 방식입니다. 원본 데이터베이스를 주고받는 것이 아니라, API를 통해 각자의 데이터와 서비스를 연결합니다. 서로 다른 데이터가 이렇게 연결되면 AI가 찾을 수 있는 정보의 범위뿐 아니라, 답변을 뒷받침하는 근거도 함께 풍부해집니다.

비큐AI와 라이너가 논의해온 이 데이터 협력이 이제 RDPLINE의 실제 기능으로 구현됐습니다. 지난 8월 12일, RDPLINE은 데이터 가공 솔루션과 뉴스·논문 통합 검색 API를 공개했습니다.

데이터를 다듬는 데이터 가공 솔루션

먼저 RDPLINE은 데이터 가공 솔루션 페이지를 오픈했어요. 여기서는 원시 데이터를 그대로 전달하는 것이 아니라, AI와 서비스가 활용하기 좋은 형태로 다듬는 세 가지 기능을 제공합니다.

메타데이터 인리치먼트는 인물, 기업, 기관 등 엔티티와 지역, 주제, 사건 같은 속성을 식별해 구조화된 메타데이터로 제공해요. 데이터 중복 제거는 유사한 콘텐츠를 그룹화하고, 최장 본문이나 최초 발행, 최근 발행, 발행량 상위 매체 등의 기준에 따라 대표 데이터를 선정합니다. 마지막으로 쿼리 기반 데이터 추출은 AND, OR, 제외 연산자와 정확한 구문 검색을 지원해 필요한 데이터만 선별해 추출할 수 있게 돕습니다.

세 기능 모두 결국 같은 방향을 가리킵니다. 데이터를 양으로 쌓는 것이 아니라, 목적에 맞게 찾고 이해할 수 있는 데이터로 만드는 것입니다.

뉴스와 논문을 하나로 잇는 통합 검색 API

뉴스와 논문의 메타정보를 하나의 API 호출로 검색할 수 있는 통합 검색 API도 공개했어요. 계약된 매체나 기간과 무관하게 전체 코퍼스를 대상으로 검색할 수 있고, 본문은 제외한 메타정보만 제공합니다. 뉴스와 논문 소스는 서로 독립적으로 처리되기 때문에, 한쪽에 장애가 생기더라도 다른 쪽은 정상적으로 응답합니다.

이 API가 바로 라이너와의 MOU를 실제 운영 서비스로 구현한 사례입니다. 협약을 통해 논의해온 데이터 협력이, 하나의 API 호출로 뉴스와 논문을 함께 탐색하는 실제 서비스로 구현된 것입니다.

데이터를 실어 나르는 것을 넘어서

RDPLINE은 그동안 실시간 데이터 파이프라인으로 데이터를 안정적으로 실어 나르는 역할을 해왔습니다. 이번 업데이트로 여기에 두 가지 역량이 더해졌습니다. 데이터를 의미 있게 다듬는 가공 능력과 서로 다른 소스를 하나의 창구에서 연결하는 통합 검색 능력입니다.

뉴스와 논문. 서로 다른 두 데이터가 만나 어떤 검색 경험을 만들어낼지는 이제 서비스로 확인할 수 있게 됐습니다. RDPLINE이 넓혀가고 있는 것은 데이터의 양이 아니라, 데이터를 활용할 수 있는 방식입니다. 필요한 데이터를 실시간으로 연결하는 것에서, 그 데이터를 목적에 맞게 다듬고 서로 다른 정보까지 함께 탐색할 수 있게 하는 것까지 말이죠.

RDPLINE은 실시간 데이터 파이프라인이라는 본래 역할 위에 AI가 필요로 하는 데이터를 더 정확하게 찾고 이해할 수 있는 역할을 하나씩 더해가고 있습니다.