Today in Tech

Today in Tech는 기술 뉴스와 공식 기술 블로그의 중요한 흐름만 선별하여 지속적으로 축적하는 AI 기반 기술 아카이브입니다.

하나의 파이프라인을 통해 RSS/Atom Feed와 공식 Sitemap을 기반으로 최신 기술 콘텐츠를 수집하고, AI를 활용해 의미 있는 글을 문서로 정리합니다. 생성된 문서는 Docusaurus 기반 아카이브 사이트에 자동 배포되어 기술의 흐름을 지속적으로 기록하는 Knowledge Archive를 구성합니다.

이 페이지에서는 Today in Tech를 개발하게 된 목표와 시스템 아키텍처, 주요 기능 및 구현 과정, 그리고 프로젝트를 통해 얻은 결과와 경험을 소개합니다.

Project Goals

기술 정보는 빠르게 소비되지만, 지식은 오래 남아야 합니다.

매일 수많은 기술 뉴스와 공식 블로그가 공개되지만, 여러 사이트를 직접 확인하고 중요한 내용을 정리하는 데는 많은 시간이 필요합니다. 시간이 지나면 과거의 기술 흐름을 다시 찾아보거나 특정 기술이 어떻게 발전했는지 추적하는 것도 쉽지 않습니다.

Today in Tech는 이러한 문제를 해결하기 위해 시작한 프로젝트입니다. 콘텐츠를 자동으로 수집하고, AI가 의미 있는 글만 선별하여 하나의 기술 아카이브로 축적하는 것을 목표로 했습니다. 단순한 뉴스 요약이 아니라 기술의 흐름을 장기적으로 기록하고 검색할 수 있는 Knowledge Archive를 지향합니다.

System Architecture

기술 정보는 한곳에 모여 있지 않습니다.

Today in Tech는 OpenAI, Anthropic, Google, GitHub, Hacker News 등 다양한 공식 기술 채널의 RSS/Atom Feed와 Sitemap을 수집 대상으로 사용합니다. 여러 서비스에 흩어진 최신 기술 콘텐츠를 하나의 수집 파이프라인으로 통합하여 지속적으로 새로운 정보를 가져올 수 있도록 구성했습니다.

좋은 기술 아카이브는 좋은 데이터 파이프라인에서 시작됩니다.

수집한 콘텐츠는 중복 제거와 전처리를 거친 뒤, 원문을 구조화하여 AI가 활용하기 적합한 Evidence를 생성합니다. 생성된 Evidence를 기반으로 AI가 Markdown 문서를 작성하며, 모든 처리 과정은 JSON Store에 Trace 형태로 저장되어 문서가 생성되는 전체 과정을 추적하고 검증할 수 있도록 구성했습니다.

생성된 문서는 지속적으로 축적되어 하나의 Knowledge Archive가 됩니다.

AI가 생성한 Markdown 문서는 **Docusaurus* 기반 문서 사이트에 자동으로 반영되며, GitHub Actions를 통해 빌드와 배포가 자동으로 수행됩니다. 이를 통해 최신 기술 콘텐츠를 지속적으로 축적하고 검색할 수 있는 기술 아카이브를 운영할 수 있도록 구성했습니다.

Features

Multi-source Collection

RSS/Atom Feed와 공식 Sitemap을 기반으로 OpenAI, Anthropic, Google, GitHub, Hacker News 등 다양한 공식 기술 채널에서 최신 콘텐츠를 자동으로 수집합니다.

Intelligent Editorial Pipeline

수집한 콘텐츠를 중복 제거와 후보 전처리를 거친 뒤, AI News Editor Agent가 기술적으로 의미 있는 글만 선별하여 문서 생성 대상으로 선택합니다.

Knowledge Traceability

수집, 전처리, 원문 분석, 문서 생성까지의 전체 과정을 Trace 형태로 저장하여 지식이 생성되는 과정을 추적하고 검증할 수 있습니다.

Automated Pipeline

GitHub Actions를 통해 콘텐츠 수집, 전처리, 문서 생성, 빌드, 배포까지 전체 워크플로우를 자동화하여 지속적으로 최신 기술 아카이브를 유지합니다.

Results

기술 콘텐츠를 지속적으로 축적하는 Knowledge Archive를 만들었습니다.

Today in Tech는 콘텐츠 수집부터 전처리, Evidence 생성, AI 기반 문서 작성, Docusaurus 배포까지 이어지는 전체 큐레이션 파이프라인을 하나의 자동화된 워크플로우로 구현한 프로젝트입니다.

저는 서비스별 콘텐츠 수집, Raw Snapshot 저장, 후보 전처리, Evidence 생성, AI Writer 기반 문서 작성, 운영 Trace 관리, GitHub Pages 자동 배포까지 하나의 흐름으로 연결했습니다. 이를 통해 최신 기술 정보를 단순히 소비하는 것이 아니라 지속적으로 축적하고 검색할 수 있는 기술 아카이브를 구축했습니다.

Lessons Learned

좋은 AI 큐레이션은 좋은 모델보다 좋은 데이터 흐름에서 시작되었습니다.

Today in Tech를 개발하면서 AI가 높은 품질의 결과를 생성하기 위해서는 모델 자체보다 어떤 데이터를 수집하고, 어떤 근거를 제공하며, 어떻게 추적 가능한 형태로 관리하는지가 더 중요하다는 점을 경험했습니다.

Collector Strategy, 중복 제거, Evidence 기반 Enrichment, AI Writer 입력 설계, 운영 Trace 관리까지 하나의 파이프라인으로 설계하면서 AI 기반 콘텐츠 서비스를 안정적으로 운영하기 위한 데이터 처리와 자동화 구조를 체계적으로 정리할 수 있었습니다.