SYSTEM BLUEPRINT

RAG 품질 운영
질문에서 검수까지

검색 근거와 답변 품질을 한 흐름으로 확인하는 시스템 스토리보드

스토리보드란?

스토리보드는 제안한 RAG 개선 전략이 실제 화면과 운영 흐름으로 어떻게 동작하는지 미리 확인하는 문서입니다.

  1. 질문을 검색 가능한 정책·법률 질의로 정리
  2. 공식 근거를 찾고 답변과 출처를 연결
  3. 전후 평가와 회귀 테스트로 운영 품질을 확인

마지막까지 보시면 근거가 남는 답변 품질 운영의 모습이 그려집니다.

품질 운영자 시나리오

품질 운영 여정

질문을 진단하고 근거를 확인한 뒤 전후 품질을 검수합니다.

질문 입력

모호한 질문을 선택

검색 진단

복합 검색 결과 비교

인용 검수

답변과 조문 연결 확인

평가 비교

전후 품질 수치 확인

운영 인계

실패 사례와 테스트 전달

품질 운영자 | 화면 01

검색 진단 · 질문을 근거로 변환

#search-diagnosis
RAG 품질 운영 콘솔
비자 연장할 때 필요한 서류가 뭐예요?
체류자격 연장 · 필요서류 · 신청기한
✓ 출입국관리법 시행규칙
0.94 · keyword+vector+metadata
△ 체류자격 변경 안내
0.61 · vector only
검색 방식 비교
정답 문서 적중 18 / 20
누락률 10%
KO · EN · ZH · VI
검색 결과 확정 →

[화면 개요 및 목적]

모호한 질문을 검색 가능한 정책·법률 질의로 바꾸고 복합 검색 결과를 비교하는 대표 화면입니다. 제안서의 질문 이해·근거 확보 전략과 데모 Step 01~02를 연결합니다.

[핵심 기능 로직]

질의 재작성 후 keyword·vector·metadata 결과를 함께 보여주며, 정답 문서와 오검색을 상태로 구분합니다. Next.js·TypeScript와 Supabase pgvector 기존 자산을 유지합니다.

  • 질문 의도 선명화
    Query Rewrite
  • 근거 검색 강화
    Hybrid Retrieval
품질 운영자 | 화면 02

인용 답변 · 출처 정합성 검수

#citation-review
답변·출처 정합성 검수
취업 활동 중 체류기간을 연장할 수 있나요?

가능 여부는 체류자격과 활동 조건에 따라 달라집니다. [1]

개별 신청 가능 여부는 추가 확인이 필요합니다. [2]

근거 부족 시 보수적 답변
[1] 출입국관리법 제23조
시행일 2026.07.01
게시일 2026.06.28
확인일 2026.09.04
인용 조항과 문장 연결됨

[화면 개요 및 목적]

답변 문장과 공식 출처·조문을 한 화면에서 대조하고, 근거 부족 시 단정하지 않는 답변을 검수합니다. 데모 Step 03을 예고합니다.

[핵심 기능 로직]

문장별 인용 앵커, 공식 출처, 시행일·게시일·확인일을 묶어 인용 정합성을 확인합니다. 신청 가능 여부나 필요서류를 근거 없이 확정하지 않도록 보류 상태를 둡니다.

  • 출처 연결 명확화
    Citation Check
  • 위험한 단정 차단
    Abstention Guard
품질 운영자 | 화면 03

평가 리포트 · 전후 품질과 회귀

#evaluation-report
평가셋·회귀 테스트
AS-IS 58
TO-BE 92
200 문항
독립 최종 검수셋
KO 48 · 통과EN 50 · 검토 필요ZH 2 · 실패
회귀 테스트 37건 · 35 통과 · 2 재현
실패 사례 등록 → 운영 가이드 반영

[화면 개요 및 목적]

4개 언어 평가셋과 독립 검수셋으로 개선 전후 품질을 비교하고 실패 사례를 운영 테스트로 남깁니다. 데모 Step 04와 연결됩니다.

[핵심 기능 로직]

언어·셋별 통과 상태와 전후 점수를 보여주며, 실패 케이스는 회귀 테스트로 등록합니다. 평가 코드·운영 가이드까지 전달해 발주사가 직접 수정할 수 있습니다.

  • 개선 효과 수치화
    Evaluation Set
  • 품질 변화 보호
    Regression QA
시나리오

| 화면 01

[화면 개요 및 목적]

[핵심 기능 로직]

    | 화면 02

    [화면 개요 및 목적]

    [핵심 기능 로직]

      | 화면 03

      [화면 개요 및 목적]

      [핵심 기능 로직]

        시나리오

        | 화면 01

        [화면 개요 및 목적]

        [핵심 기능 로직]

          | 화면 02

          [화면 개요 및 목적]

          [핵심 기능 로직]

            | 화면 03

            [화면 개요 및 목적]

            [핵심 기능 로직]