RAG 챗봇 품질 개선

이 프로젝트의 핵심은 챗봇 UI를 새로 만드는 것이 아니라, 질문이 공식 근거에 도달하고 답변 문장이 그 근거를 정확히 설명하도록 RAG 파이프라인을 측정 가능한 상태로 만드는 일이라고 보았습니다. 따라서 검색 실패와 생성 실패를 분리해 진단하고, 한국어·영어·중국어·베트남어 합성 평가셋 약 200건을 기준으로 개선 전후를 비교하겠습니다.

1주차에는 기존 Next.js·TypeScript 코드와 문서 수집·정규화·chunking·embedding·vector search·답변 생성·출처 표시 전 구간을 확인합니다. 질문 유형을 대상·요건·절차·서류·기한으로 분류하고, 검색 정답·기대 출처·허용 답변·보류 조건을 정의해 기준선을 만듭니다. 오검색, 검색 누락, 관련 근거 부족, 출처와 문장 불일치 사례를 재현 가능한 형태로 정리합니다.

2주차에는 질의 재작성과 4개 언어 동의어·유사 표현을 보완하고, Supabase PostgreSQL/pgvector 환경을 유지한 채 vector search·keyword search·metadata filtering을 결합하는 hybrid retrieval을 적용·비교합니다. 필요 구간에는 reranking을 추가하되, 검색 결과의 이유를 추적할 수 있는 단순한 정책으로 구성합니다. 답변은 결론을 먼저 제시하고 문장별 공식 문서·조문·시행일·게시일·확인일을 연결하며, 근거 부족·출처 충돌·최신성 미확인 시 보수적으로 보류하도록 안전장치를 둡니다.

3주차에는 튜닝셋과 독립 검수셋을 분리하고 자동 평가·회귀 테스트 및 대표 질문 end-to-end 테스트를 보완합니다. 검색 recall/precision, 기대 출처 적중률, 인용 정합성, 보류 조건 준수율을 기준으로 개선 전후 수치를 산출하고, 실패 사례 재현 방법과 운영 점검 절차를 남깁니다. 진단 보고서, 개선 전후 성능 비교보고서, 운영 가이드, 최종 시연과 인수인계를 납품 범위로 포함합니다. 소스코드·prompt·검색 정책·평가 코드를 발주사가 직접 수정할 수 있도록 설정과 판단 기준을 문서화하겠습니다.

예상 기간 21일에 맞추어 진행하며, 지원 금액은 예상 금액 8,000,000원의 80%인 6,400,000원(부가세 별도)입니다. 신규 인프라 구축이나 UI 개편, 자체 LLM 개발, 대규모 파인튜닝은 범위에서 제외하고 기존 Supabase 환경을 사용합니다. 외부 LLM API·embedding 모델 비용과 저장소 비용은 사용 중인 서비스의 실제 과금 정책에 따라 발주사 부담으로 구분해 안내하겠습니다. 이번 공고를 위해 검색·답변 품질 개선 전략, 스토리보드, 인터랙티브 데모를 미리 작성했습니다. 결과물 허브에서 제안서와 화면 흐름을 함께 확인하실 수 있습니다: https://wishket-158150-rag-quality-improvement.pages.dev/

지원완료 댓글 공고 댓글란에 작성할 짧은 정중 멘트

안녕하세요. 방금 프로젝트에 지원을 완료했습니다. 이번 공고를 보고 미리 작성한 전략 제안서와 화면 설계, 데모까지 함께 준비했으니 확인 부탁드립니다. 감사합니다.

포트폴리오 1: 제안서 포트폴리오 신규 등록용 제목 및 설명

[제안서] RAG 챗봇 검색·답변 품질 진단 및 개선

공식 근거 기반 RAG 챗봇의 검색 누락·오검색·인용 불일치를 어떻게 진단하고 개선할지 정리한 전략 제안서입니다. 다국어 평가셋, hybrid retrieval, 보수적 보류, 회귀 테스트와 3주 실행 산출물을 한 흐름으로 구성했습니다.

*본 포트폴리오는 공고지원을 위해 사전 제작된 내용임을 알려드립니다.

포트폴리오 2: 스토리보드 포트폴리오 신규 등록용 제목 및 설명

[스토리보드] RAG 품질 진단·검색·인용 검수 흐름

스토리보드는 서비스의 화면을 실제 모습에 가깝게 미리 그려 보는 문서입니다. 검색 실패 재현, 복합 검색과 공식 근거 확인, 인용·보류 답변, 개선 전후 지표 확인까지 사용자 유형별 화면 목록과 여정 순서를 담았습니다. 마지막까지 보시면 생각하고 계신 시스템의 모습이 머릿속에 그려지실 것입니다.

*본 포트폴리오는 공고지원을 위해 사전 제작된 내용임을 알려드립니다.

PDF → 이미지 변환 명령어 터미널에 입력하여 PDF를 고해상도 이미지로 일괄 분할 변환 (ImageMagick)

magick -density 300 proposal.pdf -quality 100 proposal_page_%02d.png