LangChain 폐쇄망 RAG 설계 가이드: 내부 문서 검색 시스템의 구조와 운영 전략

4.1 문서 수집 계층

폐쇄망 RAG의 문서 수집 계층은 사내에 흩어진 문서를 검색 가능한 지식 자산으로 바꾸는 출발점입니다.

수집 방식

• Batch Ingestion: 매일 새벽 전체 또는 증분 색인
• Event-based Ingestion: 문서 등록/수정 시 자동 색인
• Manual Upload: 사용자가 문서를 올리면 즉시 색인

{
  "doc_id": "policy_2026_001",
  "title": "보안 운영 정책",
  "source": "/nas/security/policy.pdf",
  "department": "security",
  "permission_group": "sec_team",
  "created_at": "2026-06-30",
  "updated_at": "2026-06-30",
  "version": "1.2",
  "page": 12,
  "chunk_id": "policy_2026_001_p12_c03"
}

문서 전처리 흐름도

chunk_size: 800~1200 tokens
chunk_overlap: 100~200 tokens

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=1200,
    chunk_overlap=150,
    separators=["\n\n", "\n", ".", " ", ""]
)

chunks = splitter.split_documents(documents)

RAG 검색 구조 흐름도

Retriever 권장 구조

사용자 A → 보안팀 문서 접근 가능
사용자 B → 일반 공지 문서만 접근 가능

retriever = vectorstore.as_retriever(
    search_kwargs={
        "k": 8,
        "filter": {
            "permission_group": {"$in": user_groups}
        }
    }
)

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="http://llm-server.internal:8000/v1",
    api_key="EMPTY",
    model="Qwen2.5-14B-Instruct",
    temperature=0.2
)

from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="/models/bge-m3",
    model_kwargs={"device": "cuda"},
    encode_kwargs={"normalize_embeddings": True}
)

from langchain_qdrant import QdrantVectorStore
from qdrant_client import QdrantClient

client = QdrantClient(url="http://qdrant.internal:6333")

vectorstore = QdrantVectorStore(
    client=client,
    collection_name="internal_docs",
    embedding=embeddings
)

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_template("""

def format_docs(docs):
    return "\n\n".join(
        f"[출처: {doc.metadata.get('title')} / page {doc.metadata.get('page')}]\n{doc.page_content}"
        for doc in docs
    )

retriever = vectorstore.as_retriever(search_kwargs={"k": 8})

chain = (
    {
        "context": retriever | format_docs,
        "question": lambda x: x["question"]
    }
    | prompt
    | llm
    | StrOutputParser()
)

answer = chain.invoke({"question": "VPN 계정 신청 절차를 알려줘"})

[Frontend]
React / Next.js / 내부 포털
        │
        ▼
[Backend API]
FastAPI / Spring Boot
        │
        ▼
[Auth]
LDAP / AD / Keycloak
        │
        ▼
[LangChain Service]
RAG Chain / Retriever / Prompt
        │
        ├─────────────► [Vector DB]
        │
        ├─────────────► [Reranker]
        │
        └─────────────► [LLM Server]
                           vLLM / TGI / Ollama
        │
        ▼
[Audit Log]
PostgreSQL / OpenSearch
        │
        ▼
[Monitoring]
Prometheus / Grafana / Loki

• 내부 Docker Registry
• 내부 PyPI Repository
• 내부 npm Registry
• 모델 파일 저장소
• OS 패키지 미러
• Helm Chart 저장소

• LLM 모델 파일
• Embedding 모델 파일
• Reranker 모델 파일
• Docker 이미지
• Python wheel 파일
• Node package
• Helm chart
• 취약점 스캔 결과
• 데이터베이스 설계

CREATE TABLE rag_documents (
    doc_id VARCHAR(100) PRIMARY KEY,
    title VARCHAR(500),
    source_path TEXT,
    document_type VARCHAR(50),
    department VARCHAR(100),
    permission_group VARCHAR(100),
    version VARCHAR(50),
    content_hash VARCHAR(128),
    created_at TIMESTAMP,
    updated_at TIMESTAMP,
    indexed_at TIMESTAMP

CREATE TABLE rag_chunks (
    chunk_id VARCHAR(150) PRIMARY KEY,
    doc_id VARCHAR(100),
    page_no INT,
    chunk_index INT,
    content_hash VARCHAR(128),
    token_count INT,
    vector_id VARCHAR(150),
    created_at TIMESTAMP,
    FOREIGN KEY (doc_id) REFERENCES rag_documents(doc_id)

CREATE TABLE rag_query_logs (
    id BIGSERIAL PRIMARY KEY,
    user_id VARCHAR(100),
    question TEXT,
    answer TEXT,
    retrieved_docs JSONB,
    model_name VARCHAR(100),
    latency_ms INT,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP

• bge-reranker
• multilingual-reranker
• cross-encoder 계열

• 참고 문서에 없는 내용은 답하지 않는다.
• 추정하지 않는다.
• 명령어, 정책, 보안 절차는 문서 근거가 있을 때만 제공한다.
• 답변 끝에 출처 문서명과 페이지를 표시한다.
• 보안 설계

• 문서 500~1,000개
• Qdrant
• bge-m3
• Qwen 7B 또는 14B
• LangChain 기본 RAG
• 출처 표시

• 검색 정확도 확인
• 한국어 답변 품질 확인
• 문서 전처리 문제 확인

• 부서 1~2개 문서 적용
• 권한 기반 검색 적용
• Reranker 적용
• 감사로그 저장
• 사용자 피드백 수집

• 실제 업무 질문 대응
• 권한 누출 방지
• 답변 신뢰도 측정

• LLM 서버 이중화
• Vector DB 백업
• 문서 증분 색인
• 모니터링
• 모델 교체 프로세스
• 정기 평가셋 운영