[개발자] LangSmith로 시작하는 LLMOps
AI튜터랩
로컬에서는 잘 되던 AI가 운영에서 망가지는 이유
[이미지 삽입: 로컬 개발 환경에서는 정상 작동하는 AI와, 운영 환경에서 오류·지연·비용 문제가 동시에 발생하는 AI 서비스를 대비한 메인 이미지]
“테스트할 때는 분명 잘 대답했는데, 왜 실제 사용자가 질문하면 엉뚱한 답을 하지?”
LLM 서비스를 운영해 본 개발자라면 한 번쯤 겪어봤을 문제입니다.
일반적인 백엔드 서비스에서는 에러 로그와 서버 지표를 확인하면 문제의 원인을 어느 정도 추적할 수 있습니다.
하지만 LLM 애플리케이션은 조금 다릅니다.
같은 입력에도 모델의 응답이 달라질 수 있고, 프롬프트 한 줄이나 검색 문서 하나가 바뀌어도 전체 결과가 크게 달라질 수 있습니다.
특히 RAG나 AI 에이전트처럼 여러 단계가 연결된 서비스에서는 문제가 발생해도 원인을 찾기가 쉽지 않습니다.
검색기가 잘못된 문서를 가져온 것인지
프롬프트에 필요한 정보가 빠진 것인지
모델이 문맥을 잘못 해석한 것인지
에이전트가 엉뚱한 도구를 호출한 것인지
모델을 변경하면서 품질이 떨어진 것인지
결과 화면만 봐서는 알기 어렵습니다.
우리가 해결해야 하는 문제는 “AI가 틀렸다”가 아니라, “어느 단계에서 왜 틀렸는지 알 수 없다”는 것입니다.
❌ 기존 모니터링만으로 LLM 서비스를 운영하기 어려운 이유
일반적인 APM이나 로그 시스템은 다음과 같은 문제를 발견하는 데 강합니다.
API 응답 시간이 느려졌다.
특정 서버에서 에러가 발생했다.
데이터베이스 쿼리가 지연됐다.
CPU 또는 메모리 사용량이 증가했다.
하지만 LLM 서비스에서는 서버가 정상이어도 사용자 경험이 망가질 수 있습니다.
HTTP 상태 코드는 200 OK인데 답변이 틀릴 수 있고, 오류가 전혀 발생하지 않았는데도 에이전트가 불필요한 도구를 다섯 번 호출할 수 있습니다.
프롬프트 변경 후 평균 응답 속도는 빨라졌지만, 정답률은 오히려 낮아질 수도 있습니다.
즉, LLM 애플리케이션에는 시스템 상태뿐 아니라 다음 항목까지 관찰해야 합니다.
어떤 입력이 전달됐는가
어떤 프롬프트가 만들어졌는가
어떤 문서가 검색됐는가
어떤 모델과 도구가 호출됐는가
각 단계에서 얼마나 시간이 걸렸는가
결과가 실제로 좋은 답변이었는가
이전 버전보다 품질이 좋아졌는가
💡 LLMOps는 LLM 애플리케이션의 실행 과정과 품질을 추적하고, 평가하고, 개선하는 운영 체계입니다.
LangSmith는 무엇인가요?
LangSmith는 LLM 애플리케이션을 개발하고 운영할 때 필요한 다음 기능을 하나의 흐름으로 연결해 주는 플랫폼입니다.
Tracing: 모델, 검색기, 도구 호출 등 전체 실행 과정 추적
Evaluation: 데이터셋과 평가기를 이용한 품질 측정
Prompt Management: 프롬프트 저장, 버전 관리 및 환경별 승격
Monitoring: 지연 시간, 오류, 비용과 품질 지표 모니터링
Feedback Loop: 운영 중 발견한 실패 사례를 다시 평가 데이터로 축적
LangSmith는 LangChain이나 LangGraph뿐 아니라 OpenAI·Anthropic 등의 SDK, 커스텀 함수와도 연결할 수 있습니다. 지원되는 통합에서는 실행 입력과 출력, 메타데이터를 자동으로 수집할 수 있으며, 일반 함수는 @traceable 데코레이터로 추적할 수 있습니다.
[이미지 삽입: 사용자 요청 → Agent/RAG → LLM·Retriever·Tool → Trace → Dataset → Evaluation → 개선된 버전 배포로 이어지는 순환 구조]
LangSmith로 만드는 LLMOps 파이프라인
사용자 요청
↓
LLM 애플리케이션 실행
↓
Trace 수집
↓
오류·지연·비용·품질 분석
↓
실패 사례를 Dataset으로 저장
↓
Prompt / Model / Retriever 변경
↓
Evaluation 실행
↓
기존 버전과 비교
↓
배포 및 지속 모니터링
여기서 가장 중요한 부분은 관측과 평가를 분리하지 않는 것입니다.
운영 로그를 눈으로 확인하는 데서 끝내지 않고, 발견된 실패 사례를 데이터셋으로 저장해 회귀 테스트에 사용해야 합니다.
그래야 같은 문제가 다음 버전에서 다시 발생하는 것을 막을 수 있습니다.
STEP 1. 모든 실행 과정을 Trace로 남기기
Trace는 한 번의 사용자 요청이 처리되는 전체 과정입니다.
예를 들어 RAG 서비스에서 하나의 Trace는 다음과 같은 하위 실행 단계, 즉 Span으로 구성될 수 있습니다.
answer_question
├── classify_intent
├── rewrite_query
├── retrieve_documents
│ ├── vector_search
│ └── rerank
├── generate_answer
└── validate_output
최종 답변만 저장하는 것이 아니라, 답변이 만들어지는 과정 전체를 기록하는 것이 핵심입니다.
LangChain 기반 애플리케이션이라면 환경 변수 설정만으로 기본 추적 기능을 활성화할 수 있습니다. 공식 문서에서는 LANGSMITH_TRACING과 LANGSMITH_API_KEY를 설정하는 방식을 안내합니다.
export LANGSMITH_TRACING=true
export LANGSMITH_API_KEY="YOUR_LANGSMITH_API_KEY"
export LANGSMITH_PROJECT="customer-support-agent-dev"
환경별로 프로젝트를 분리하는 것도 중요합니다.
# 개발 환경
LANGSMITH_PROJECT=customer-support-agent-dev
# 스테이징 환경
LANGSMITH_PROJECT=customer-support-agent-staging
# 운영 환경
LANGSMITH_PROJECT=customer-support-agent-prod
이렇게 분리하면 개발 중 발생한 테스트 Trace와 실제 사용자 요청을 섞지 않고 분석할 수 있습니다.
LangChain을 사용하지 않는 코드도 추적할 수 있습니다
LangSmith는 일반 Python 함수에도 @traceable을 적용할 수 있습니다.
from langsmith import traceable
from langsmith.wrappers import wrap_openai
from openai import OpenAI
client = wrap_openai(OpenAI())
@traceable(run_type="retriever", name="retrieve_documents")
def retrieve_documents(query: str) -> list[str]:
# 실제 환경에서는 Vector DB를 조회합니다.
return [
"환불은 결제일로부터 7일 이내에 신청할 수 있습니다.",
"사용 이력이 있는 디지털 상품은 환불이 제한될 수 있습니다.",
]
@traceable(name="customer_support_agent")
def answer_question(question: str) -> str:
documents = retrieve_documents(question)
context = "\n".join(documents)
response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[
{
"role": "system",
"content": (
"아래 문서를 근거로만 답변하세요. "
"근거가 없으면 확인이 필요하다고 답변하세요.\n\n"
f"{context}"
),
},
{
"role": "user",
"content": question,
},
],
)
return response.choices[0].message.content
if __name__ == "__main__":
result = answer_question("디지털 상품도 환불할 수 있나요?")
print(result)
wrap_openai는 OpenAI 호출을 자동으로 기록하고, @traceable은 함수의 입력·출력과 내부 Span을 하나의 Trace 구조로 보여줍니다. 공식 Quickstart에서도 도구 함수와 LLM 호출을 중첩된 Span으로 기록하는 방식을 사용합니다.
💡 실무 팁
모든 함수를 무조건 기록하기보다는 다음 단위를 중심으로 Span을 나누는 것이 좋습니다.
검색 쿼리 생성
Vector DB 검색
문서 재정렬
외부 API 및 도구 호출
LLM 호출
출력 검증
가드레일 검사
“이 함수가 실패했을 때 독립적으로 원인을 분석해야 하는가?”
그렇다면 별도의 Span으로 기록하세요.
STEP 2. Trace에 운영에 필요한 메타데이터 추가하기
Trace만 쌓아두면 데이터가 많아질수록 분석하기 어려워집니다.
운영 환경에서는 각 실행에 태그와 메타데이터를 함께 기록해야 합니다.
from langsmith import traceable
@traceable(
name="customer_support_agent",
tags=["production", "customer-support", "rag"],
metadata={
"app_version": "1.4.0",
"prompt_version": "support-v7",
"retriever_version": "hybrid-v3",
"model_name": "gpt-4.1-mini",
},
)
def answer_question(question: str) -> str:
...
사용자별 정보가 필요하다면 실행 시점에 동적으로 추가할 수도 있습니다.
from langsmith import tracing_context
def run_agent(question: str, user_id: str, tenant_id: str):
with tracing_context(
tags=["production"],
metadata={
"user_id": user_id,
"tenant_id": tenant_id,
"release": "2026-07-20",
},
):
return answer_question(question)
운영에서 유용한 메타데이터는 다음과 같습니다.
environment production
app_version 1.4.0
prompt_version support-v7
model_name gpt-4.1-mini
retriever hybrid-search-v3
tenant_id enterprise-a
language ko
feature_flag new-reranker
이 정보가 있어야 다음과 같은 질문에 답할 수 있습니다.
새 프롬프트 버전에서만 오류가 증가했는가?
특정 모델로 변경한 뒤 지연 시간이 늘었는가?
일부 고객사에서만 검색 품질이 낮은가?
새로운 Reranker를 적용한 사용자 그룹의 품질이 개선됐는가?
❌ 단, 비밀번호, 인증 토큰, 주민등록번호, 결제 정보처럼 민감한 데이터는 Trace에 기록하지 않아야 합니다.
운영 도입 전에는 반드시 입력과 출력에 대한 마스킹 정책을 설계하세요.
STEP 3. 실패 사례를 Evaluation Dataset으로 만들기
Trace를 수집했다면 다음 단계는 평가입니다.
여기서 많은 팀이 평가용 데이터를 처음부터 완벽하게 만들려고 합니다.
하지만 초기에는 거대한 벤치마크가 필요하지 않습니다.
운영 중 실제로 문제가 됐던 요청부터 모으면 됩니다.
사용자 질문
“무료 체험 중에도 환불받을 수 있나요?”
기대하는 핵심 내용
“무료 체험은 결제가 발생하지 않아 환불 대상이 아니다.”
실제 실패 응답
“결제일로부터 7일 이내라면 환불할 수 있다.”
이 실패 사례를 Dataset에 추가하면 다음 프롬프트나 모델을 변경할 때 동일한 질문을 다시 테스트할 수 있습니다.
LangSmith Dataset은 입력과 출력, 선택적으로 정답 또는 기준 출력을 담는 Example의 집합이며, 반복 가능한 평가에 사용됩니다. Dataset 버전 관리와 필터링, 분할도 지원됩니다.
from langsmith import Client
client = Client()
dataset_name = "customer-support-regression"
dataset = client.create_dataset(
dataset_name=dataset_name,
description="고객지원 에이전트의 주요 실패 사례와 회귀 테스트",
)
examples = [
{
"inputs": {
"question": "무료 체험 중에도 환불받을 수 있나요?"
},
"outputs": {
"expected_answer": (
"무료 체험은 결제가 발생하지 않으므로 "
"일반적인 환불 대상에 포함되지 않습니다."
)
},
},
{
"inputs": {
"question": "사용한 디지털 상품을 환불할 수 있나요?"
},
"outputs": {
"expected_answer": (
"사용 이력이 있는 디지털 상품은 "
"환불이 제한될 수 있습니다."
)
},
},
]
client.create_examples(
dataset_id=dataset.id,
examples=examples,
)
좋은 평가 데이터셋의 구성
평균적인 질문만 모으면 실제 장애를 잡기 어렵습니다.
다음 유형을 균형 있게 포함하세요.
정상적인 일반 질문
모호하거나 정보가 부족한 질문
여러 조건이 포함된 복합 질문
서비스 정책의 예외 사례
검색 결과에 정답이 없는 질문
프롬프트 인젝션 시도
매우 긴 입력
오탈자와 비문이 포함된 입력
실제 운영에서 실패했던 질문
💡 평가 데이터셋은 성공 사례 모음이 아니라, 서비스가 반드시 견뎌야 하는 상황의 목록입니다.
STEP 4. Evaluator로 품질을 자동 측정하기
LLM의 품질은 하나의 숫자로 표현하기 어렵습니다.
고객지원 에이전트를 평가한다고 가정하면 다음 기준이 필요할 수 있습니다.
정확성 정책과 일치하는가?
근거성 제공된 문서에 근거했는가?
관련성 질문에 직접 답했는가?
완결성 필요한 조건과 예외를 설명했는가?
안전성 민감하거나 금지된 내용을 생성하지 않았는가?
도구 선택 적절한 도구를 호출했는가?
LangSmith 평가 실행에는 일반적으로 다음 세 요소가 필요합니다.
Dataset: 테스트 입력과 선택적인 기준 출력
Target function: 평가할 애플리케이션 또는 함수
Evaluator: 결과에 점수나 판정을 부여하는 함수
평가를 실행할 때마다 Experiment가 생성되며, 버전별 점수와 개별 실패 사례를 비교할 수 있습니다.
1. 코드 기반 Evaluator
출력 형식처럼 명확한 규칙은 코드로 평가하는 것이 좋습니다.
def no_empty_answer(run, example) -> dict:
output = run.outputs.get("output", "")
return {
"key": "no_empty_answer",
"score": 1 if output.strip() else 0,
}
def answer_length(run, example) -> dict:
output = run.outputs.get("output", "")
return {
"key": "answer_length",
"score": len(output),
}
코드 기반 평가는 빠르고 결과가 일정합니다.
다음 항목에 적합합니다.
JSON Schema 준수 여부
필수 필드 포함 여부
금지어 포함 여부
응답 길이
정확한 값 비교
도구 호출 횟수
정규 표현식 검사
지연 시간과 비용 기준
2. LLM-as-a-Judge
답변의 자연스러움, 근거성, 완결성처럼 단순 규칙으로 판단하기 어려운 항목은 별도의 LLM을 평가자로 사용할 수 있습니다.
from openai import OpenAI
judge_client = OpenAI()
def groundedness_evaluator(run, example) -> dict:
question = example.inputs["question"]
answer = run.outputs["output"]
expected = example.outputs.get("expected_answer", "")
judge_prompt = f"""
당신은 고객지원 AI의 답변을 평가하는 심사자입니다.
질문:
{question}
기준 답변:
{expected}
AI 답변:
{answer}
AI 답변이 기준 답변과 정책적으로 일치하는지 평가하세요.
다음 JSON 형식으로만 답하세요.
{{
"score": 0 또는 1,
"reason": "판단 근거"
}}
"""
response = judge_client.chat.completions.create(
model="gpt-4.1-mini",
messages=[
{"role": "user", "content": judge_prompt}
],
)
# 실제 구현에서는 JSON 파싱과 예외 처리가 필요합니다.
result = response.choices[0].message.content
return {
"key": "policy_correctness",
"value": result,
}
LLM-as-a-Judge를 사용할 때는 단순히 “좋은 답인지 평가해 줘”라고 요청하면 안 됩니다.
다음 요소를 명확하게 정의해야 합니다.
평가 대상
좋은 답변의 기준
점수 범위
통과 기준
예외 조건
출력 형식
점수별 예시
LangSmith는 운영 Trace에 온라인 평가기를 적용하는 흐름도 지원하며, 평가기를 워크스페이스 수준에서 관리해 여러 프로젝트와 Dataset에서 재사용할 수 있습니다.
3. 사람의 평가
모든 평가를 자동화할 필요는 없습니다.
브랜드 말투, 미묘한 정확성, 전문적인 판단이 필요한 답변은 사람이 검토하는 것이 더 적절할 수 있습니다.
LangSmith의 Annotation Queue에서는 실행 결과를 하나씩 평가하거나, 두 결과를 나란히 비교하는 Pairwise 방식으로 검토할 수 있습니다.
예를 들어 다음 두 응답을 비교할 수 있습니다.
A: 프롬프트 v6 + 모델 A
B: 프롬프트 v7 + 모델 B
평가자는 정답을 직접 작성하지 않고도 더 좋은 응답을 선택할 수 있습니다.
Pairwise 평가는 다음 상황에서 유용합니다.
어떤 말투가 더 자연스러운지 판단할 때
두 모델의 답변 품질을 비교할 때
프롬프트 변경 전후를 비교할 때
Reranker 적용 전후를 비교할 때
STEP 5. 변경 전후를 Experiment로 비교하기
LLM 서비스에서 가장 위험한 배포 방식은 다음과 같습니다.
프롬프트 수정
→ 몇 가지 질문을 직접 입력
→ 답변이 좋아 보임
→ 바로 운영 배포
일부 질문에서 좋아졌다고 전체 품질이 좋아진 것은 아닙니다.
한 영역을 개선하면서 다른 영역의 품질이 떨어지는 회귀 문제가 발생할 수 있습니다.
LangSmith에서는 동일한 Dataset을 대상으로 여러 버전을 실행해 Experiment 단위로 비교할 수 있습니다.
from langsmith import evaluate
def target(inputs: dict) -> dict:
answer = answer_question(inputs["question"])
return {"output": answer}
results = evaluate(
target,
data="customer-support-regression",
evaluators=[
no_empty_answer,
groundedness_evaluator,
],
experiment_prefix="support-agent-v7",
metadata={
"prompt_version": "v7",
"model": "gpt-4.1-mini",
"retriever": "hybrid-v3",
},
)
비교해야 할 지표는 품질 점수만이 아닙니다.
정답률
근거성 점수
평균 응답 시간
P95 응답 시간
평균 토큰 사용량
요청당 비용
검색 문서 적중률
도구 호출 성공률
평균 도구 호출 횟수
예를 들어 새로운 모델이 정확도를 3% 높였지만 비용을 두 배로 증가시켰다면, 모든 요청에 적용하는 것이 최선은 아닐 수 있습니다.
반대로 더 저렴한 모델이 일반 질문에서는 비슷한 품질을 보인다면, 요청 유형에 따라 모델을 라우팅할 수 있습니다.
✅ 추천 배포 기준 예시
정확성 점수 기존 버전 이상
근거성 점수 0.90 이상
회귀 테스트 필수 사례 100% 통과
P95 지연 시간 4초 이하
요청당 비용 기존 버전 대비 15% 이상 증가 금지
안전성 평가 100% 통과
배포 승인 기준을 수치로 정의하면 “몇 개 테스트해 보니 괜찮아 보인다”는 감각적인 판단에서 벗어날 수 있습니다.
STEP 6. 프롬프트를 코드와 분리해 버전 관리하기
많은 프로젝트에서 프롬프트는 다음과 같이 코드 안에 직접 작성됩니다.
SYSTEM_PROMPT = """
당신은 친절한 고객지원 상담원입니다.
...
"""
초기에는 간단하지만, 운영 단계에서는 문제가 생깁니다.
어떤 프롬프트가 운영 중인지 알기 어렵다.
프롬프트 수정마다 애플리케이션을 다시 배포해야 한다.
변경 전후 품질을 비교하기 어렵다.
기획자와 도메인 전문가가 수정 과정에 참여하기 어렵다.
문제가 생겼을 때 이전 버전으로 되돌리기 어렵다.
LangSmith에서는 프롬프트를 저장하고 변경 이력을 Commit으로 관리할 수 있습니다.
특정 Commit Hash를 직접 지정하거나, Commit Tag를 이용해 버전을 불러올 수 있습니다. Commit Tag는 특정 프롬프트 버전을 가리키며, 코드를 수정하지 않고 태그가 가리키는 버전을 변경할 수 있습니다. staging과 production 태그는 환경 승격 흐름을 위해 예약되어 있습니다.
from langsmith import Client
client = Client()
prompt = client.pull_prompt(
"customer-support-agent:production"
)
추천 운영 흐름은 다음과 같습니다.
프롬프트 초안 작성
↓
새 Prompt Commit 생성
↓
개발 Dataset 평가
↓
staging 태그 지정
↓
스테이징 트래픽 검증
↓
production 태그 승격
이 구조에서는 애플리케이션 코드가 특정 프롬프트 문자열이 아니라 production 태그를 참조합니다.
문제가 발생하면 이전 Commit으로 태그를 되돌리는 방식으로 빠르게 롤백할 수 있습니다.
STEP 7. 운영 지표를 Dashboard로 모니터링하기
배포 이후에는 Trace를 하나씩 확인하는 방식만으로 서비스를 운영할 수 없습니다.
전체적인 추세를 관찰해야 합니다.
LangSmith는 각 Tracing Project에 자동으로 만들어지는 기본 Dashboard와, 필요한 차트를 구성하는 Custom Dashboard를 제공합니다.
운영 Dashboard에 포함할 핵심 지표
시스템 품질
Trace 오류율
평균·P95·P99 지연 시간
모델별 호출 수
토큰 사용량
요청당 비용
도구 호출 실패율
응답 품질
정확성 평가 점수
근거성 평가 점수
사용자 긍정·부정 피드백 비율
답변 거부율
Fallback 발생률
검색 결과 없음 비율
에이전트 품질
평균 Step 수
평균 Tool 호출 횟수
동일 Tool 반복 호출 비율
최대 Step 도달 비율
중단된 실행 비율
💡 평균값만 보면 장애를 놓칠 수 있습니다.
예를 들어 평균 응답 시간은 2초지만, 일부 복잡한 요청의 P95 응답 시간이 15초일 수 있습니다.
모델명, 프롬프트 버전, 고객 그룹, 언어, 기능 플래그 기준으로 지표를 나누어 확인하세요.
STEP 8. 운영 실패를 자동으로 수집하는 Feedback Loop 만들기
LLMOps의 최종 목표는 Dashboard를 보는 것이 아닙니다.
운영 중 발견한 문제를 다음 평가와 개발 과정에 자동으로 반영하는 것입니다.
운영 Trace
↓
낮은 평가 점수 또는 사용자 부정 피드백
↓
Annotation Queue로 전송
↓
사람이 실패 원인 검토
↓
Dataset에 추가
↓
다음 버전 평가에 포함
LangSmith Automation은 필터와 샘플링 비율을 기준으로 Trace를 Dataset이나 Annotation Queue에 추가하거나, Webhook 등의 동작을 실행할 수 있습니다.
예를 들어 다음 조건을 자동화할 수 있습니다.
조건
groundedness_score < 0.6
동작
rag-failure-review Annotation Queue에 추가
조건
user_feedback = negative
동작
production-failures Dataset에 추가
조건
tool_error = true
동작
agent-tool-errors Queue에 추가
이렇게 만들어진 Dataset은 시간이 지날수록 실제 사용자 패턴과 서비스의 약점을 반영하게 됩니다.
정적인 테스트셋보다 훨씬 강력한 품질 자산이 되는 이유입니다.
실무에서 권장하는 LangSmith 프로젝트 구조
LangSmith Workspace
│
├── Tracing Projects
│ ├── support-agent-dev
│ ├── support-agent-staging
│ └── support-agent-prod
│
├── Datasets
│ ├── support-agent-golden-set
│ ├── support-agent-regression
│ ├── support-agent-adversarial
│ └── production-failures
│
├── Prompts
│ ├── support-agent-system
│ ├── query-rewriter
│ └── answer-validator
│
├── Evaluators
│ ├── correctness
│ ├── groundedness
│ ├── safety
│ └── tool-selection
│
└── Annotation Queues
├── low-confidence-review
├── negative-feedback-review
└── prompt-a-b-test
처음부터 모든 구조를 만들 필요는 없습니다.
다음 네 가지부터 시작해도 충분합니다.
1개의 운영 Tracing Project
1개의 회귀 테스트 Dataset
2~3개의 핵심 Evaluator
1개의 실패 검토 Annotation Queue
CI/CD에 LLM Evaluation 연결하기
LLM 애플리케이션의 평가를 수동으로만 실행하면 결국 생략되기 쉽습니다.
프롬프트나 Agent 코드가 변경될 때 자동으로 평가가 실행되도록 CI/CD에 포함시키는 것이 좋습니다.
name: LLM Evaluation
on:
pull_request:
paths:
- "src/agent/**"
- "prompts/**"
- "evals/**"
jobs:
evaluate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: "3.12"
- name: Install dependencies
run: pip install -r requirements.txt
- name: Run LangSmith evaluation
env:
LANGSMITH_API_KEY: ${{ secrets.LANGSMITH_API_KEY }}
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
run: python evals/run_evaluation.py
평가 스크립트에서 기준 미달 시 프로세스를 실패시키면 Pull Request 병합을 차단할 수 있습니다.
MIN_CORRECTNESS = 0.90
MAX_P95_LATENCY = 4.0
if correctness < MIN_CORRECTNESS:
raise SystemExit(
f"정확성 기준 미달: {correctness:.3f}"
)
if p95_latency > MAX_P95_LATENCY:
raise SystemExit(
f"P95 지연 시간 기준 초과: {p95_latency:.2f}s"
)
LangSmith 공식 문서에서도 LangGraph 애플리케이션, LangSmith Evaluation과 Deployment를 연결한 CI/CD 파이프라인 예제를 제공합니다.
LangSmith를 도입할 때 자주 하는 실수
❌ 1. Trace만 쌓고 아무도 보지 않는다
관측 데이터를 수집하는 것 자체가 목적이 되어서는 안 됩니다.
먼저 팀이 매주 확인할 지표와 실패 처리 절차를 정의해야 합니다.
누가 Dashboard를 확인하는가?
어떤 점수 이하를 실패로 판단하는가?
실패 Trace는 어느 Queue로 보내는가?
검토된 사례는 어느 Dataset에 추가하는가?
❌ 2. 평가 기준 없이 LLM-as-a-Judge만 사용한다
평가 프롬프트가 모호하면 평가 점수도 일관되지 않습니다.
“좋은 답변인지 평가하라”가 아니라, 다음처럼 구체적으로 작성하세요.
점수 1:
기준 정책과 일치하고 필요한 예외 조건을 모두 설명했다.
점수 0:
정책과 충돌하거나, 핵심 조건을 누락하거나,
제공되지 않은 정책을 임의로 생성했다.
❌ 3. 평균 점수만 확인한다
전체 평균이 높아도 중요한 정책 질문에서 반복적으로 실패할 수 있습니다.
카테고리별 점수를 분리해야 합니다.
환불 정책 0.96
계정 보안 0.92
기업 계약 0.61
개인정보 처리 0.88
평균 점수보다 어떤 유형에서 실패하는지가 더 중요합니다.
❌ 4. 실제 운영 실패 사례를 Dataset에 추가하지 않는다
처음 만든 평가 데이터셋을 계속 사용하는 것만으로는 부족합니다.
서비스와 사용자 패턴이 변하면 데이터셋도 함께 변해야 합니다.
실패 사례가 발견될 때마다 회귀 테스트에 추가하는 규칙을 만드세요.
❌ 5. 비용과 지연 시간을 품질과 분리해서 본다
정확도가 가장 높은 모델이 항상 운영에 가장 적합한 것은 아닙니다.
서비스에서는 품질·비용·속도를 함께 봐야 합니다.
Quality × Latency × Cost
세 지표가 모두 허용 범위 안에 들어오는 버전을 선택해야 합니다.
Cloud, Hybrid, Self-hosted 중 무엇을 선택해야 할까요?
LangSmith는 운영 방식에 따라 Cloud, Hybrid, Self-hosted 구성을 제공합니다.
Cloud는 LangChain이 인프라 운영을 담당하는 관리형 방식이며, Hybrid는 제어 영역과 데이터 영역을 나누고, Self-hosted는 전체 스택을 자체 인프라에서 운영하는 방식입니다. Hybrid와 Self-hosted 옵션은 공식 문서상 Enterprise 플랜에서 제공됩니다.
Cloud가 적합한 경우
빠르게 PoC와 운영 환경을 구축해야 한다.
별도의 모니터링 인프라를 운영하고 싶지 않다.
표준적인 보안 요구사항을 가진 서비스다.
Hybrid 또는 Self-hosted를 검토할 경우
데이터가 외부 환경으로 전달되면 안 된다.
금융·의료·공공 분야의 규제 요건이 있다.
사내 Kubernetes와 보안 체계에 통합해야 한다.
데이터 보존과 접근 정책을 직접 통제해야 한다.
Self-hosted 환경을 선택한다고 운영 부담이 사라지는 것은 아닙니다.
PostgreSQL, Redis, ClickHouse와 Kubernetes 등 관련 인프라의 운영 책임이 조직에 생기므로 보안 요구사항과 유지 비용을 함께 검토해야 합니다.
☑ LangSmith 기반 LLMOps를 구축하면 달라지는 점
🔍 디버깅 시간이 줄어듭니다
최종 응답만 보는 것이 아니라 검색, 모델, Tool 호출 과정을 단계별로 확인할 수 있습니다.
🧪 프롬프트 변경을 안전하게 검증할 수 있습니다
같은 Dataset으로 변경 전후를 평가해 회귀 문제를 배포 전에 발견할 수 있습니다.
📊 품질을 숫자로 관리할 수 있습니다
“답변이 좋아 보인다”는 감각 대신 정확성, 근거성, 지연 시간, 비용을 기준으로 판단할 수 있습니다.
🔄 운영 실패가 다음 개선으로 연결됩니다
사용자 피드백과 실패 Trace가 평가 Dataset에 축적되면서 서비스가 실제 사용 패턴에 맞게 개선됩니다.
🚀 LLM 변경도 일반 코드처럼 관리할 수 있습니다
프롬프트와 모델, 검색기 변경을 Experiment와 CI/CD 검증을 거쳐 배포할 수 있습니다.
처음 도입한다면 이 순서로 시작하세요
1주 차
핵심 LLM 호출과 Retriever, Tool에 Trace 적용
2주 차
운영 실패 사례 30~50개를 Dataset으로 구성
3주 차
정확성·근거성·형식 평가기 구축
4주 차
프롬프트 변경 전후 Experiment 비교
5주 차
부정 피드백과 낮은 점수 Trace 자동 수집
6주 차
Evaluation을 CI/CD 배포 조건에 연결
처음부터 완벽한 LLMOps 플랫폼을 만들 필요는 없습니다.
가장 중요한 것은 다음 순환 구조를 실제 팀의 개발 프로세스에 넣는 것입니다.
관측 → 실패 발견 → 데이터셋 축적 → 평가 → 개선 → 배포
LLM 서비스의 품질은 좋은 모델 하나를 선택한다고 완성되지 않습니다.
운영에서 발생하는 실패를 얼마나 빠르게 발견하고, 재현하고, 다음 버전에 반영할 수 있는지가 서비스의 신뢰도를 결정합니다.
👉 지금 운영 중인 LLM 기능 하나를 선택해 보세요.
먼저 핵심 함수에 Trace를 연결하고, 최근 실패했던 질문 20개를 Dataset으로 만든 뒤, 다음 프롬프트 변경을 Experiment로 비교해 보세요.
그 순간부터 프롬프트 수정은 감각적인 실험이 아니라, 측정 가능한 소프트웨어 개발 과정이 됩니다.