그대로 쓰기 전에 — 결과물 검증과 다듬기

2.1 정확성과 완결성 — 답을 받고 던질 두 가지 질문

결과물 평가의 출발점은 두 갈래입니다. 하나는 '이 내용이 사실에 맞는가'라는 정확성이고, 다른 하나는 '요청한 것을 빠짐없이 담았는가'라는 완결성입니다. 정확성은 수치·날짜·고유명사·인용처럼 확인 가능한 지점부터 짚고, 완결성은 처음 요청문을 옆에 두고 항목 하나하나를 대조하면 드러납니다. 문장이 매끄럽다고 두 기준을 통과한 것은 아닙니다 — 유창함과 정확함은 별개의 속성이라는 점이 이 도메인 전체를 관통하는 전제입니다.

2.2 환각·앞뒤 불일치·편향 — 세 가지 오류 신호

환각(hallucination)은 모델이 사실이 아닌 내용을 그럴듯한 문장으로 만들어 내는 현상입니다. 존재하지 않는 법조문, 틀린 통계, 지어낸 출처가 대표적이며, 자신 있는 어조로 나오기 때문에 더 위험합니다. 앞뒤 불일치는 같은 답변 안에서 수치나 결론이 서로 어긋나는 경우로, 요약과 본문을 맞대 보면 잡힙니다. 편향은 특정 관점이나 집단에 기운 서술입니다. 셋 다 '문장이 이상해서'가 아니라 '내용을 대조해서' 발견된다는 공통점이 있습니다.

2.3 사실 확인의 실전 기법

검증은 감이 아니라 절차입니다. 기본은 원자료 대조 — 답변 속 수치와 인용을 업로드한 문서나 공식 출처와 직접 맞댑니다. 여기에 근거 요청을 더합니다. '이 결론의 근거가 된 문단을 그대로 인용해 달라'고 되물으면 지어낸 내용은 대개 이 단계에서 드러납니다. 새 대화에서 같은 질문을 다시 던져 답이 갈리는 지점을 찾는 교차 확인도 유효합니다. 검색 증강 생성(RAG)처럼 자료를 곁들인 답변이라도 인용이 원문과 일치하는지는 별도로 확인해야 합니다.

2.4 사람의 검토가 필수인 순간

모든 결과물을 같은 강도로 검증할 수는 없으므로, 기준은 위험도입니다. 법률·재무·인사 평가·대외 발표처럼 되돌리기 어렵거나 규제가 걸린 결정은 반드시 담당자의 최종 검토를 거칩니다. 반대로 내부 브레인스토밍이나 초안 단계 산출물은 가벼운 확인으로 충분합니다. 판단이 애매하면 '이 내용이 틀렸을 때 누가 어떤 피해를 입는가'를 물으면 됩니다. 검토 없이 내보낼 수 없는 영역의 목록, 곧 조직의 가드레일(guardrail)을 미리 정해 두면 매번 고민하지 않아도 됩니다.

2.5 독자에 맞춰 고치고, 버전을 비교하기

좋은 결과물은 한 번에 나오지 않고, 받은 답을 독자에 맞춰 다듬는 과정에서 완성됩니다. 같은 분석이라도 경영진에게는 결론과 숫자 중심의 한 장 요약이, 실무팀에는 근거와 절차를 담은 상세 문서가 맞습니다. 어조·분량·전문용어 수준을 지정해 다시 요청하고, 두 가지 버전을 만들어 나란히 비교한 뒤 나은 쪽을 고르는 방식도 유효합니다. 시험에서는 '이 독자에게 이 결과물이 적절한가'를 판단하는 시나리오형 문항으로 출제됩니다.

2.6 정보를 정리하는 형식 선택 — 인라인·표·아티팩트

무엇을 담느냐만큼 어떤 그릇에 담느냐도 평가 대상입니다. 짧은 답이나 대화 중 확인은 채팅 안 인라인 답변으로 충분합니다. 여러 항목을 견주는 내용은 표 같은 구조화된 형식이 읽기 쉽고, 다시 열어 보거나 동료와 공유할 문서·차트·간단한 앱은 아티팩트로 만드는 편이 낫습니다. 기준은 '이 결과물이 대화가 끝난 뒤에도 쓰이는가'입니다 — 쓰인다면 독립된 형태로, 그 자리에서 소비되고 끝난다면 인라인으로 받는 것이 정리의 원칙입니다.

! 흔한 함정

• 문장이 유창하면 내용도 정확하리라 믿는 것 — 환각은 어색한 문장이 아니라 자신 있는 문장으로 나타납니다.
• 같은 대화에서 '방금 답이 맞는지 확인해 줘'라고 묻고 검증을 마쳤다고 여기는 것 — 독립된 출처 없이 모델이 스스로를 확인하는 것은 검증이 아닙니다.
• 위험도 구분 없이 모든 결과물에 같은 검증 강도를 적용하는 것 — 저위험 초안에 힘을 쏟다가 정작 고위험 산출물을 가볍게 통과시키기 쉽습니다.
• 출력 형식을 습관처럼 하나만 쓰는 것 — 용도에 맞는 형식을 고르는 판단 자체가 출제 범위입니다.