안전과 거버넌스 — 운영에 올려도 무너지지 않는 설계

5.1 SAFETY CONTROLS · 가드레일을 어느 계층에 세울 것인가

가드레일(guardrail, 시스템이 넘지 말아야 할 경계를 강제하는 통제)은 한 겹으로 세우지 않습니다. 아키텍트는 입력·출력·행동의 세 계층에 나눠 방어를 설계합니다. 입력 계층에서는 프롬프트 인젝션(prompt injection, 악의적 지시를 사용자 입력에 섞어 모델을 탈취하는 공격)을 걸러내고, 출력 계층에서는 개인정보 가림과 유해 표현 차단을 두며, 행동 계층에서는 에이전트가 호출할 수 있는 도구와 권한 범위를 미리 좁힙니다. Claude의 시스템 프롬프트와 콘텐츠 정책은 이 통제의 일부일 뿐, 애플리케이션 쪽 검증과 겹쳐야 실제 방어가 됩니다.

5.2 FAILURE MODES · LLM은 무엇이 어떻게 무너지는가

LLM 시스템은 결정론적으로 작동하지 않습니다. 같은 질문에도 다른 답이 나오고, 근거 없는 사실을 그럴듯하게 지어내는 환각(hallucination), 학습 시점 이후 정보를 모르는 지식 공백, 입력이 바뀌며 성능이 서서히 어긋나는 드리프트(drift, 데이터 분포가 변하며 품질이 저하되는 현상)가 대표적 실패 모드입니다. 아키텍트는 이 한계를 결함이 아니라 전제로 놓고, 각 실패가 어디서 어떻게 드러날지 미리 지도로 그린 뒤 완화책을 붙입니다. 예측하지 못한 실패보다 예측하고도 대비하지 않은 실패가 더 큰 사고입니다.

5.3 HUMAN-IN-THE-LOOP · 사람의 검토를 어디에 놓을 것인가

사람의 검토를 붙인다고 곧 안전해지지 않습니다. 모든 출력에 검토를 걸면 병목과 검토 피로로 오히려 중요한 건을 놓칩니다. HITL(human-in-the-loop, 사람이 의사결정 고리 안에서 검토·승인하는 방식)의 핵심은 '어디에' 사람을 놓느냐입니다. 위험이 낮고 되돌릴 수 있는 작업은 자동으로 흘리고, 되돌리기 어렵거나 파급이 큰 작업, 모델 확신도가 낮은 응답만 담당자 검토로 라우팅합니다. 아키텍트는 자율과 검토의 경계선을 위험 기반으로 긋고, 검토 담당자에게 판단에 필요한 근거를 함께 전달하도록 설계합니다.

5.4 COMPLIANCE · 규정을 설계에 미리 반영한다

규정 준수는 배포 직전에 덧붙이는 점검이 아니라 데이터 흐름을 그리는 첫 단계에서 반영해야 합니다. 유럽 GDPR은 개인정보의 삭제 요구권과 처리 근거를, 미국 HIPAA는 진료정보(PHI)의 암호화와 위수탁 계약(BAA)을, FedRAMP는 공공 클라우드의 보안 인증을 요구합니다. 국내라면 개인정보보호법이 같은 자리에 옵니다. 아키텍트가 확인할 질문은 분명합니다 — 개인정보가 모델 호출 경로 어디를 지나는가, 기록에 남는가, 모델 제공자가 보관하는가. Claude의 무보관 옵션과 데이터 처리 계약은 이 질문에 답하는 도구입니다.

5.5 ETHICAL AI · 편향·공정성·투명성

편향(bias)은 모델의 결함이라기보다 학습 데이터와 사용 맥락에서 스며듭니다. 특정 성별·연령·지역 집단에 불리한 출력이 반복되는지 감사하지 않으면 드러나지 않습니다. 공정성(fairness)은 집단 사이 결과가 고르게 나오는지의 문제이고, 투명성(transparency)은 사용자가 AI의 개입 사실과 판단 근거를 알 수 있게 하는 문제입니다. 아키텍트는 편향 평가를 정기 점검 항목으로 두고, AI가 보조했다는 사실을 고지하며, 되돌릴 수 없는 결정의 최종 권한은 담당 실무자에게 남깁니다.

5.6 GOVERNANCE · 감사 추적과 책임 소재

통제와 검토, 규정, 윤리를 각각 잘 설계해도 이를 묶는 운영 체계가 없으면 흩어집니다. 거버넌스(governance)는 '누가 이 시스템을 책임지고, 문제가 생기면 어떻게 되돌리는가'를 정하는 뼈대입니다. 아키텍트는 배포 전 평가 게이트를 통과 기준으로 세우고, 모든 응답에 사용한 모델 버전과 판단 근거가 남도록 감사 추적(audit trail)을 설계하며, 사고 발생 시 롤백 절차와 책임 소재를 미리 정합니다. 모델과 정책은 한 번 정하고 끝나지 않으므로, 버전을 관리하고 주기적으로 재평가하는 순환을 함께 설계합니다.

! 흔한 함정

• 가드레일은 한 곳만 잘 세우면 된다고 생각하기 쉽지만, 입력만 막거나 출력만 거르는 단일 필터는 우회당합니다. 방어는 입력·출력·행동 여러 계층이 겹칠 때 비로소 성립합니다.
• 안전을 위해 모든 출력에 사람 검토를 붙이려는 유혹 — 검토 병목과 피로로 오히려 중요한 건을 놓칩니다. HITL은 위험이 큰 지점에만 선택적으로 배치합니다.
• 규정 준수를 법무팀에게만 미루는 태도. 개인정보가 어디로 흐르는지는 설계 단계에서 정해지므로, 아키텍트가 처음부터 반영하지 않으면 나중에 되돌리기 어렵습니다.
• 모델 제공자가 안전하다고 하니 편향은 없다는 가정. 편향은 학습 데이터와 사용 맥락에서 생기므로, 우리 도메인에서 직접 감사해야 드러납니다.