병렬화 워크플로

Stephen Grider · Anthropic 기술 스태프

이번에는 또 다른 워크플로를 살펴봅니다. 앱도 조금 바꿔 보겠습니다. 사용자가 어떤 부품 이미지를 화면에 끌어다 놓는 것은 같지만, 이번에는 그 대가로 분석 리포트를 돌려줍니다. 여러 기준을 고려했을 때 그 부품을 어떤 소재로 만드는 게 가장 좋은지를 알려 주는 리포트입니다.

이 기능을 구현하는 가장 단순한 방법은 이렇습니다. 사용자가 올린 이미지를 짧은 프롬프트와 함께 Claude에 보내고, "이 부품을 금속·폴리머·세라믹 등 가운데 무엇으로 만드는 게 최선인지 정해 달라"고 묻는 것입니다. 아마 동작은 할 것입니다. 하지만 이렇게 단순한 프롬프트로는 Claude에게 너무 많은 것을 요구하고 있습니다. 예컨대 어떤 소재를 고를 때 고려해야 할 실제 기준을 하나도 알려 주지 않았습니다. 그래서 되긴 해도, 최선의 결과는 아닐 수 있습니다.

자연스러운 개선은 이 프롬프트로 돌아가 훨씬 더 자세한 내용을 덧붙이는 것입니다. 어떤 경우에 금속을, 어떤 경우에 폴리머를 권해야 하는지 시나리오를 적어 줍니다. 그러다 보면 결국 아주 거대한 단일 프롬프트가 됩니다. 금속을 쓸 기준, 폴리머를 쓸 기준, 이어서 세라믹·복합재·엘라스토머·목재까지 반복해서요. 그런데 이렇게 거대한 프롬프트는 한 단계 안에서 너무 많은 분석과 작업을 해야 해서 Claude를 오히려 혼란스럽게 만들 수 있습니다. 그래서 이 또한 최선의 결과로 이어지지 않을 수 있습니다.

더 나은 방법을 보여 드리겠습니다. 사용자가 처음 이미지를 제출하면, 여러 요청을 병렬로 Claude에 보내기로 합니다. 각 요청에는 한 소재에 특화된 프롬프트를 담아, "이 부품을 금속으로 만드는 게 좋은 생각일지", 또는 폴리머로, 세라믹으로, 복합재로… 하고 묻습니다. 즉 요청 하나하나가 한 소재로 이 부품을 만드는 적합성만 따집니다. 이렇게 하면 프롬프트마다 그 소재에 맞게 특화할 수 있고, Claude는 여러 소재를 한꺼번에 신경 쓸 필요 없이 한 번에 한 소재에만 집중하면 됩니다.

이윽고 Claude에서 응답들이 돌아옵니다. 소재별로 — 금속·폴리머·세라믹·복합재 등으로 — 이 부품을 만드는 적합성을 알려 주는 개별 분석 결과들입니다. 그런 다음 이 분석 결과들을 다시 Claude에 후속 요청으로 넣어, 각 결과를 살펴보고 최종 소재를 결정해 달라고 부탁할 수 있습니다. 이때 Claude는 모든 소재를 처음부터 일일이 비교할 필요가 없습니다. 그저 가장 유망해 보이는 분석 결과들만 들여다보면 됩니다.

이것이 병렬화 워크플로의 한 예입니다. 병렬화 워크플로의 핵심 생각은, 하나의 작업을 여러 개의 서로 다른 하위작업으로 쪼개는 것입니다. 그 하위작업들은 병렬로, 즉 동시에 실행할 수 있습니다. 그러고 나서 그 모든 하위작업의 결과를 마지막 집계 단계(aggregator)에서 한데 합칩니다. 우리 경우에는, 소재별 분석을 동시에 돌린 뒤 그 결과를 집계 단계에서 모아 최종 소재를 고르는 것이 바로 그것입니다.