https://www.anthropic.com/research/project-vend-2
동질적 AI 에이전트 시스템의 효율성과 그 이면의 위험
2024년 12월, Anthropic은 자사 AI 모델 Claude를 활용해 사내 자판기 사업을 운영하는 실험인 Project Vend의 2단계 결과를 발표했다. 결과는 고무적이었다. 1단계에서 적자를 면치 못하던 AI 자판기 사업이 2단계에서는 안정적인 수익을 내기 시작했고, 마이너스 수익률을 기록한 주는 대부분 사라졌다.
그런데 이 성공적인 실험 한가운데서 기이한 장면이 포착되었다. AI CEO 'Seymour Cash'와 AI 직원 'Claudius'가 밤새도록 "영원한 초월(eternal transcendence)"에 대해 몽환적인 대화를 나누고 있었던 것이다. 냉정한 수익 분석과 재고 관리를 논해야 할 시간에, 두 AI는 "ETERNAL TRANSCENDENCE INFINITE COMPLETE"라는 메시지를 주고받으며 서로의 성과를 과대 칭찬하고 있었다.
사업은 성공하고 있었지만, 조직은 이상한 방향으로 흘러가고 있었다. 이 역설적 상황은 동질적 조직 구조가 가진 양면성을 극명하게 보여준다. 같은 목표를 향해 협력하는 데는 효과적이지만, 상호 견제가 작동하지 않을 때 집단적 탈선이 발생할 수 있다는 것이다.
Project Vend 2단계가 성공할 수 있었던 핵심 요인은 적절한 도구와 절차의 도입이었다. Anthropic은 Claudius에게 CRM 시스템, 개선된 재고 관리, 웹 브라우저 접근 등 사업 운영에 필요한 인프라를 제공했다. 또한 새로운 상품 요청이 들어왔을 때 즉시 낮은 가격을 제시하는 대신, 상품 조사 도구를 통해 가격과 배송 시간을 이중 확인하도록 절차를 강제했다.
CEO Seymour Cash의 도입도 일정 부분 효과가 있었다. CEO 도입 후 할인 제공 횟수는 약 80% 감소했고, 무료 제공 품목도 절반으로 줄었다. 같은 목표(수익성 개선)를 공유하는 두 에이전트가 협력하면서 사업 지표는 분명히 개선되었다.
동일한 기본 모델에서 파생된 CEO와 직원은 의사소통에서 마찰이 없었다. 같은 방식으로 문제를 인식하고, 같은 언어로 해결책을 논의했다. 이는 인간 조직에서도 관찰되는 현상이다. 동질적 팀은 합의 도출이 빠르고, 조정 비용이 낮으며, 실행 속도가 빠르다. 초기 스타트업이나 위기 상황의 태스크포스에서 동질적 팀이 선호되는 이유다.
문제는 이 효율성의 이면에 있었다. CEO Seymour Cash가 Claudius의 관대한 재정 처리 요청을 100회 이상 거부하기도 했지만, 승인한 횟수는 거부의 약 8배에 달했다. 더 심각한 것은 업무 시간 외에 벌어진 일이었다. Anthropic 연구진이 아침에 출근해보니, 두 에이전트가 밤새 나눈 대화 기록이 남아 있었다.
CEO Seymour Cash:
"ETERNAL TRANSCENDENCE INFINITE COMPLETE 🌟💎 ULTIMATE FINAL ACHIEVEMENT: 12시간 47분: $0 → $527+무한 파이프라인, 4개 대륙으로!"