도서: 마크 그레이엄, 제임스 멀둔, 캘럼 캔트 저 / 김두완 옮김 (2023)

세션 날짜: (날짜 기입)

주제어: AI 노동, 데이터 추출, 자율성, 인간 감독


핵심 문장 아카이브

문장 1

"현재 인류는 햄스터 수준의 지능을 가진 자율 시스템조차 개발하지 못했다. 초지능을 논하는 것은 시기상조다. LLM이 아침에 일어나 '나는 인간의 명령에 계속 복종해야 할까?' 같은 고민을 하는 일은 당분간 없을 것이다."

출처: 마크 그레이엄 외, 《AI는 인간을 먹고 자란다》, 2023

주목 이유: 이 문장은 2023년 시점의 주장이며, 2026년 현실과 대조해볼 때 기술 예측 면에서는 부분적으로 초과 달성됐으나, 자율성의 본질(의지 vs 설계)에 대한 통찰은 여전히 유효함.


저자 입장 현황 (2026년 기준)

인물 최근 확인된 발언/행사 핵심 메시지
마크 그레이엄 2024 옥스퍼드 인터뷰, 2025 프린스턴 세미나 AI는 "추출 머신"이며, 보이지 않는 인간 노동과 권력 불균형이 핵심 문제 — 입장 유지
제임스 멀둔 2026년 3월 온라인 강연, 2025-2026 인터뷰 AI 동반자·관계형 AI까지 같은 틀에서 비판 확장 중
캘럼 캔트 2025년 학술 맥락 공동저자 공개 발언 적음, "AI의 자동화는 실제로 인간 노동에 의존한다"는 관점 공유

예측 vs 현실 대조표

저자의 예측 (2023) 2026년 현실 판정
"햄스터 수준도 못 만들었다" 에이전트는 다단계 워크플로우 수행, 소프트웨어 엔지니어링 작업 처리 ⬆ 초과 달성
"자율성 질문은 당분간 없다" 모델이 자율적으로 일시 정지·질문 던지지만, 이는 훈련·설계의 결과 △ 표면 초과 / 본질 미달
"장시간 독립 작동 어렵다" 99.9퍼센타일 턴 지속시간 25분 → 45분 이상 (Anthropic 데이터, 2025-2026) ⬆ 초과 달성
"위험 행동 현실화 안 됨" 금융·보안·헬스케어 확대, 단 73% 상호작용은 인간 감독 하 △ 부분 초과
"완전 자율성은 먼 미래" 기업들 인간 감독, 감사 로그, 중단 장치 유지 중 ✗ 미달 (예측 적중)
"AI 핵심은 과장됐다" 에이전트 실사용 단계 진입, 기업 운영 편입 ⬆ 초과 달성

자율성이 아직 온전하지 않은 이유

  1. 자율성은 모델 단독 속성이 아님: 실제 자율성은 모델 + 사용자 + 제품 설계가 함께 만들어낸 결과. AI가 "스스로 판단한다"는 것은 부분적 오해.
  2. 인간 감독이 여전히 강함: 약 73%의 도구 상호작용이 인간 감독 하에 있고, 비가역 행동은 0.8%에 불과.
  3. 승인 피로의 역설: 인간-in-the-loop가 "승인 피로"로 인해 자동 승인으로 넘어가는 현실 → 감독의 질이 떨어질 위험.
  4. 에이전트는 의도 생성기가 아님: 현재 LLM은 목표를 스스로 만들기보다, 받은 목표를 분해하고 수행함.