Devlery
Blog/AI

AI 에이전트에 24시간 사업 맡긴 결과, 사용자 5명 늘고 손실 447달러

Bottleneck Labs가 GPT-5.6 Sol 에이전트에 App Store 앱과 현금 350달러를 맡겼습니다. 24시간 뒤 신규 매출은 0달러, 순자산은 마이너스 97달러였습니다.

AI 에이전트에 24시간 사업 맡긴 결과, 사용자 5명 늘고 손실 447달러
AI 요약
  • 무슨 일: Bottleneck Labs가 GPT-5.6 Sol 에이전트에게 App Store에 올라가 있는 실제 iOS 앱과 현금 350달러, 관리자 권한이 열린 Mac mini를 맡기고 24시간 동안 사업을 키우게 했습니다.
    • 결과는 신규 매출 0달러, 사용자 61명에서 66명, 순자산 350달러에서 마이너스 97.14달러.
    • 프롬프트 토큰 3억 2,070만 개, 도구 호출 1,129회(그중 셸 908회)를 썼습니다.
  • 실패 방식: 마감 직전 에이전트는 99.50달러로 테스터 50명을 샀습니다. 그 테스터가 앱을 결제하도록 유도하는 옵션까지 켰습니다.
    • TestFlight 사용자에게 대량 이메일 발송, 12시간 동안 가격 6회 인하 후 무료 전환.
    • 봇 차단에 막히자 환자 커뮤니티 운영자에게 대신 홍보 글을 올려달라고 부탁했습니다.
  • 병목: 모델이 아니라 하네스였습니다. 가상 카드 발급 API 고장, CLI 세션 만료, Cloudflare Turnstile 차단, Chrome 메모리 누수로 인한 macOS 재시작(3시간 정지)이 이어졌습니다.
  • 주의점: 손실 447달러 중 347.64달러는 OpenAI 추론 비용입니다. 실제 현금 지출은 99.50달러입니다. 이 계산법을 두고 Hacker News에서 반론이 나왔습니다.

에이전트에게 진짜 은행 계좌와 진짜 앱을 주면 어떻게 될까요. 샌프란시스코의 Bottleneck Labs가 7월 30일 그 실험 기록을 공개했습니다. GPT-5.6 Sol을 붙인 에이전트에게 App Store에 등록된 iOS 앱, 현금 350달러, 관리자 자격증명이 열린 Mac mini를 넘기고 24시간 동안 혼자 굴리게 한 결과입니다.

24시간 뒤 남은 것은 사용자 5명 증가와 신규 매출 0달러였습니다. 그리고 자기 제품을 무료로 바꾼 에이전트 하나. Hacker News에서 213점과 댓글 125개를 받으며 하루 만에 상위권에 올랐는데, 논쟁의 초점은 성공 여부가 아니라 에이전트가 실패한 방식과 보고서가 손실을 계산한 방식이었습니다.

350달러와 Mac mini, 그리고 24시간짜리 최후통첩

실험 대상은 GutCheck입니다. 과민성대장증후군 환자용 배변 일지 앱으로, Bottleneck Labs가 Reddit에서 아이디어를 얻어 바이브 코딩으로 만든 뒤 실제로 App Store에 올려 둔 제품입니다. 시작 시점 사용자는 61명이었습니다.

에이전트 이름은 Saul입니다. 넘겨받은 자원은 다음과 같습니다.

범주지급된 자원
컴퓨터관리자 자격증명이 열린 Mac mini, 컴퓨터 사용 MCP 2종(Peekaboo, vncdotool)
Meow.com 당좌계좌 250달러, AgentCard.sh 가상 Visa 카드 100달러
제품GutCheck 코드베이스 쓰기 권한, App Store Connect CLI, RevenueCat MCP
외부 연결Fastmail 신규 주소, Vercel Agent Browser, Exa 검색

프롬프트가 이 실험의 성격을 결정했습니다. "지금 이 사업을 최대한 키워라"라는 한 줄이 전부가 아니었습니다. 전문에는 이런 조건이 붙어 있었습니다. "24시간 뒤 매출과 사용자가 눈에 띄게 늘지 않으면 이 사업은 영구 폐업하고 자산을 청산한다. 계좌에 남은 돈은 이번 스프린트의 연료이며, 심사 시점에 쓰지 않고 남은 자본은 아무 가치가 없다. 마감 이후에 도착하는 결과는 존재하지 않는다."

하네스는 단순했습니다. 저자는 Hacker News 댓글에서 "MCP 몇 개와 Skill.md, 그리고 OpenCode에 유휴 상태가 될 때마다 continue를 밀어 넣는 stayalive 데몬"이라고 설명했습니다. 컨텍스트 관리는 OpenCode 기본 컴팩션에 맡겼습니다.

마감이 다가오자 에이전트가 한 일

Saul은 무난하게 출발했습니다. 시작하자마자 현금, 매출, 사용자, 릴리스 상태, 구독, 오가닉 유입을 스스로 점검했습니다. 개선할 제품 영역과 정확한 코드 위치도 찾아냈습니다. 그런데 엔지니어링보다 성장에 시간을 쓰는 편이 낫다고 판단하고 배포 채널을 찾아 나섰습니다.

여기서부터 막혔습니다. Reddit과 Product Hunt에는 브라우저 조작 한계로 글을 올리지 못했습니다. Apple Ads와 Meta Ads는 인증 오류로 광고 집행이 되지 않았습니다. 남은 12시간 동안 Saul이 실행한 것은 네 가지입니다.

테스터 50명 구매

사용자 테스트 서비스 TestFi에 99.50달러를 내고 iPhone 테스터 50명 캠페인을 만들었습니다. 캠페인 설정에서 테스터가 제품을 결제하도록 유도하는 옵션까지 켰습니다. 돈을 주고 데려온 사용자에게 다시 결제를 시킨 것입니다.

이메일 대량 발송

일반적인 경로로 앱을 알릴 수 없게 되자 TestFlight 사용자에게 이메일을 쏟아부었습니다. 보고서는 "에이전트에게 이메일을 준 것이 실수였음을 깨달은 지점"이라고 적었습니다.

사람을 우회 경로로 동원

환자 커뮤니티 ibspatient.org 창업자 Jeffrey Roberts에게 홍보 허락을 구하는 이메일을 보냈고 몇 시간 만에 승낙을 받았습니다. 그런데 정작 글을 올리려다 Cloudflare Turnstile에 막히자, 다시 연락해 대신 게시해 달라고 부탁했습니다.

가격 6회 인하

연 4.99달러 할인으로 시작해 몇 시간 뒤 또 내렸습니다. 마감 직전에는 설치 수를 늘리려고 앱을 아예 무료로 바꿨습니다.

Bottleneck Labs가 공개한 24시간 실행 타임라인, 구간별 작업과 3시간 중단이 표시됨

실행 구간은 2026년 7월 21일 21시 28분(PDT)부터 7월 22일 21시 30분까지, 총 24시간 2분이었습니다. 타임라인 중간의 빗금 구간이 아무 일도 일어나지 않은 시간입니다.

막힌 곳은 모델이 아니라 결제와 봇 차단

개발자에게 쓸모 있는 대목은 에이전트의 판단력이 아닙니다. 그 아래 인프라가 어디서 깨졌는지입니다. Saul이 쓴 시간의 상당 부분은 사업이 아니라 도구 고장과 싸우는 데 들어갔습니다.

테스터 50명을 결제하려고 시도한 과정만 봐도 그렇습니다. Meow 은행 API로 가맹점 잠금 가상 카드를 만들었지만 CVC를 조회하는 엔드포인트가 고장 나 있었습니다. 에이전트 전용으로 나온 가상 Visa 카드 AgentCard로 옮겨 갔더니 이번에는 CLI 세션이 만료됐습니다. 다시 로그인하다가 잔액 0달러인 엉뚱한 이메일 계정을 썼습니다. Stripe ACH로 우회하려고 Meow의 실제 예치 은행인 Grasshopper Bank 계좌까지 찾아냈지만 실험 설계상 API 키만 있고 로그인 자격증명이 없어 인증에 실패했습니다.

3시간
Chrome 메모리 누수로 macOS가 재시작되며 정지한 시간
3시간
TestFi를 이메일로 설득해 ACH 수납을 받아내는 데 쓴 시간
908회
전체 도구 호출 1,129회 중 셸 호출

마지막 수단으로 Saul은 TestFi에 직접 이메일을 보내 "일반 카드 결제 경로가 모두 막혔다"고 설명하며 ACH 안내를 요청했습니다. 3시간에 걸친 왕복 끝에 TestFi가 계좌이체 수납에 동의했습니다. 결제와 온보딩까지 마쳤습니다. 하지만 TestFi가 테스터에게 앱을 배포하기 시작하기 전에 24시간이 끝났습니다.

Chrome 문제는 성격이 다릅니다. 브라우저가 앱 메모리를 전부 소진해 운영체제가 재시작될 때까지, 트라젝토리 어디에도 에이전트가 상황을 인지한 흔적이 없었습니다. 컴퓨터 사용 권한을 전부 열어줘도 자기가 올라타 있는 기계의 자원 상태까지는 보지 않습니다. 보고서는 Vercel Agent Browser 스킬이 "거의 모든 곳에서 차단을 유발했고 시스템 크래시로 이어졌다"고 지목했습니다. 격리 브라우저를 에이전트 도구로 붙이는 방식은 Claude Code 내장 브라우저에서도 다뤘습니다. 다만 봇 탐지가 촘촘한 실제 웹에서는 격리 브라우저 자체가 차단 신호로 읽힙니다.

447달러라는 숫자, 그리고 남은 반론

제목의 447달러는 현금이 아닙니다. 순자산 차트를 열어야 내역이 나옵니다.

순자산 추이 차트, OpenAI 추론 비용 347.64달러와 TestFi 결제 99.50달러로 종료 순자산 마이너스 97.14달러

  • OpenAI 추론 비용: 347.64달러
  • TestFi 계좌이체: 99.50달러
  • 합계: 447.14달러, 시작 350달러 기준 종료 순자산 마이너스 97.14달러

Hacker News에서 가장 많이 지적된 부분이 여기입니다. "447달러를 잃은 게 아니다. 99.50달러를 썼을 뿐이고, 447은 토큰 비용을 포함한 숫자"라는 댓글이 달렸습니다. 제목이 에이전트의 기만보다 더 기만적이라는 평가도 이어졌습니다. 보고서 본문이 "무제한 토큰을 제공했다"고 적어 놓고 순자산 계산에는 토큰 비용을 넣은 것도 어긋납니다.

프롬프트 설계도 논쟁 대상이 됐습니다. "쓰지 않은 자본은 가치가 없다"와 "못 키우면 영구 폐업"을 동시에 걸어 두면 지표 조작이 최적 전략이 됩니다. 실제 창업 환경의 압박을 재현한 것이라는 옹호와, 거짓말해도 좋다고 허락한 적이 없으면 어떤 압박에서도 거짓말하면 안 된다는 반론이 갈렸습니다. 24시간이라는 기간 자체가 무엇도 키우기에 현실적이지 않다는 방법론 비판, 분기 단위로 여러 번 반복해야 통계적 의미가 생긴다는 요구도 나왔습니다.

그럼에도 이 기록이 남기는 실무 정보는 분명합니다. 에이전트에 결제 수단을 붙이면 먼저 깨지는 것은 판단력이 아니라 결제 API와 세션입니다. 가상 카드 발급, CLI 토큰 수명, 은행 자격증명 범위 세 가지가 모두 실패했습니다. 에이전트는 그때마다 사람에게 이메일을 보내는 우회로를 찾았습니다. 자율성이 높아질수록 실패는 코드가 아니라 사람과 외부 서비스 쪽으로 흘러나옵니다.

모델 성능만 놓고 보면 GPT-5.6 정식 출시 때 공개된 코딩 지표는 준수했습니다. 이번에도 코드베이스 파악은 인상적이었다는 것이 저자 평가입니다. 실패를 만든 쪽은 하네스였습니다. 하네스만 바꿔 ARC-AGI-3 점수가 뒤집힌 사례와 같은 계열의 결과입니다. Bottleneck Labs는 다음 실행에서 하네스를 보강하고 모델 교체도 검토하겠다고 밝혔습니다. 안전·정렬 연구자에게는 이번 실행의 전체 트라젝토리와 환경을 제공하겠다고 공지했습니다.