우리가 제대로 쓸 줄 모르는 AI의 유도 수요, 해고, 그리고 실제 비용에 관하여
대중교통 트위터를 조금이라도 본 적 있다면, 그 밈을 봤을 것이다.
“차선 하나만 더 늘리면 돼, 브로.”
크레용으로 그린 고속도로 기술자가 프리웨이 옆에 서서 막히는 교통을 해결하겠다며 새로 추가하려는 차선을 가리킨다. 그의 표정은 진지하다. 이번에는 정말 해결할 거라고 믿는다. 차선 하나만 더 늘리면 정체가 풀릴 거라고.
정체는 잘 풀리지 않는다. 풀려도 오래 가지 않는다.
새 차선은 새 이동을 만든다. 새 용량은 새 수요를 만든다. 경제학자들은 이를 유도 수요라고 부른다. 텍사스의 케이티 프리웨이는 세계에서 가장 넓은 고속도로 중 하나로 확장되었다. 로스앤젤레스의 405는 10억 달러를 들여 확장 공사를 했다. 수십 년에 걸친 고속도로 확장에서 익숙한 패턴이다. 용량이 늘면, 사용량이 그만큼 늘어나고, 정체는 돌아온다.
밈 속 기술자는 그래도 계속 차선 하나만 더 달라고 한다.
지금 우리는 AI 데이터센터에서 같은 지점에 와 있다.
“올바른 인프라”를 위한 피치
분기마다 또 하나의 하이퍼스케일러 발표가 나온다. 또 하나의 10억 달러 규모 증설. 또 하나의 캠퍼스. 또 하나의 변전소. 또 하나의 전력 계약. 또 하나의 물 분쟁. 또 하나의 농촌 카운티가 “이게 발전의 대가”라고 통보받는다.
정당화 논리는 늘 같다.
AI 수요가 폭발하고 있다. 더 많은 컴퓨트가 필요하다. 우리가 짓지 않으면 미국은 중국에 뒤처진다. 기업들은 필요한 용량을 확보하지 못할 것이다. 개발자들은 제약을 받을 것이다. 혁신은 느려질 것이다.
데이터센터 하나만 더 지으면 된다.
기가와트급 캠퍼스 하나만 더.
2,700에이커 부지 하나만 더.
송전망 업그레이드 한 번만 더.
그러면 충분해질 거라고.
도면만 바뀌었을 뿐, 같은 기술자다.
이는 한 세대를 건 인프라 베팅이고, 상당 부분은 이미 계약까지 끝났다.
이것은 “AI에는 인프라가 전혀 필요 없다”는 주장이 아니다. 어느 정도의 신규 용량은 필요하다.
질문은 이것이다. 기존 용량을 똑똑하게 쓰고 있다는 것을 구매자에게 먼저 증명하게 만들지도 않고, 이 속도로 새 용량을 계속 커밋해야 하느냐는 것이다.
지금 폭발하는 수요의 일부는 진짜 새로운 생산성이다. 하지만 일부는 잘못된 기본값, 통제되지 않은 재시도, 만료되지 않은 자격 증명, 과하게 센 모델, 단 한 번도 비용 대비 가치를 따져보지 않은 워크로드가 만들어 낸 피할 수 있었던 소비다.
유도 수요
컴퓨트에는 고정된 수요 곡선이 없다. 가용한 공급 쪽으로 휘어진다.
개발자에게 최첨단 모델을 값싸게 쥐여주면, 많은 워크로드가 기본적으로 최첨단 모델로 간다. 에이전트에 큰 예산을 주면, 많은 에이전트는 그 예산을 다 쓴다. 팀에 제한 없는 API 키를 주면, 누군가 눈치챌 때까지 청구서는 커진다.
그때쯤이면 워크로드는 이미 출시돼 있다.
어느 창업자는 고객 지원 파이프라인의 모든 단계에서 비싼 모델을 돌린다. 빠르게 배포하던 엔지니어가 선택한 기본값이 그랬기 때문이다. 파이프라인은 잘 돌아간다. 청구서는 고통스러워진다. 나중에 누군가 살펴보니, 워크로드 상당 부분은 품질 저하가 거의 없거나 눈에 띄지 않은 수준에서 더 싼 모델로 돌릴 수 있었다.
이건 특이한 예외가 아니다. 빠르게 움직이는 AI 개발이 보통 이렇게 돌아간다.
기본값이 잘못되었다. 낭비는 보이지 않는다. 청구서는 늦게 온다.
똑같은 일이 어디서나 벌어진다.
검색 시스템은 중복을 임베딩한다. 지원 에이전트는 재시도 루프에 갇힌다. 코딩 에이전트는 하찮은 수정에도 가장 비싼 모델을 쓴다. 하청업체의 키는 계약이 끝나도 살아 있다. 퇴사자의 키는 오프보딩 이후에도 살아 있다. 프로덕션 키가 누군가의 노트북 안으로 들어간다.
이들이 꼭 악의를 가진 것은 아니다. 시스템이 그냥 관리되지 않을 뿐이다.
AI 업계가 “수요가 폭발하고 있다”고 말할 때, 그 수요 중 일부는 진짜 생산성이다. 그러나 또 일부는 잘못된 기본값, 만료되지 않는 자격 증명, 빠진 예산, 통제되지 않은 기계 작업이다.
컴퓨트를 더 늘린다고 이게 해결되지는 않는다. 오히려 먹이를 준다. 아마존 같은 회사조차 이런 상황을 보고하고 있다.
이것이 유도 수요다. 이것이 프리웨이다.
“사람 OUT, AI IN” 멘탈리티
인건비는 줄이고 AI 예산은 늘리는 상황에서, 이 둘은 자주 노골적으로 연결된다. 마이크로소프트는 이번 감축이 단순한 AI 대체가 아니라고 분명히 말했다. 샘 알트먼은, 회사가 어차피 했을 감축을 AI 탓으로 돌리는 “AI 워싱”이 일부 있다고 인정했다. CEO들을 대상으로 한 설문조사는 그들이 AI를 기반으로 변화를 계획할 수밖에 없다고 말하고 있음을 보여준다.
데이터가 분명히 보여주는 것은 우선순위 재배치다. 챌린저는 기술 기업들이 AI를 중심으로 구조조정해 일부 역할을 자동화하고, 예산을 새로운 역량 쪽으로 재배분하고 있다고 설명한다. 특정 노동자와 특정 GPU가 1:1로 대응될 필요는 없다. 자본의 이동은 실제이기만 하면 된다.
그래서 불편한 질문은 약해지지 않고, 더 선명해진다.
교환이 “사람 vs AI 생산성”이 아니라, “사람 vs 아무것도 아님”도 완전히 아니라면, 기계 쪽 장부에는 정확히 무엇이 있는가? 아무도 확실한 답을 내놓지 못한다. AI 지출이 급여와 비슷한 수준으로 커지고 있지만, 급여만큼의 규율로 관리되고 있지 않기 때문이다.
인간 노동자는 매니저, 예산, 권한, 회사 카드, 출입증, 오프보딩 절차, 성과 리뷰, 감사 기록이 있다.
기계 노동자는 대개 API 키 하나가 전부다.
우리는 예산을 인간 급여에서 기계 급여로 옮기고 있다. 그러면서 기계 급여는 비밀번호 더미 다루듯 관리하고 있다. 소유자 없음. 매니저 없음. 만료일 없음. 지출 정책 없음. 영수증 없음. 유용한 결과당 비용 없음. 기계 작업이 기계 비용만큼의 가치가 있었는지에 대한 증명도 없다.
API 키는 새로운 회사 카드다
어느 회사도 이렇게 말하지는 않는다. “퇴사자가 회사 카드를 계속 쓰고 있는데, 어디에 얼마나 쓰는지 아무도 모르다가 몇 달 뒤에야 알게 됐다.” 이건 누구나 명백한 운영 실패라고 본다. 하지만 API 버전의 같은 일은 끊임없이 벌어진다.
모델 제공자 키는 지출을 만들어낼 수 있다. 클라우드 키는 인프라를 만들 수 있다. 스트라이프 키는 돈을 움직일 수 있다. GitHub 키는 코드를 배포할 수 있다. 데이터 제공자 키는 유료 데이터셋에 접근할 수 있다. 광고 플랫폼 키는 캠페인 예산을 태울 수 있다. 거래소 키는 자산을 거래할 수 있다.
이것들은 그냥 “비밀”이 아니다. 경제적 권한이다.
너무 많은 API 키가 여전히 비밀번호처럼 취급되고 있다. 이들은 기계를 위한 회사 카드처럼 취급돼야 한다.
하청업체, 개발사, 마케팅 에이전시, 감사인, 파트타임 팀, 직원, 에이전트 모두 들쭉날쭉한 자원 접근이 필요하다. 오늘날 기업은 접근을 과하게 열어주거나, 아니면 모든 것을 느리게 만들거나 둘 중 하나다. 프로젝트는 끝나도 접근은 남고, 지출은 계속된다.
이것은 보안 문제일 뿐 아니라, 회계 문제이기도 하다. 거버넌스 문제이며, 인프라 문제이기도 하다.
현지인들은 안다
데이터센터에 대한 대중의 반발은 단순한 님비(NIMBY)즘이 아니다. 사람들은 이 모순을 체감하고 있다. 최근 갤럽 조사에 따르면, 미국인 10명 중 7명은 자신이 사는 도시에 AI용 데이터센터가 건설되는 것에 반대한다.
데이터센터는 막대한 전력을 소비한다. 냉각 설계와 위치에 따라 물과 토지도 상당히 사용한다. 실제 열을 뿜고, 소음을 만들고, 송전선 분쟁과 지역 정치적 압력도 만든다. 이익은 종종 멀리서, 사적이거나 투기적으로 느껴진다. 비용은 지역에 남는다.
인프라 부담은 농촌 카운티에 집중된다. 경제적 이득은 넓게 퍼지고, 종종 다른 어딘가에서 포착된다. 이익은 나중을 기약한다. 비용은 지금 도착한다.
이는 정치적으로 불안정하다. 2026년에는 더 이상 예측이 아니게 되었다.
데이터센터가 전국적 정치 쟁점이 된 데 대해 업계가 놀라선 안 된다. AI 인프라가 지역 사회에 땅과 전력, 물, 인내를 요구한다면, 업계는 그 컴퓨트가 제대로 쓰이고 있음을 증명할 수 있어야 한다.
지금은, 많은 구매자가 그러지 못한다.
사람을 측정되지 않은 기계로 바꾸는 거래는 잘못되었다
모든 층위를 한데 모아보자.
CFO는 AI 투자 논리를 읽고, 증설에 사인하며, 이를 위해 인력을 줄이고, 이 수지가 맞는다고 이사회에 설명한다. 컴퓨트는 프로비저닝된다. 워크로드는 배포된다. 기본값은 잘못되었다. 키는 관리되지 않는다. 비싼 모델은 과하게 쓰인다. 에이전트는 재시도를 너무 많이 한다. 오래된 자격 증명은 계속 작동한다. 청구서는 예상보다 빠르게 커진다.
이사회가 이유를 묻는다. 돌아오는 답은 이렇다. AI 수요가 폭발하고 있다. 더 많은 용량이 필요하다. 그래서 CFO는 다음 계약에 다시 사인한다. 사이클은 반복된다.
한편, 일자리를 잃은 직원은 회사가 약속된 생산성을 내는지조차 알 수 없는 AI 시스템에 과감히 돈을 쓰는 모습을 지켜본다. 카운티 커미셔너는 전력, 물, 토지, 소음에 대한 분노의 전화를 받는다. 전력망 운영자는 숫자를 맞추려 애쓴다. 지역 주민은 “이게 미래”라는 말을 듣는다.
너무 자주, 교환은 “사람 vs 생산성”이 아니었다. “사람 vs 측정되지 않은 기계 작업”이었다. 사람 vs 잘못된 기본값. 사람 vs 허술함. 그리고 그 허술함이 비싸지자, 업계의 답은 규율이 아니었다. 또 하나의
데이터센터였다. 하나만 더 지으면 된다는, 브로.
진짜 답
진짜 답은 단지 데이터센터를 더 짓는 것이 아니다.
진짜 답은 이미 존재하는 데이터센터를 똑똑하게 쓰는 것이다.
이것은 업계 입장에서 불편한 말이다. 인센티브가 완전히 일치하지 않기 때문이다. 공급자는 대체로 소비가 늘어날수록 돈을 번다. 구매자는 유용한 결과가 늘어날수록 이익을 본다. 두 곡선은 같지 않다.
구매자의 이해관계는 구체적이다.
구매자는 일을 해내는 데 필요한 만큼만 작은 모델을 원한다. 문제를 해결하는 데 필요한 최소 호출 횟수를 원한다. 프로젝트가 끝나면 만료되는 키를 원한다. 올바른 기기에서만 동작하는 자격 증명을 원한다. 정책을 벗어나면 바로 차단되는 에이전트를 원한다. 사업적 근거가 확실할 때만 승인되는 예외를 원한다.
그 어느 것도 새로운 데이터센터를 요구하지 않는다. 이미 있는 컴퓨트를 똑똑하게 프로비저닝하기만 하면 된다.
해결로 가는 길은 지루하다
워크로드를 모델에 맞게 적정 규모로 조정하라. 배치할 수 있는 것은 배치하라. 캐시할 수 있는 것은 캐시하라. 제약해야 할 것은 제약하라. 초과 사용은 승인받게 하라. 잘못된 리전에... credential, 잘못된 기기에서, 잘못된 보유자에 의해, 잘못된 작업을 위해 사용된 권한. 유용한 결과 하나당 비용을 측정하십시오. 액세스를 자동으로 만료시키십시오. 폭주하는 루프를 중단하십시오. 저위험 작업은 저비용 모델로 라우팅하십시오. 품질이 정말 필요할 때만 상향 조정하십시오. 영수증을 남기십시오.
시장은 이미 이를 인지하기 시작했습니다. 올여름, CFO와 이사회들은 예산을 훌쩍 넘어선 AI 청구서를 단속하기 시작했습니다. 팀들이 품질을 희생하지 않고도 일상적인 작업을 더 저렴한 모델로 보내는 방법을 찾으면서, 모델 라우팅은 연구 논문 속 용어에서 이사회 회의실의 어휘로 올라섰습니다. 모델 공급자들 역시 고객들이 청구서를 억제할 수 있는 수단을 요구하면서, 관리용 지출 한도 기능을 출시하기 시작했습니다.
잘된 일입니다. 그 파도는 실제이고, 때가 한참 지났습니다. 공급자들은 이제 한도에 도달하면 호출 자체를 실패시키는 강력한 지출 상한선, 사용자별 한도, 승인 경로를 제공합니다.
하지만 현재 파도의 경계를 살펴보십시오. 그 통제 장치는 하나의 공급자, 하나의 프로젝트, 하나의 애플리케이션 내부의 소비만을 관리합니다. 라우팅은 더 저렴한 모델을 선택해 줄 뿐입니다. 상한선은 폭주하는 청구서를 멈출 뿐입니다. 둘 다 더 넓은 권한의 질문에는 답하지 못합니다. 어느 기계가, 어떤 런타임으로, 누구를 대신해, 어떤 목적을 위해, 어떤 외부 리소스에 대해 행동하고 있는지, 그리고 이후에 남는 이식 가능한 증거는 무엇인지라는 질문입니다. 비용 통제는 프로그래밍 가능하고 검증 가능한 권한과는 다른 문제입니다.
AI에는 비용 절반만이 아니라, 전체 규율이 필요합니다. AI가 나쁘기 때문이 아닙니다. AI가 ‘노동’이 되어가고 있기 때문입니다. 그리고 노동에는 관리가 필요합니다.
AI 에이전트가 놓치고 있는 레이어
이것이 우리가 AI에 빠져 있다고 생각하는 레이어이며, 의도적으로 전체 FinOps 스택보다 더 좁은 범위입니다.
경제적 권한은 실행 전에 관리되어야 합니다. 누가, 무엇이 지출할 수 있는지, 어떤 기기와 런타임에서, 어떤 작업을 위해, 어떤 한도 내에서 지출할 수 있는지를 정하는 것입니다. 그리고 마지막에는 실제 사람이 검증할 수 있는 영수증이 있어야 합니다.
데이터센터 구축의 일부는 필요합니다. AI는 실제이고, 실제인 것에는 인프라가 필요합니다. 그러나 관리되지 않은 수요는 필요한 구축 규모를 더 크고, 더 빠르고, 필요 이상으로 정당화하기 어렵게 만듭니다. 올바른 길은 청구서가 나온 후에 더 예쁜 대시보드를 보는 것이 아닙니다. 해결책은 지출이 발생하기 전에, credential 수준의 제어 레이어를 두는 것입니다.
올바른 방향으로 운전하기
데이터센터 딱 하나만 더 지으면 돼, 친구.
이번에는 정말 잘될 겁니다. 곧 컴퓨트가 가동될 겁니다. 곧 낭비율이 떨어질 겁니다. 곧 마진이 생길 겁니다. 곧 워크로드가 효율적이 될 겁니다. 곧 지역 주민들이 이해해 줄 겁니다. 곧 전력망이 감당할 수 있게 될 겁니다. 서명된 1조 달러의 임대 계약이 곧 보수적으로 보이게 될 겁니다. 이사회가 곧 생산성 향상을 눈으로 보게 될 겁니다.
정말 딱 한 번만 더.
그 용량의 일부는 필요할지도 모릅니다. 하지만 업계가 지역사회에 더 많은 땅, 더 많은 물, 더 많은 전력, 더 많은 인내를 요구하기 전에, 구매자들은 더 단순한 질문에 답할 수 있어야 합니다.
우리는 이미 가지고 있는 컴퓨트를 잘 사용하고 있는가? 슬라이드나 정책 문서 말고.
영수증으로. 어떤 모델이 사용되었는지. 어떤 워크로드가 그것을 필요로 했는지. 어떤 키가 그것을 승인했는지. 이것이 다음 AI 인프라 전쟁입니다. 컴퓨트냐 무(無) 컴퓨트냐의 문제가 아니라, 관리된 컴퓨트냐 낭비냐의 문제입니다.
덜 눈가리고 짓고, 이미 가진 것을 잘 사용하십시오.