중앙화 AI에 프롬프트를 입력하는 순간, 그 텍스트는 서버로 전송돼 처리되고, 그리고 ‘기록’된다.
이 서버를 운영하는 기업은 그 내용을 읽을 수 있다. 저장할 수 있고, 이후 모델 학습에 재활용할 수 있으며, 요청이 들어오면 규제 당국에 넘길 수도 있다.
대부분의 사용자는 이런 거래를 별 고민 없이 받아들인다.
하지만 최근 블록체인 프로젝트들이 다른 선택지를 내놓고 있다. 지금 가장 주목받는 **베니스(Venice)**를 포함한 일부 프로젝트들은, 네트워크 운영자조차 당신이 무엇을 물었는지 볼 수 없는 구조를 설계 중이다.
이 구조를 이해하려면 두 가지를 분리해서 봐야 한다. 첫째, 당신이 AI에 질의할 때 데이터가 어디로 가는지. 둘째, 그 데이터가 새나가지 않도록 막는 암호 기술이 무엇인지다.
답은 생각보다 훨씬 구체적이다.
TL;DR
- OpenAI 같은 중앙화 AI 제공사는 기본적으로 사용자 프롬프트를 로그에 남겨, 사용자의 질의를 회사가 전면적으로 들여다볼 수 있다.
- 온체인 프라이빗 AI 추론은 요청을 분산 노드 네트워크로 라우팅하고, 기밀 컴퓨팅 하드웨어를 이용해 노드 운영자조차 내용에 접근 못 한 채 데이터를 처리한다.
- 베니스 토큰(VVV)은 이 모델을 가장 본격적으로 구현한 프로젝트로, Base 상에서 애플리케이션 레이어까지 ‘프라이버시 우선’ 설계를 적용한 추론을 제공한다.
- 속도·비용·모델 크기가 핵심 트레이드오프다. 오늘 시점에서 프라이빗 추론은 일반 API 호출보다 느리고 더 비싸다.
- 의료·법률·금융·기업 기밀처럼 프롬프트 비밀 유지가 필수적인 영역에서, 이 아키텍처의 효용이 극대화된다.
‘추론(Inference)’이란 무엇이며, 왜 프라이버시 병목인가
인공지능 모델의 수명은 두 단계로 나뉜다. 먼저 방대한 데이터셋을 학습하는 훈련(Training) 단계, 그리고 훈련된 모델이 새로운 입력, 즉 당신의 질문을 받아 답을 생성하는 추론(Inference) 단계다. 우리가 ChatGPT, Claude, Gemini를 쓸 때마다 일어나는 일이 바로 이 추론이다.
프라이버시는 이 추론 단계에서 깨진다. 훈련 시점에는 당신의 데이터가 관여하지 않는다. 하지만 추론 단계에서는, 최소한 연산이 이뤄지는 순간만큼은 당신의 프롬프트가 시스템에 ‘평문’으로 보인다. 잠긴 상자 안에 있는 모델에게 질문을 던지면서, 동시에 그 질문을 전혀 보여주지 않는 것은 원리적으로 불가능하다.
중앙화 시스템에서는 이 제약을 푸는 것이 우선순위가 아니다.
OpenAI의 사용 정책을 보면, 회사는 기본적으로 API 입력을 안전성 모니터링에 활용하며, 별도 엔터프라이즈 계약으로 옵트아웃하지 않을 경우 모델 고도화에도 사용할 수 있다. 일반 소비자 대다수는 이런 설정을 바꾸지 않는다. 그 결과, 방대한 양의 민감한 인간의 생각이 기업 데이터베이스 안에 쌓여간다.
AI 추론의 프라이버시 문제는 가정이 아니라, 오늘 존재하는 모든 대형 중앙화 AI 플랫폼의 ‘기본값’이다.
반면 탈중앙 AI 추론은 이 전제를 뒤집는다. 신뢰할 중앙 서버를 찾는 대신, 분산 네트워크의 어느 노드도 프롬프트를 읽지 못하게 만들 수 있느냐가 핵심 질문이 된다. 모델을 실행하면서도 말이다.
함께 읽기: 이란 전쟁 비용 375억달러… 상원, 헥세스에 등 돌리다
중앙화 AI의 로그는 실제로 어떻게 쌓이는가
중앙화 AI API로 프롬프트를 보내면, 요청은 HTTPS를 통해 제공업체 인프라로 전송된다. 이 암호화는 전송 경로에서 제3자가 내용을 가로채지 못하게 막아준다. 하지만 서버에 도착하는 순간, HTTPS 계층은 벗겨진다.
그 뒤부터는 제공업체 소프트웨어가 평문을 그대로 본다. 이후 그 텍스트를 어떻게 다룰지는 전적으로 제공업체의 결정이다.
일부 엔터프라이즈 서비스는 제로 보존 모드를 제공한다. 세션 종료 후 프롬프트를 저장하지 않는 방식이다. 예를 들어 Microsoft Azure OpenAI Service는 기업 고객이 입력을 디스크에 기록하지 않는 엔드포인트를 설정할 수 있도록 한다.
하지만 이런 옵션은 유료 엔터프라이즈 계약과 적극적인 설정이 전제다. 기본 소비자 모드는 ‘보존’이다.
로그는 여러 계층에서 남는다. 애플리케이션 로그는 원본 요청을 캡처하고, 모델 서빙 인프라는 성능 최적화를 위해 프롬프트를 캐시할 수 있다. 안전성 필터는 생성 전·후 내용을 스캔한다. 각 계층마다 당신의 데이터가 읽을 수 있는 형태로 존재하는 셈이다. 엄격한 삭제 정책이 있다 해도, 처리 시점에 그 데이터는 잠재적으로 감사·침해·영장 집행이 가능한 시스템 위에 있었다.
상업적 인센티브는 이 문제를 더 키운다. 사용자 질의로 재학습된 모델은 더 똑똑하다. 프롬프트 데이터를 많이 모은 회사일수록 제품 개선에서 구조적 우위를 가진다. 이는 설계상, 사용자 프라이버시와 비즈니스 최적화가 항상 긴장 관계에 놓임을 의미한다. 중앙화 제공업체는 이 딜레마를 구조적으로 해소하기 어렵다.
함께 읽기: 솔라나·하이퍼리퀴드, 알트코인 ETF 거래량 80% 장악
프라이빗 추론을 가능케 하는 두 가지 암호 기술
컴퓨팅을 담당하는 쪽에 입력 데이터가 노출되지 않게 추론을 처리하는 핵심 기술은 두 가지다. 서로 배타적이지 않으며, 실제 구현에서는 혼합 사용하는 경우도 많다.
첫째는 **신뢰 실행 환경(TEE, Trusted Execution Environment)**이다. 인텔 SGX, AMD SEV-SNP 같은 기술이 대표적이다. TEE는 현대 프로세서 안에 호스트 운영체제·노드 운영자·심지어 하드웨어 제조사도 건드릴 수 없는 격리 메모리 영역을 만든다. TEE 안에서 실행되는 코드는 ‘원격 검증(Attestation)’을 거치며, 원격에 있는 사용자가 실제, 변조되지 않은 프로그램이 진짜 엔클레이브 안에서 돌고 있음을 암호학적으로 확인할 수 있다. 당신의 프롬프트는 암호화된 채 엔클레이브로 들어가고, 모델은 엔클레이브 안에서 실행되며, 결과 역시 암호화된 채 밖으로 나온다. 물리 머신을 소유한 노드 운영자는 그 내용을 볼 수 없다.
둘째는 **전동형 완전 동형암호(FHE, Fully Homomorphic Encryption)**다. FHE는 암호를 해독하지 않은 상태에서, 암호문 위에서 직접 연산을 수행할 수 있게 한다. 모델은 사실상 암호문을 입력으로 받아 계산하고, 결과 역시 암호화된 출력으로 내놓는다. 해독키를 가진 원 요청자만 내용을 볼 수 있다. 이론적으로 우아하지만 계산 비용은 막대하다. 현재 큰 언어 모델(LLM)을 FHE로 추론하면, 일반 추론 대비 수십~수백 배 느려진다. 실용적인 배치는 주로 작은 모델이나, LLM의 일부 연산에 한정되는 수준이다.
TEE는 오늘 기준, 거의 일반 속도에 가까운 프라이빗 추론을 제공한다. FHE는 보안 이론상 더 강력하지만, 2026년 중반까지는 대다수 LLM에 쓰기엔 여전히 너무 느리다.
여기에 더해 떠오르는 기술이 **안전 다자연산(MPC, Multi-Party Computation)**이다. 모델 가중치와 사용자 입력을 여러 주체에 나눠 처리해, 어느 누구도 전체 그림을 보지 못한 채 결과만 공동 계산하는 방식이다. 유연성이 크지만, 그만큼 조율 비용과 복잡도도 높다.
함께 읽기: 구글의 비밀 AI 칩, Gemini를 하드웨어에 ‘직조’해 10배 성능
베니스는 블록체인 위에 프라이빗 추론을 어떻게 얹었나
**베니스(Venice)**는 이더리움 (ETH) 레이어2 네트워크인 Base 위에서 구동된다. 베니스 아키텍처의 핵심은, 중앙화 제공업체가 한데 묶어 처리하던 모델 호스팅, 추론 연산, 결제 정산을 분리한다는 점이다.
베니스 네트워크의 노드 운영자들은 GPU 컴퓨팅 파워를 제공한다.
이들은 Llama, Mistral 등 오픈소스 모델 가중치를 내려받아, 해당 가중치에 기반한 추론 요청을 서비스한다. 모델 자체가 오픈소스이기에, 보호해야 할 ‘독점 모델’은 없다. 프라이버시 과제는 오롯이 사용자의 입력과 출력에 집중된다.
베니스는 참여 노드에 TEE 기반 격리 환경을 적용한다. 사용자가 베니스 인터페이스를 통해 질의를 제출하면, 요청은 TEE 환경을 갖춘 노드로 라우팅된다. 노드 운영자의 호스트 시스템은 엔클레이브 내부를 들여다볼 수 없다. 사용자는 프롬프트를 보내기 전에, 올바르고 변조되지 않은 추론 소프트웨어가 진짜 엔클레이브에서 실행 중인지 원격 검증을 통해 확인한다.
베니스 토큰(VVV)은 이 네트워크의 유틸리티 자산이다. 토큰 보유자는 추론 용량에 접근할 수 있으며, 스테이킹 참여자는 우선 처리(우대 대역폭)를 배정받는다. 토큰은 프라이버시 인프라 위에 경제 레이어를 입힌다. 컴퓨팅 제공자는 수수료를 벌고, 사용자는 VVV를 지불하거나 스테이킹해 프라이빗 추론 용량을 확보한다. 이는 ‘마케팅 문구로서의 프라이버시’와는 다르다. 하드웨어 레벨에서 강제되는 TEE 구조 덕분에, 베니스 운영사나 개별 노드 운영자의 의지와 상관없이 프롬프트 비밀이 지켜진다.
이 더 넓은 영역은 통상 **탈중앙 AI 추론(Decentralized AI Inference)**으로 불리며, 베니스는 그 중 하나다. Gensyn, io.net, Akash Network 등도 분산 GPU 컴퓨팅을 추구하며, 프라이버시 보장 수준은 프로젝트마다 다르다. 베니스의 차별점은 프롬프트 프라이버시를 설계 전제 1순위로 삼고 있다는 데 있다. 부가 기능이 아니라, 아키텍처 전체를 규정하는 제약 조건인 셈이다.
함께 읽기: 워런 버핏 “시장, 도박장 됐다”면서 AI에 대규모 베팅
노드 운영자가 볼 수 있는 것과 볼 수 없는 것
“프라이빗”이라는 표현은 때로 오해를 낳는다. 베니스식 TEE 아키텍처에서 노드 운영자가 볼 수 있는 정보, 볼 수 없는 정보를 엄밀히 구분할 필요가 있다.
노드 운영자가 볼 수 없는 것:
- 프롬프트의 평문 내용
- 모델 내부의 중간 계산 과정
- 사용자가 결과를 받아보기 전, 평문 상태의 출력 텍스트
노드 운영자가 볼 수 있는 것:
- 자신의 머신이 작업을 처리하고 있다는 사실(요청이 도착했다는 기록)
- 요청·응답의 크기(바이트 단위)
- 트랜잭션 처리 시점과 소요 시간
- 추가 익명화가 없다면, 해당 요청과 연결된 지갑 주소나 식별자
즉, 이 시스템은 콘텐츠 프라이버시는 강하게 보호하지만, 메타데이터(언제, 얼마나, 누가 요청했는지)에 대해서까지 완전한 익명성을 보장하는 구조는 아니다. 이를 보완하려면 별도의 프라이버시 강화 기술(예: 믹서, 프라이버시 레이어, 익명 네트워크)을 상위 레벨에서 결합해야 한다. 콘텐츠 측면에서 보면, 이 시스템은 가능한 한 강력한 수준의 비공개성을 보장한다. 사용자가 어떤 질문을 했는지, 모델이 어떤 답을 했는지는 누구도 열람할 수 없다. 다만 메타데이터 차원에서 완전한 익명성까지 제공되지는 않는다. 예컨대 운영자는 “주소 X가 14:22 UTC에 340토큰짜리 프롬프트를 보내 1,200토큰짜리 응답을 받았다”는 정도의 정보는 볼 수 있다. 이런 사용 패턴이 장기간 축적되면, 실제 대화 내용을 모르더라도 민감한 이용 행태가 부분적으로 추론될 여지는 있다.
대부분의 현실적인 활용 사례, 예를 들어 비밀 유지 의무를 지는 로펌의 의뢰인 자문, 의사의 감별 진단 조회, 기업의 내부 재무 데이터 분석 등에서 진짜 중요한 건 ‘콘텐츠 프라이버시’다. 메타데이터 노출 리스크는 부차적 문제이고, VPN 라우팅이나 영지식(Zero-Knowledge) 기반 신원 체계 같은 네트워크 레벨 도구로 상당 부분 추가 완화가 가능하다.
TEE 기반 시스템은 하드웨어 차원에서 콘텐츠 프라이버시를 강제한다. 반면 메타데이터 프라이버시는 별도의 애플리케이션 레이어 익명화 기법이 필요하며, 현재 구현들은 이 부분을 대부분 사용자 책임으로 남겨두고 있다.
함께 읽기: Nvidia, 인텔·AMD를 겨냥한 88코어 CPU 설계 공개
속도·비용·모델 크기의 진짜 트레이드오프
프라이빗 인퍼런스는 공짜가 아니다. 여러 층위에서 오버헤드가 발생하며, 이를 이해해야 자사 활용 사례에서 감수할 만한 트레이드오프인지 판단할 수 있다.
속도. TEE 인클레이브는 메모리 격리로 인한 성능 손실을 수반한다. 암호화된 메모리 페이징, 원격 증명(Attestation) 핸드셰이크 등으로 인해, 일반 베어메탈 GPU에서 구동되는 표준 인퍼런스 서버 대비 지연이 늘어난다.
실제 벤치마크를 보면, 최신 AMD EPYC(SEV-SNP 지원) 환경에서 TEE 기반 인퍼런스는 동급 하드웨어의 비-TEE 인퍼런스 대비 대략 10~30% 느리게 동작한다는 결과가 Flashbots의 SUAVE 팀과 AMD 개발자 문서를 통해 보고돼 있다. 체감 가능한 손실이지만, 대부분의 대화형 애플리케이션이 수용 불가능한 수준은 아니다.
비용. 탈중앙 컴퓨트 네트워크는 아직 하이퍼스케일러 GPU 클러스터의 단위 비용 구조를 따라잡지 못했다. 아마존, 구글, 마이크로소프트는 초대형 규모 운영을 통해, 1,000토큰당 비용을 센트의 일부 수준까지 낮추고 있다. 탈중앙 네트워크는 이와 같은 자원 집적도와 가동률을 갖추지 못했다. Venice 같은 네트워크는 일반적으로 중앙집중형 API 대비 프리미엄이 붙은 가격으로 인퍼런스를 제공한다. 이 프리미엄이 곧 ‘프라이버시의 명시적 비용’이다.
모델 크기. TEE 인클레이브는 보호된 메모리 용량에 한계가 있다. 700억 개 파라미터(70B)급 모델 전체를 인클레이브 안에 그대로 올리는 것은 현 시점 대부분의 하드웨어에서 사실상 불가능하다.
실무 구현은 대체로 세 가지로 귀결된다. 7억~130억(7B~13B) 파라미터급 중형 모델을 사용하거나, 민감한 입·출력 계층만 TEE 안에서 처리하고 대규모 행렬 연산은 보호되지 않은 메모리에서 수행하는 하이브리드 구조를 택하거나, 모델 전체를 인클레이브에 적재하는 대신 가중치를 암호화한 채 활용하는 방식이다. 문제는, GPT-4급 수백억~수천억 파라미터 프런티어 모델은 이런 TEE 제약 아래에서는 ‘완전 프라이빗’하게 돌리기 어렵다는 점이다.
현재를 냉정하게 정리하면, 프라이빗 인퍼런스는 7B~13B 오픈 모델에서 중앙집중형 API 대비 2~5배 높은 비용을 감수하는 대신 매우 강한 프라이버시를 얻는 구조다. 사용하려는 워크로드가 이 범위 안에 들어온다면, 이미 실서비스에서 충분히 쓸 수 있는 아키텍처다.
함께 읽기: ‘Claude Fable 5’, 87년 된 수학 난제를 끝내다…비트코인이 주목하는 이유
누가 실제로 온체인 프라이빗 AI 인퍼런스를 필요로 하는가
모든 AI 이용자가 이 수준의 보호를 요구하는 것은 아니다. 그러나 특정 이용자 계층은 ‘프롬프트 로그’ 자체가 즉각적인 리스크가 되는 현실에 직면해 있으며, 프라이빗 인퍼런스는 이를 정면으로 해소한다.
법률·컴플라이언스 전문가는 문서 분석, 계약서 검토, 판례 검색에 AI를 상시 활용한다. 이때 의뢰인 커뮤니케이션을 로그를 남기는 중앙집중형 AI에 입력하면, 일부 미국 주 변호사협회 윤리 규정을 위반하거나 변호사-의뢰인 비밀유지 특권을 침해할 소지가 있다. 프라이빗 인퍼런스는 제3자 로그 자체를 제거해 이 문제를 원천 차단한다.
의료 종사자·연구자는 HIPAA 등 규제로 보호 건강정보(PHI)의 전송·저장을 엄격히 제한받는다. 표준 ChatGPT로 임상 문서화를 수행할 경우, 규정 위반 리스크가 발생한다. 반면 환자 데이터를 저장하지 않는다는 점을 TEE 기반 인퍼런스로 ‘입증’할 수 있다면, 리스크 프로파일이 완전히 다른 시스템으로 재분류된다.
애널리스트·트레이더 등 금융 전문가는 미공개 중요 정보(MNPI)를 로깅·유출 가능성이 있는 시스템에 투입할 수 없다. 규제·법적 노출이 즉시 발생하기 때문이다. 프라이빗 인퍼런스를 활용하면, 딜 관련 민감 데이터를 바탕으로 AI 툴을 사용하더라도 규제 당국이 추적할 수 있는 종이 흔적(paper trail)을 남기지 않는다.
고감시 환경에 있는 개인, 즉 기자·활동가·반체제 인사 등은 민감한 리서치를 하면서도 검색 기록을 남기지 않을 필요가 있다. 범용 AI 도구는 이들에게는 자산이 아니라 잠재적 ‘증거’가 될 수 있다. 프라이빗 인퍼런스는 그 반대의 성격을 갖는다.
영업기밀을 지키려는 기업은 R&D 질의, 경쟁사 분석, 독점 포뮬러 검색 등을 제3자 서버에 저장될 위험 없이 AI를 통해 수행할 수 있다. 중앙 서버가 해킹·영장·스크래핑 위협에 노출되는 구조 자체를 피해 가는 셈이다.
반면 이메일 초안 작성, 창작 콘텐츠 생성, 퀴즈형 질문처럼 민감도가 낮은 일반 이용자에게는, 아직은 이 프리미엄을 감수할 유인이 크지 않을 수 있다. 비용이 떨어지면 이들까지 포괄하는 대중형 서비스로 확장될 것이지만, 당장은 위와 같은 고위험·고중요 시나리오에서 가치 제안이 가장 분명하다.
함께 읽기: 텔레그램, 전 사용자 앱에 비수탁형 Gram 지갑 탑재한다는 두로프
맺음말
온체인 프라이빗 AI 인퍼런스는 대부분의 사람들이 ‘문제라고 인식하지 못했던 문제’를 정면으로 겨냥한 기술이다.
중앙집중형 AI 제공업체는 기본 설정으로 프롬프트를 로그에 남긴다. 이는 기업 — 그리고 잠재적으로는 정부 — 이 이용자들의 가장 민감한 ‘생각 과정’ 일부를 들여다볼 수 있는 통로를 의미한다.
해법은 AI를 피하는 것이 아니라, 인퍼런스가 ‘어디서’ 이뤄지는지 구조를 바꾸는 데 있다.
신뢰 실행 환경(TEE)은 탈중앙 노드 운영자가 사용자의 프롬프트를 실제로 읽지 못한 채, 그 위에서 언어 모델을 실행할 수 있도록 하는 기술을 이미 오늘 제공한다.
이 프라이버시 보장은 하드웨어가 직접 집행하며, 어떤 이용 약관이나 정책보다 훨씬 강력한 수준의 신뢰를 제공한다.
Venice Token은 이런 아키텍처의 가장 두드러진 구현 사례로 꼽힌다. 그러나 더 큰 그림에서 보면, 이는 탈중앙 AI 섹터 전반에 확산될 하나의 ‘디자인 패턴’이다. GPU 컴퓨팅 비용이 내려가고 TEE 하드웨어가 고도화될수록, 이 패턴은 더욱 널리 채택될 것이다.