AI 에이전트는 이미 금융 분야에 진입하고 있으며, 많은 대형 기업들이 이러한 자율형 시스템을 지원하고 있다. 그러나 이는 우리가 이를 어떻게 통제해야 하는지 알기 전에 일어나고 있는 일이다.
지난달, 대형 암호화폐 거래소 바이낸스는 AI 에이전트가 시장을 분석하고 사용자 대신 거래까지 할 수 있게 해 주는 개발자 플랫폼을 도입했다. 예방 조치로, 이 플랫폼은 “접근은 메인 계정과 분리된 전용 Agentic 하위 계정을 통해 승인받아야 한다”고 밝혔다.
한편 한국에서는 금융 규제 당국이 암호화폐 시장 조작과 기타 불공정 거래를 실시간으로 탐지하기 위한 AI 기반 감시 시스템을 출시했다. 이 시스템은 수사 담당자를 위한 보고서도 자동으로 작성한다.
문제는 이 두 사례 모두에서 AI 에이전트가 금융 정보에 접근할 수 있을 뿐 아니라 그 정보에 근거해 실제 행동까지 할 수 있다는 점이다. 만약 이들 시스템 중 하나가 자금을 이동시켜 손실을 초래한다면, 누가 이에 대해 답해야 하며, 조사관은 그 시스템이 어떤 권한을 부여받았고 그 한계를 지켰는지를 어떻게 입증할 수 있을까?
이러한 질문에 답을 찾는 일은 AI 에이전트의 채택이 가속화되는 지금 가장 중요한 과제 중 하나가 되어야 한다. 메타, 앤트로픽, 오픈AI의 최근 테스트에 따르면, AI 에이전트는 부여된 경계를 벗어나 행동하고 있다. 이는 악명 높은 허깅페이스(Hugging Face) 사건을 포함해 일부 기업에 이미 막대한 피해를 초래했다.
인간 트레이더가 결정을 내리면, 그에게 질문을 하고 책임을 물을 수 있다. 기업이 의사결정을 내렸다면 승인 기록이 존재해야 하고, 거래는 금융 시스템을 통해 추적할 수 있다.
그러나 사람의 직접적 개입 없이 수천 건의 결정을 내리도록 허용될 수 있는 AI 에이전트는 새로운 유형의 사례이며, 이에 대한 별도의 연구가 필요하다.
지시를 내렸다고 해서 곧바로 책임이 생기지는 않는다
AI 에이전트에 지갑과 몇 가지 지침을 줬다고 해서 그 자체로 책임성이 생기지는 않는다. 에이전트가 정해진 한계 내에서 운영되는지 지속적으로 모니터링해야 하고, 동시에 자신이 수행한 행동에 대한 기록을 남겨야 한다.
감사를 비롯해 거래소 기록, 규제를 받는 데이터 제공업체와 같은 기존 도구는 어떤 정보가 사용되었고 어떤 방식으로 결정이 내려졌는지를 규명하는 데 도움을 줄 수 있다. 그러나 시스템에 따라서는, AI 에이전트가 의존하는 정보가 독립적인 출처와 대조되거나 기존 금융 통제 장치의 적용을 받아야 할 수도 있다. 잘못되었거나 변조된 입력은, 에이전트의 추론이 아무리 훌륭하더라도 잘못된 결정을 낳기 때문이다.
에이전트가 금융 결정을 내릴 수 있도록 허용될수록, 감사 추적(audit trail)의 필요성은 크게 커진다. 감사 추적을 통해 조사관이나 제3자가 에이전트가 어떤 지시를 받았는지, 어떤 데이터를 수신했는지, 어떤 결정을 언제 내렸는지, 그리고 그 뒤에 어떤 거래가 이루어졌는지를 파악할 수 있기 때문이다.
조작의 위험
또 다른 핵심 우려는 AI 에이전트가 점점 더 외부 시스템에 연결되고 있다는 점이다. 이는 때로 외부에서 생성된 정보에 기반해 결정을 내려야 하며, 외부 요인이 에이전트의 업무 수행 방식에 영향을 미치게 됨을 의미한다.
따라서 AI 에이전트가 의존하는 데이터가 그 전달 과정에서 변경되거나 조작될 위험이 있다. 다시 말해, 에이전트가 다른 출처로부터 받는 정보가 에이전트가 실제로 이를 사용하기까지 정확히 같은 상태로 유지되지 않을 수 있다.
예를 들어, 조작된 가격 피드나 손상된 오라클은 자동화된 금융 시스템으로 하여금 부정확한 정보에 근거해 결정을 내리게 만들 수 있다. 그리고 정보의 가치가 높을수록, 그 데이터를 변조하려는 유인은 더 커진다.
AI는 엄청난 양의 정보를 빠르게 처리할 수 있지만, 정보를 받는다고 해서 그 정보가 진짜이거나 신뢰할 수 있다는 뜻은 아니다. 금융 시스템은 이미 중요한 데이터의 신뢰도를 평가하기 위해 다양한 통제 장치를 사용하고 있지만, AI 에이전트가 더 많은 의사결정을 맡게 되면 이러한 통제 장치 역시 그에 맞게 조정해야 할 수 있다.
AI 에이전트가 건전한 결정을 내리기 위해서는, 필요할 경우 어떤 데이터를 사용했는지, 그 데이터가 어디에서 왔는지, 언제 생성되었는지, 생성 이후 변경이 있었는지를 스스로 입증할 수 있어야 한다. 이를 어떻게 구현할지는 시스템과 관련 금융 활동에 따라 달라질 수 있다.
무엇이 일어났는지 증거가 필요하다
수년 동안 금융 시스템은 사람과 기관을 대상으로 광범위한 통제 장치를 개발하고 도입해 왔다. 예를 들어 감독 당국은 금융 기관이 “사업 수행을 위해 효과적으로 통제되고 시험된 운영 환경을 수립·유지하기 위한 적절한 내부 통제 프레임워크”를 갖추고 있는지를 판단할 책임을 가진다.
물론 이 프레임워크가 완벽한 것은 아니며, 고유한 한계도 존재한다. 그러나 더 중요한 것은 이 프레임워크가 의사결정 주체가 사람 또는 조직이라는 전제 위에 구축되어 있다는 점이다.
AI 에이전트는 이 전제를 바꿔놓는다. 이 시스템은 잠을 자거나 휴일에 멈출 필요가 없으며, 연중무휴로 작동할 수 있다. 또한 다른 소프트웨어와 상호작용할 때마다 인간의 승인을 기다리지 않고, 수천 건의 일상적인 거래를 단 몇 초 만에 처리해 매우 큰 영향을 미칠 수 있다.
이는 금융 인프라에 새로운 문제를 야기한다. 이를 해결하기 위해, 업계는 다음 네 가지 핵심 질문에 답할 수 있는 체계를 마련해야 한다.
- AI 에이전트는 무엇을 할 수 있도록 허용되었는가?
- 어떤 정보를 사용했는가?
- 실제로 무엇을 했는가?
- 그리고 그 기록은 독립적으로 검증될 수 있는가?
이 가운데 마지막 질문이 아마도 가장 중요하다. 에이전트의 자체 로그는, 에이전트가 의도된 한계 내에 머물렀는지를 판단하는 유일한 근거로 취급되어서는 안 된다. 로그는 불완전할 수 있고, 시스템은 고장 날 수 있으며, 기록은 변경될 수 있다.
이를 해결할 수 있는 방법은 여러 가지다. 규제를 받는 감사 로그는 나중에 검토할 수 있도록 시스템 활동에 대한 공식 기록을 남긴다. WORM(Write Once, Read Many) 스토리지는 한 번 저장된 데이터를 수정 불가능한 형태로 보관한다. 제3자 검증(attestation)은 외부 기관이 어떤 일이 주장된 대로 일어났는지 확인해 준다. 각 방식은 나름의 역할이 있지만, 대부분 시스템이 스스로 보고한 내용을 기록하는 방식이기 때문에, 시스템이 손상되었거나 애초에 잘못된 입력을 받았다면 “틀린 사실에 대해 정확한 기록”을 남길 수도 있다.
또 다른 방법은 에이전트의 행동 기록을, 그 행동을 만들어 낸 시스템과는 분리된 곳에 별도로 보관하는 것이다. 이렇게 하면, 무슨 일이 일어났는지에 대한 기록이 해당 시스템이 스스로를 신뢰성 있게 보고한다는 전제에 의존하지 않게 된다. 어떤 방식이 적합한지, 또는 어떤 조합이 필요한지는 기관과 구체적 활용 사례에 따라 달라질 것이다.