생성형 AI로 만든 이미지

인공지능(AI)이 사람을 대신해 예약과 구매, 업무까지 처리하는 '에이전트'로 진화하고 있다. 최근 금융권 해킹에서 AI가 공격 도구로 활용된 정황까지 나오면서 AI의 활용 범위가 넓어질수록 권한과 통제를 둘러싼 과제도 커지고 있다.

■ 답변 넘어 '행동'으로…AI 에이전트 경쟁 본격화

AI 에이전트는 이용자가 목표를 제시하면 필요한 일을 스스로 계획하고 실행한다. 기존 생성형 AI가 질문에 답하거나 문서 작성을 도왔다면 에이전트는 여러 서비스를 오가며 실제 업무까지 처리한다.

최근 글로벌 AI 기업들도 관련 서비스를 잇따라 선보이고 있다. 오픈AI는 상시 작동하는 AI 에이전트 '닷츠'를 공개했다. 이용자의 앱과 연결해 일정 관리와 문서 작업 등을 수행하고, 이용자가 앱을 닫은 뒤에도 맡은 일을 이어간다.

메타도 개인용 AI 에이전트 '뮤즈'를 내놨다. 이메일 발송과 여행 예약, 구매 등 일상에서 필요한 일을 대신 처리한다. 이용자가 매번 AI에 다음 작업을 지시하던 방식에서 목표를 정해주면 AI가 실행까지 맡는 방식으로 활용법이 바뀌는 셈이다.

박종성 LG CNS AX컨설팅 리더는 "AI가 내놓는 것이 '답변'에서 '결과'로 바뀐다는 점"이라며 "생성형 AI는 초안과 정보를 주고 실행과 확인은 사람이 했는데, 에이전트는 목표를 받으면 스스로 계획을 세우고 여러 앱을 오가며 일을 마친 뒤 보고한다. 앞으로의 생산성 격차는 무엇을 어디까지 맡기고 어떻게 검수할지 결정하는 능력에서 벌어질 것"이라고 설명했다.

AI 에이전트의 확산은 기업 업무뿐 아니라 개인의 일상에도 변화를 가져올 전망이다. 쇼핑과 여행, 취미 등에서도 AI가 이용자의 권한을 받아 직접 서비스를 이용하는 방식이 확산할 것으로 예상된다.

이스트소프트 관계자는 "지금까지 AI가 업무의 영역에서 생산성을 높였다면 이제 개인의 삶에도 그와 유사한 퍼포먼스를 가져다 줄 것"이라며 "쇼핑, 여행, 취미 등 개인의 여가에서 AI로 인한 더 만족도 높은 경험과 시간적 여유 등을 경험할 수 있게 될 것"이라고 말했다.

■ 금융권 해킹에도 AI 활용…커지는 '통제' 과제

AI 활용이 빠르게 늘면서 악용 사례도 나타나고 있다. 최근 국내 금융권 연쇄 해킹에서는 공격 과정에 AI를 사용한 정황이 포착됐다.

금융권 공격에 활용된 것으로 추정되는 서버에서는 AI 기반 침투 도구 '아르텍스에이아이(ARTEX AI)' 관련 흔적이 발견된 것으로 알려졌다. ARTEX는 거대언어모델(LLM)을 활용해 정보 수집과 취약점 탐색, 공격 경로 분석 등 침투에 필요한 작업을 지원하는 도구다.

해커는 AI를 활용해 정보를 수집·분석하고 취약점을 찾아내는 등 침투에 필요한 작업을 효율화한 것으로 보인다. 금융권에서 AI 해킹의 흔적이 발견되면서 AI 악용에 대한 우려도 커지고 있다.

특히 AI 에이전트 시대에는 AI가 다루는 정보와 권한 자체가 크게 늘어난다. 예약과 구매를 맡기려면 결제 정보가 필요하고 이메일을 대신 보내려면 계정 접근 권한을 줘야 한다. 기업 업무에서는 사내 문서와 고객 정보, 각종 업무 시스템까지 접근 범위가 넓어질 수 있다.

AI의 활용 범위와 권한이 함께 커지는 만큼 이를 어디까지 허용할지가 새로운 과제로 떠오른다. AI가 접근할 수 있는 정보와 수행할 수 있는 업무를 세분화하고, 결제나 개인정보 전송처럼 민감한 작업에는 이용자가 직접 승인하는 방식 등이 거론된다.

한 거대언어모델(LLM) 개발사 관계자는 "AI 에이전트는 자율성이 강점이지만, 통제되지 않은 자율성은 그만큼 리스크가 될 수 있다"며 "신뢰성, 보안과 권한 관리, 연동 환경과 비용 구조가 우선 과제로 꼽힌다"고 말했다.

이어 "특히 예약이나 결제처럼 되돌리기 어려운 작업은 오류 허용 범위가 낮아 정확도 확보가 먼저다. 계정과 결제 정보에 접근하는 만큼 사용자 승인과 작업 기록 확인 같은 안전장치도 필요하다"고 강조했다.

AI가 이용자를 대신해 예약과 결제까지 처리하면서 사고 발생 시 책임 범위를 정하는 문제도 과제로 꼽힌다. 현재 국내에선 AI 에이전트의 업무 수행 과정에서 문제가 생겨도 책임 주체와 범위를 가릴 별도 기준이 없는 상황이다.

이스트소프트 관계자는 "권한을 위임받은 AI가 실수했을 때 그 잘못을 누가 책임져야 하는지, 그리고 통제 가능한 보완적 장치가 마련됐는지도 매우 중요할 것"이라며 "자율주행 차량 사고 시 누가 책임을 지어야 하느냐와 같은 맥락"이라고 부연했다.

박 리더는 "국내 본인인증과 간편결제는 사람이 직접 이용하는 것을 전제로 만들어진 만큼 AI의 대리 행위를 어디까지 인정할지에 대한 논의도 필요하다"고 말했다.

이수영 머니투데이방송 MTN 기자