AI 혁신 및 거버넌스 리더십: Chief AI Officer의 관점
Leidos Chief AI Officer Ron Keesing과의 대화
이번 에피소드에서는...
AWS Enterprise Strategis인 Tom Soderstrom이 Leidos의 최고 AI 책임자인 Ron Keesing과 함께 엔터프라이즈 AI 혁신을 주도하는 방법에 대한 깊이 있는 토론을 진행합니다. Keesing은 CAIO로서의 직무를 이제 막 맡았으며 140억 USD 규모의 거대 과학 기술 대기업에서 전사적 AI 채택을 촉진하기 위한 정책, 문화 및 기술을 구축해 나가고 있습니다. 그는 국방, 의료 및 민간 기관에 미션 크리티컬 솔루션을 제공한 20년 이상의 경험을 바탕으로, 이제 모델 선택부터 배포 후 모니터링에 이르기까지 모든 단계에 강력한 AI 거버넌스 프레임워크를 내포할 수 있는가 여부가 성공을 좌우하게 된 이유를 설명합니다. 이 에피소드에서는 중앙 집중식 혁신 허브와 분산된 혁신 센터의 균형을 맞추는 방법에 대한 실제 사례와 함께, ROI 측정, 인재 파이프라인 구축, 규제 환경에서 신뢰도 높은 인간-AI 간 파트너십 구축과 관련된 교훈을 만나보실 수 있습니다.
대규모 AI 거버넌스 프레임워크 구축
Keesing은 민첩한 실험 주기와 데이터 출처, 편향 완화 및 보안에 대한 타협하지 않는 통제를 결합한 AI 거버넌스에 대한 Leido의 청사진을 간략하게 설명합니다. 플레이북, 자동화된 가드레일, 감사 준비 문서를 통해 회사가 정책을 운영하여 고객 및 규제 기관의 기대에 부응하는 방법을 배울 수 있습니다. 이 대화에서는 책임 있는 AI 거버넌스가 연방 정부 조달에서 어떻게 차별화 요소가 되고 있는지, 그리고 기술 체크포인트를 비즈니스 목표에 맞추어 조율하는 것이 지속 가능한 성장의 핵심 열쇠인 이유가 무엇인지 알아봅니다. 대규모 AI 거버넌스라는 과제와 씨름하고 있는 리더라면 Keesing의 통찰에서 정책이 어떻게 혁신을 방해하는 것이 아니라 가속화하는 요인이 될 수 있는지에 대해 배울 수 있습니다.
파일럿부터 전사적 AI 채택까지
Leidos는 이제 격리된 환경에서의 개념 증명을 넘어 수백 개의 프로그램에서 AI를 운영하는 데 초점을 맞추고 있습니다. Keesing은 도메인 전문가가 보안, 규정 준수 및 모델 수명 주기 관리를 위한 공유 서비스를 활용하면서 데이터 과학자와 함께 솔루션을 공동 개발할 수 있도록 지원하는 AI 구현 전략을 자세히 설명합니다. 또한 재사용 가능한 자산을 맞춤형 컨텍스트와 결합하여 장기적인 이점을 얻을 수 있다는 점을 강조합니다. 이는 애자일 펀딩 모델과 지속적인 업스킬링을 바탕으로 하는 접근 방식입니다.
그리고 궁극적으로, 명확한 AI 거버넌스 프레임워크가 기업에서 일관되고 확장 가능하며 윤리적인 AI 채택을 위한 기반을 어떻게 제공하는지 설명합니다. 첫 번째 모델을 개선하는 경우든, 수천 개의 모델을 배포하는 경우든, 이 에피소드에서 AI 여정의 모든 단계에 유용한 지침을 풍부하게 얻을 수 있습니다.
대화 스크립트
AWS 엔터프라이즈 전략가 Tom Soderstrom과 Leidos Chief AI Officer Ron Keesing 출연
Chief AI Officer 직무에 대한 기대
Tom Soderstrom:
AWS에서 제공하는 경영진 인사이트 팟캐스트를 시작하겠습니다. 저는 Tom Soderstrom이라고 합니다. AWS의 Enterprise Strategist죠. 앞으로 다가올 업계 동향을 살펴보자면, 주요 트렌드 중 하나는 생성형 AI와 클라우드의 등장입니다. 이 둘은 서로 밀접한 관련이 있습니다. 클라우드 없이는 생성형 AI를 만들 수 없습니다.
이러한 기술을 보면, 운영하고 채택할 사람이 없다면 이러한 기술은 무의미하다는 것을 알 수 있습니다. 그런 의미에서 오늘, Leidos Chief AI Officer로 새로 임명된 Ron Keesing 씨를 모시고 이 새로운 주제와 그 의미를 자세히 알아보는 자리를 함께하게 된 것은 정말 행운입니다. Ron, 오늘 나와 주셔서 감사합니다.
Ron Keesing:
고마워요, Tom. 불러 주셔서 감사합니다.
Tom Soderstrom:
Leidos와 본인을 소개해 주시고 경력에 대해 조금 말씀해 주시겠습니까? 그런 다음 이제 해야 할 일에 대해 자세히 알아보겠습니다.
Ron Keesing:
알겠습니다. 음, Leidos는... 사실 많이 알려진 회사는 아닙니다. 유명하지는 않지만 매우 큰 회사입니다. Fortune 300대 기업인 저희는 실제로 보안 및 보건 분야에서 세계에서 가장 까다로운 여러 가지 문제들을 해결할 수 있습니다.
저는 Leidos의 AI 실무를 이끄는 멋진 직책을 맡게 되었습니다. 저희는 FAA 항공 교통 관제 시스템의 운영 유지와 같은 임무 등, 일반적으로 미국 정부를 위한 각종 서비스를 제공합니다. 이를 위해 항공 교통을 안전하게 운영하고 유지하는 소프트웨어를 개발합니다. 저희는 국방부를 위해 세계에서 가장 큰 전자 의료 기록 시스템 중 하나를 운영하고 있습니다. 실제로 천만 명이 넘는 사용자를 유지 관리하고 있죠. 저희는 미국의 다른 어떤 기관보다 더 많은 장애 청구 및 장애 검사를 처리합니다. 의료 사업만 봐도 이 정도죠.
국제 우주 정거장의 물류 공급망을 포함하여 세계에서 가장 멋진 물류 공급망도 운영하고 있습니다.
Tom Soderstrom:
와, 멋지네요.
Ron Keesing:
예, 멋지죠. 저희는 미국 국방부를 대신해 세계에서 세 번째로 큰 IT 네트워크를 운영하고 있습니다.
운영 규모가 거대하므로 데이터 중심으로 돌아가는 직무가 아주 많습니다. 이런 직무들에서 AI는 핵심을 차지하죠. 저는 AI의 세계에 오랫동안 몸담아 왔습니다. 얼마 전에 우리는 서로 의견을 나누면서 당신이 JPL에 있을 때의 경험에 대해 이야기했었죠. 당시 저는 JPL과 협력하여 90년대에 1세대 자율 우주선을 만드는 NASA의 임무를 수행하고 있었습니다. 자, 이제 AI의 세계로 돌아가 보겠습니다. 저는 Leidos에서 20년 이상 근무하면서 다양한 AI 프로젝트를 이끌었습니다.
Tom Soderstrom:
Chief AI Officer의 등장에 다른 사람들은 이렇게 질문할 것입니다. “성공의 기준은 무엇일까요? 기대치는 무엇일까요?” 먼저, 맡은 직무에 대해 어떤 기대치를 갖고 계신가요?
Ron Keesing:
제가 진심으로 믿고 있으며, AWS의 가치관과도 일맥상통한다고 생각하는 리더십 원칙 중 하나는 바로 업무 책임의 중요성입니다. 그래서 저는 Leidos가 회사로서 어떤 위치에 있는지 살펴보았습니다. 저희는 오랫동안 AI 회사로 사업을 운영해 왔지만 AI 전략이 무엇인지 명확히 설명했음에도 이에 대해 실제로 책임을 지는 사람은 아무도 없었습니다. 저는 이렇게 말했습니다. “우리에겐 새 직책이 필요합니다. 단지 기술적인 관점에서뿐만 아니라, 더 광범위한 기업의 관점에서도 책임질 수 있는 직책이 필요해요. 우리의 AI 전략은 무엇일까요?”
그리고 저는 실제로 Leidos의 포괄적인 AI 전략 실행을 주도할 Chief AI Officer 직책을 정의하는 데 집중했습니다. 이것이 바로 제가 집중하고 있는 부분입니다. 바로 AI 전략과 AI 거버넌스 원칙의 책임 소재와 정의, 그리고 기업으로서 AI 거버넌스를 수행하는 방식의 조합입니다.
Tom Soderstrom:
정말 흥미롭군요. 그리고 Amazon에서 배운 중요한 교훈 중 하나는... 무언가를 제대로 작동하도록 하고 싶다면, 단일 책임 리더, 즉 하루 종일 오로지 그 일에만 집중하는 사람이 필요합니다. 그들은 매일 그 일에만 집중합니다. 그리고 당신의 경우에는 바로 그게 AI죠. 실제로 직무 설명을 정의하셨나요?
Ron Keesing:
했습니다. 그리고...
Tom Soderstrom:
좋군요.
Ron Keesing:
예, 정말 좋았습니다. 저는 Leidos의 경영진과 이사회로부터 이 직무를 실제로 정의하고 현실로 만들기 위해 훌륭한 지원을 받았습니다. 제가 회사로서 전략에 대해 언급했는데, 특히 작년에는 회사로서 심층적인 전략적 사고의 해라고 부르는 해였으니까요. 그리고 저희는 회사의 미래뿐만 아니라 고객의 미래도 진지하게 살펴보았습니다. 앞서 말씀드렸듯이, 우리의 업무는 주로 미국 정부가 수행하는 가장 중요한 임무들 중 다수를 지원하고 해결하는 것과 깊이 관련되어 있기 때문입니다.
그 과정에서, AI가 Leidos와 고객 모두에게 있어 전략의 핵심 요소라는 것을 깨달았습니다. 종합적인 AI 전략을 실행하는 데 있어 단일한 초점을 두는 것이, 단순히 AI 전략뿐 아니라 보다 광범위한 기업 전략의 기반이 되었습니다. 우리가 수행하는 일의 대부분이 데이터에 의존하고, 방대한 데이터를 다루는 복잡한 대규모 시스템을 구축하는 데 달려 있으니까요. 이런 종류의 임무에서 AI는 곧 미래입니다.
Leidos의 모든 수준에서 엔터프라이즈에 AI 채택 유도
Tom Soderstrom:
맞습니다. 이제 AI는 기본 조건이 되었고, **생성형 AI는 새롭게 주인공으로 부상했죠. 함께 있을 때 귀사의 CEO도 이렇게 말했죠. “최우선 과제는 속도입니다.” 그렇다면 이제 Leidos에서 AI 부문의 단일 책임 리더로서, 어떻게 그 임무를 수행할 계획인가요?
Ron Keesing:
이 임무와 관련해서 제 핵심 목표는 AI를 Leidos의 모든 수준에 걸쳐 DNA에 깊이 스며들게 하는 것이라고 봅니다. 이게 무슨 말인지 설명해 드리겠습니다.
Tom Soderstrom:
부탁합니다. 예, 좋습니다.
Ron Keesing:
사실 Leidos는 오랫동안 AI 회사였기 때문입니다. 실제로 저희는 지난 20년간 몇 가지 획기적인 AI 프로젝트에 참여했습니다. 2004년에는 자율 주행 자동차를 시연한 최초의 DARPA 그랜드 챌린지에 참여한 바 있고, 미 해군을 위해 1세대 자율 항해 선박을 건조하기도 했습니다. 지난 수년간 미국 정부를 위한 흥미로운 자율 기술과 AI 혁신 기술을 앞장서 개발해 왔습니다. 저희는 기업으로서 AI를 어떻게 활용해야 하는지는 잘 알고 있지만, 지금까지의 AI 작업은 개별적이고 제한된 프로젝트 중심이었지, 업무 전반에 걸친 활동은 아니었습니다.
그래서 앞으로 우리가 직면한 과제는, 이미 보유한 AI 전문성을 어떻게 확장할 것인가입니다. 일례로 AI Accelerator라는 조직에는 진짜 로켓 과학자급 인재들이 모여 있는데, 그 역량을 어떻게 회사 전체에 적용하고 확대할 것인지가 핵심 과제입니다. 하지만 이러한 인재를 활용해 조직의 모든 수준에서 AI의 우수성을 갖춘 허브 앤 스포크 모델을 훨씬 더 많이 개발하려면 어떻게 해야 할까요? 사실 생성형 AI가 제공하는 기회를 확대하는 것은 더 이상 중앙 집중식 조직만으로 할 수 있는 일이 아닙니다. 실제로 조직 전체에 AI 역량을 확산시켜야 합니다.
그리고 저는 그보다 더 깊은 차원까지 필요하다고 말하고 싶습니다. 우리가 앞으로 마주할 미래의 인력을 생각할 때, 단순히 뛰어난 AI 과학자와 엔지니어를 갖추는 것만이 중요한 문제가 아닙니다. 실제로 AI와 협력하여 매일 업무를 수행할 역량을 갖춘 전체 인력을 어떻게 개발할 것인지 생각해야 합니다.
이 일을 제대로 수행하려면 제가 회사 내 모든 AI 리소스를 직접 관리할 수는 없다는 것을 깨달았습니다. 사실 제 역할은 조직 전체에서 우리가 하는 모든 일을 통합하는 것이어야 합니다. 다시 말씀드리지만, 제가 실제로 업무를 조직한 방식은 회사 전반의 강력한 지원을 바탕으로 모든 구성원이 회사 전반에서 수행하는 작업을 모아 일관된 방식으로 실행하는 일련의 이니셔티브를 운영하는 것입니다.
따라서 책임보다는 비전을 제시하고 이미 진행 중인 다양한 작업을 명확하고 안정적으로 조정하고 조율하는 데 더 중점을 둡니다. 말씀드렸듯이, 생성형 AI에 대한 실험과 파일럿에 대한 열정이 넘쳐나기 때문입니다. 모두 훌륭한 일이죠. 어느 시점에 돈을 어디에 투자할지, 무엇을 목표로 하고 실제로 투자할지 결정해야 합니다. 진정한 가치가 있다고 생각하는 부분에서 세계 최고가 되고자 노력해야 합니다.
그래서 제 역할은 회사의 모든 구성원이 하는 일을 조율하여 일관되게 운영되도록 하고, 회사로서 나아가야 할 비전과 방향을 파악하며, 회사의 집단적 움직임을 그 방향으로 이끌어 빠르게 목표에 도달할 수 있도록 하는 것이라고 생각합니다.
Tom Soderstrom:
좋은 말씀입니다. 제가 꽤 논쟁적인 발언을 하려고 하는데, 그에 대해 반응을 듣고 싶습니다. 어느 회사든 COE를 만들고 COE가 혁신의 중심이라고 생각합니다. 훌륭한 소규모 그룹이 필요하죠. 하지만 혁신 센터를 만들면 이 그룹 내 구성원은 스스로 뛰어나다고 생각하지만, 다른 사람들은 그들을 싫어하게 되어 결국 자신만의 CoE를 만들게 되고 그 결과 섀도우 CoE 및 IT가 생겨나게 됩니다. 이보다는 참여 센터를 만들어서, 모든 배가 항해할 수 있도록 돕는 흐름을 만들어 내야 합니다. 제가 보기엔 그게 지금 하시고 있는 일인 것 같습니다. 말도 안 된다고 생각하시나요, 아니면 동의하시나요?
Ron Keesing:
제 생각도 같고 전적으로 동의합니다. 실제로 저희가 해오고 있는 것은, AI Accelerator 조직에서 성장한 실제 리더들을 발탁해 회사의 나머지 부서에 이러한 센터를 구축하고 결합 조직을 만드는 것입니다.
중앙에서 많은 기능을 개발해 놓았는데, 모두가 각자 알아서 일을 처리하는 것보다 더 나쁜 상황은 없습니다. 이러면 규모를 확장할 방법도 없고 일관성을 유지할 방법도 없는 거죠.
Tom Soderstrom:
그건 모든 리소스를 완전히 낭비하는 겁니다.
Ron Keesing:
맞습니다. 따라서 그 결합 조직을 어떻게 유지하는지가, 제 계획과 조직 전체에 걸쳐 훨씬 더 분산된 AI 역량 개발을 실행하는 방식에 있어 절대적으로 중요합니다. 좋은 소식은 이제 이 조직에서 수년간 경험을 쌓은 사람들이 있으며 그들이 다음 단계로 나아갈 준비가 되어 있다는 사실입니다. 또한 이를 통해 경력을 쌓고 다양한 조직에 진출하여 조직을 어떻게 이끌고 확장하고 조직의 성장을 도울 수 있는지 경험해 보는 좋은 기회를 얻을 수 있습니다.
Chief AI Officer의 성공을 측정하는 방법
Tom Soderstrom:
멋지군요. 이제 정말 어려운 질문을 하나 드리겠습니다. Chief AI Officer로서의 성공은 어떻게 측정해야 할까요? 그리고 Chief AI Officer가 되려는 사람이라면 누구든 “그럼 방법을 알려주세요. 비결이 뭔가요?”라고 물을 겁니다. 그런 분들을 위해 말씀해 주신다면, 성공은 어떻게 측정하시나요? 성공이란 무엇일까요?
Ron Keesing:
이러한 솔루션을 개발하고 솔루션 개발의 성공 여부를 측정할 때 가장 중요한 부분은 AI를 통해 실제로 파이프라인에 얼마나 많은 영향을 미치고 있는지 살펴보는 것입니다.
저희는 실제로 그것을 아주 명확하게 측정하고 있습니다. 모든 참여 데이터를 추적합니다. 예를 들어, 앞서 이야기한 AI 이니셔티브를 살펴봅니다. 그리고 파이프라인의 어떤 것들이 이러한 이니셔티브에서 우리가 개발 중인 기술을 사용하고 있으며 어떤 영향을 받는지 명시적으로 추적합니다. 결국에는 이러한 기여가 새로운 작업을 수주하는 데 얼마나 도움이 되는지도 살펴봐야 합니다. 예를 들어 제안서를 받을 기업으로 선정되는 데 있어서 그 기술이 강점으로 언급되고 있는지를 확인합니다. 이것이 일종의 파이프라인 측면입니다.
회사가 측정하고자 하는 또 다른 중요한 기준은 모두가 Chief AI Officer의 직무에서 기대하는 것일 텐데요. 바로 조직의 생산성을 높이는 데 어떻게 기여하고 있는가입니다. 어떻게 하면 효율성을 높일 수 있는가? 이것은 저에게 매우 흥미로운 주제입니다. 예를 들어 오늘날 AI와 관련된 실제 과제 중 하나는 생성형 AI를 사용하여 특정 워크플로의 효율성을 높이는 방법을 이해하는 것이지만 이러한 효율성을 어떻게 개선된 비즈니스로 전환할지는 명확하지 않기 때문입니다. 이게 무슨 뜻일까요? AI를 코딩 어시스턴트로 사용하는 것을 예로 들어보겠습니다.
코딩 어시스턴트로 제대로 사용한다면 AI는 훌륭한 기술이 되지만, 소프트웨어 개발자의 작업 효율성이 30~40% 더 높아지면 소프트웨어 개발자를 30~40% 적게 사용해도 작업을 수행할 수 있다는 뜻일까요? 아니면 더 안전한 소프트웨어를 만들게 되는 걸까요? 아니면 지금까지 불가능했던 기존 기술 부채를 해소할 수 있을까요?
이에 대해 생각해 보죠. 일부 조직에서는 비용에 어떤 영향을 미칠지를 측정하고자 합니다. 인원수를 줄이는 것은 쉽지만 대부분의 조직에서는 그렇게 될 것 같지 않습니다. 훌륭한 인간-AI 파트너십을 구축하면 더 많은 작업을 수행하거나 이전에 제대로 해결되지 않았던 문제를 해결하게 될 것이라고 생각합니다. 그리고 이런 종류의 영향은 솔직히 측정하기가 갈수록 더 어려워집니다. 그래서 저는 줄일 수 있는 잠재적 노동 시간을 측정하고 있지만, 그 절약된 시간이 실제로 각 비즈니스에서 어떻게 활용될지는 결국 그들에게 달려 있습니다.
Tom Soderstrom:
좋습니다.
생성형 AI 코딩이 규정 준수를 지원하는 방법
Tom Soderstrom:
한 가지 중요한 점은 저와 마찬가지로 여러분도 규제 산업에서 일하고 있다는 것입니다. 규정 준수 검증을 받지 못하면, 다음 단계로 나아갈 수 없습니다. 그러니 중요한 것은 검증이지 비용이 아닙니다.
Ron Keesing:
알겠습니다.
Tom Soderstrom:
이러한 규정 준수 검증은 구축 후에 많이 이루어집니다. 기다림의 연속이죠. 이와 관련해 생성형 AI와 코딩 어시스턴트가 도움이 된다는 점을 언급해 주셨으면 합니다. 일례로, 생성형 AI를 사용하는 기업 중 27%가 이러한 솔루션을 수용한 것으로 나타났습니다. 내부용이든 고객용이든, 어쨌든 프로덕션 환경에 적용했습니다. 하지만 보안과 규정 준수를 코드에 임베딩할 수 있다면, 규정 준수 검증 주기를 단축할 수 있고, 검증을 받는 것이 곧 비용 절감으로 이어지며, 측정 가능성이 개선됩니다. 이에 대해 어떻게 생각하세요?
Ron Keesing:
예, 맞는 말씀입니다. 예를 들어 코드 보안과 코드 배포를 개선하는 것은 실제 비즈니스 가치로 이어지는 방법 중 하나입니다. 그리고 가치 창출 시간에 대해 언급하셨는데요. 모든 소프트웨어에 해당되는 사실, 즉 어떤 코드든 이제는 작성한 지 6개월에서 1년 만에 구식이 되어버린다는 점 때문에 지금 이 분야가 주목받고 있습니다. 6개월 동안 진열대에 물건을 놓아둔다고 생각하면 그 가치의 절반이 떨어지는 셈이죠. 그런 점에서 전송 속도, 배포 속도가 정말 중요한데, 특별히 언급하셨다는 점이 흥미롭습니다.
코드 AI가 코드를 작성하는 데 정말 유용하다고 생각하는 사람들이 많습니다. 실제로 경험상 전체 DevOps 수명 주기에서 보다 광범위하게 볼 때 가장 가치가 높습니다. 이러한 모든 규정 준수 검증의 속도를 높이려면 어떻게 해야 할까요? 최대한 빨리 배포할 수 있도록 모든 측면에서 품질을 높이려면 어떻게 해야 할까요? 따라서 저는 특히 소프트웨어 관점에서 볼 때 배포 시간, 규정 준수에 걸리는 시간이 중요한 가치가 된다는 데 전적으로 동의합니다. 물론입니다.
Tom Soderstrom:
사람들이 코드 AI를 얼마나 채택하고 사용하고 있는지 어떻게 측정하시겠습니까?
Ron Keesing:
개발자들이 코드 AI와 코드 AI 어시스턴트를 어떻게 사용하는지 보면 실제로 정말 흥미로운 패턴을 확인할 수 있습니다. 사람들은 코드 AI 어시스턴트가 있으면 개발자가 코딩에 소비하는 시간이 줄어들고 AI가 그 일을 대신할 것이라고 생각합니다. 실제로 대규모로 해보면, 개발자들이 코딩 어시스턴트를 사용할 때 코딩에 시간을 더 많이 할애한다는 것을 알게 됩니다. 패키지를 작성하고, 모든 승인 기준을 작성하고, 단위 테스트를 작성하고, 문서를 작성하는 데 시간을 덜 쓰게 되죠.
그리고 이런 식으로 도움을 줄 코딩 어시스턴트를 끼워 넣을 수 있다면...
Tom Soderstrom:
맞습니다.
Ron Keesing:
... 그러면 갑자기 사람들이 그것을 진정으로 받아들이게 됩니다. 그리고 코딩을 개선하는 데에도 조금이나마 도움이 될 수 있다면 정말 좋은 일이죠. 소프트웨어 개발자한테 코딩 부분을 빼앗으려고 하면 굉장히 거부감이 느껴요. 하지만 그래야만 하죠.
Tom Soderstrom:
그렇군요. 전직 소프트웨어 개발자로서, 마음에 들지 않을 것 같긴 하네요.
Ron Keesing:
맞습니다. 그리고 그들이 하는 광범위한 작업에 코딩 어시스턴트를 추가하여 코드를 컨텍스트화하는 데 도움을 줄 수 있을지 생각해 보면 좋습니다. 대부분의 개발자들은 특히 이 분야에서는 수십 년 된 레거시 코드를 포함할 수 있는 거대한 레거시 코드 베이스를 기반으로 작업하고 있기 때문입니다. 그리고 대부분의 시간은 해당 코드가 어떤 일을 하는지 파악하는 데 소비됩니다. 따라서 코딩 어시스턴트가 개발자들이 레거시 코드 베이스에서 방향을 잡고 효율적으로 작업할 수 있도록 도와준다면, 개발자들이 정말 좋아하게 됩니다. 실제로 업무를 더 쉽게 만들어주고, 싫어하는 업무 부분을 없애주는 셈이니까요.
Tom Soderstrom:
저도 같은 생각입니다. 이와 관련해 흥미로운 점 중 하나로, 기술 부채에 대해서 알고 싶은데요. 기술 부채는 현실적인 문제입니다. 자금 조달이 매우 어렵습니다. 어떻게 해결해야 할까요? AI가 도움이 될 수 있다고 생각합니다. 클라우드에서는 인프라를 코드로 사용할 수 있습니다. 즉, 서버를 스핀아웃하는 방법을 문서화합니다. 이 그룹이 유지 관리해야 하는 오래된 서버를 갑자기 데이터 센터에서 제거할 수 있게 됩니다.
이것이 바로 하드웨어의 문제입니다. 소프트웨어는 바로 이 오래된 코드입니다. 어떻게 없애야 할까요? 개발자들은 다른 일을 하고 싶어도 해당 작업이 너무나도 중요하기 때문에 어쩔 수 없이 수행하게 되는 경우가 많습니다. 생성형 AI와 코딩 어시스턴트는 말씀하신 것처럼 이를 이해하는 데 도움을 줄 수 있으며 코드를 변환하고 옮길 수도 있습니다. 이제 코드를 클라우드로 옮기면 개발자들이 다른 작업을 할 수 있게 됩니다. 그렇게 되기를 바라죠. 어떻게 생각하세요? 가능하다고 생각하시나요?
Ron Keesing:
물론, 일정 측면에서는 가능하다고 생각합니다. 제가 보기에는 적어도 현재로서는 만능 해결책은 아니지만, 실제로 훌륭한 성과를 내고 있는 좋은 사례들이 있습니다. 코드형 인프라를 언급하셨는데, 코드형 인프라에 능숙한 사람들이 있는데, 그런 사람들은 어디서든 환영받고 높이 평가받습니다. 하지만 대부분의 사람들은 능숙하지 않습니다. 실제로 잘 설계된 코딩 어시스턴트는 비전문가들에게도 많은 코드형 인프라 작업을 수행하는 데 크게 도움이 된다는 사실을 확인할 수 있었습니다.
예를 들어 내부적으로 코딩 어시스턴트가 채택된 가장 큰 분야 중 하나는 CIO 부서입니다. 그들은 생성형 AI 코딩 어시스턴트를 사용하여 많은 새로운 코드형 인프라를 작성하고 있으며, 이는 바로 지적하신 것과 일치합니다. 이렇게 하면 일부 기술 부채를 해결하고, 시스템 수동 구성에 허비하는 시간을 줄이면서 이를 클라우드로 이전하고 더 현대적인 방식으로 운영할 수 있게 됩니다. 결과적으로, 더 흥미로운 문제 해결에 집중할 수 있는 여유 시간을 확보하게 되고, IT 시스템의 운영 방식을 진정으로 현대화하고 혁신하여 보다 효율적으로 일할 수 있게 됩니다.
Tom Soderstrom:
좋은 예입니다. AI, 특히 생성형 AI가 이미 비즈니스 성과를 창출하고 있는 다른 사례를 들어주실 수 있을까요?
Ron Keesing:
좋은 질문입니다. 누구나 관심을 가지는 주제죠. 우리 모두 ChatGPT나 다른 생성형 AI 시스템을 직접 사용해보았고, 이를 통해 멋진 성과를 낼 수 있을 것이라는 직관적인 기대감이 생기는 것 같습니다. 하지만 실제로 비즈니스 가치를 지속적으로 제공하는 사례를 찾기는 생각보다 어렵습니다.
제가 생각하는, 그리고 비즈니스 가치가 실제로 나타나고 있는 영역 중 하나는 일반적인 IT 서비스 프로비저닝 프로세스를 혁신하는 것입니다. 이는 전통적으로 매우 수동적인 프로세스입니다. 앞서 언급했듯이 Leidos는 방대한 헬프 데스크와 전통적인 지원 인프라로 미국 정부를 위한 대규모 네트워크를 관리합니다. 사실 대부분의 사람들은 IT 시스템이 작동하지 않을 때 누군가에게 전화로 문의해야 하는 번거로움을 싫어합니다.
Tom Soderstrom:
맞습니다.
Ron Keesing:
우선 IT 시스템이 자체 복구 및 수정되기를 원하거나, 필요한 경우 즉시 문제를 실제로 해결할 수 있는 채팅 기반 도우미와 상담할 수 있기를 원하죠.
저희는 맞춤형 IT 서비스 지원을 제공하는 생성형 AI 챗봇을 실제로 활용해 사용자 만족도를 높임으로써 큰 성공을 거두고 있습니다. 저는 일주일에 적어도 두세 번은 IT 지원 담당자에게 연락합니다. 저희는 Leidos 내부에서 정말 강력하고 매우 성공적인 시스템을 하나 사용하고 있는데, 이제 이를 많은 정부 고객들에게도 확대하고 있습니다.
Ron Keesing:
제가 여러 면에서 가장 기대하고 있는 변화 분야 중 하나는 아직 얼마나 성과를 낼 수 있을지는 확실치 않지만, 생성형 AI를 통해 디지털 엔지니어링, 설계, 시스템 엔지니어링 분야를 혁신하고, 전통적으로 매우 수작업 중심인 프로세스의 상당 부분을 자동화하는 것입니다.
Tom Soderstrom:
저에게는 그게 당연하게 느껴집니다. 스케일 업하는 사례를 많이 보는데, 규모가 커지면 어려움도 함께 따르니까요. 매우 복잡한 시스템 엔지니어링 작업과 같은 작업을 수행할 때는 추적해야 할 것들이 많습니다. AI가 잘하는 것이 하나 있다면 많은 세부 정보를 추적하는 것입니다.
AI 거버넌스의 미래에 대한 Keesing의 조언
Tom Soderstrom:
그렇다면 AI의 미래는 어떤 모습이라고 생각하시나요?
Ron Keesing:
자, 이제 논란의 여지가 있는 주제를 꺼내보겠습니다.
Tom Soderstrom:
좋습니다. 부탁합니다.
Ron Keesing:
지금은 AI 분야에서 정말 흥미로운 시기라 할 수 있습니다. 오늘날 우리가 일하는 방식을 생각해 보면 우리가 사용하는 모든 프로세스는 텍스트 생성과 텍스트 소비를 기반으로 하기 때문입니다. 인간은 텍스트를 생산하고 또 텍스트를 소비합니다. 이제 우리는 텍스트의 궁극적인 제작자가 되기 위해 AI를 갈수록 더 많이 사용하게 될 시대로 접어들고 있습니다. 그리고 궁극적으로는 AI가 텍스트를 갈수록 더 많이 소비하게 될 것입니다.
제가 몸담은 분야, 즉 미국 정부에 사업 제안서를 작성하는 과정에서 이것이 어떻게 적용될 수 있는지 예를 들어보겠습니다. 누구나 그렇듯 저희도 AI를 사용하고 있습니다. 그리고 AI를 사용하여 제안서 작성 프로세스를 간소화하고 개선할 방법에 대해 고민하고 있습니다. 물론 말씀하신 것처럼, AI가 초안을 만들고, 그 이후에는 사람이 반복하면서 다듬습니다. 시간이 지남에 따라 AI가 점점 더 이 분야에서 능숙해질 것으로 기대합니다. 갈수록 고객들이 처리해야 할 제안서는 많아지고, 인력은 줄어들고 있습니다. 그래서 이제 이 제안서를 읽고 분석하는 데 AI를 어떻게 활용할지 고민하게 됩니다.
Tom Soderstrom:
정말 흥미롭습니다.
Ron Keesing:
그렇죠?
Tom Soderstrom:
예.
Ron Keesing:
따라서 제한적인 경우에 우리가 무엇을 할 것인지 생각해 보면, 일종의 지식 덩어리를 만들어 AI 시스템에 공급한 다음 멋진 서면 제안서를 만들어내게 될 것입니다. 고객은 자신들의 AI 시스템을 사용해 우리 제안서를 읽고, 지식 덩어리를 추출한 다음, 이를 어떤 방식으로든 비교하여 선정할 업체를 결정하게 됩니다. 그리고 사실 우리는 이 AI 시스템 덕분에 생산성이 크게 향상되었다고 평가할 수 있지만, 실질적인 근본적 가치는 추가되지 않았습니다. 모든 텍스트 인코딩 및 디코딩이 실제로 활용되지 않고 있기 때문입니다.
정말 흥미로운 점은, 우리가 개발한 모든 워크플로가 단순히 조직 내부뿐만 아니라 조직 간에도 적용되고 있고, 여기서 텍스트가 지식 전달의 매개체 역할을 한다는 것입니다. 우리는 모두 AI를 활용해 이 방식을 혁신하는 것에 열광하지만, 실제로 진정한 가치를 창출하려면, 그 프로세스가 작동하는 방식을 혁신하고, 텍스트가 오늘날 우리가 생각하는 것만큼 효과적인 교환 매체가 아닐 수 있다는 사실을 인식해야 합니다.
Tom Soderstrom:
정말 흥미롭군요. 여러분과 저는 많은 대규모 제안서를 작성해 왔지만, 여러분이 결국 전달하게 되는 것은 처음에 작성한 것의 일부에 불과합니다. 많은 시간을 낭비하는 셈이죠.
Ron Keesing:
알겠습니다.
Tom Soderstrom:
그렇다면 이러한 부분을 재사용할 수 있을 것이고 AI가 도움이 될 수도 있을 겁니다. 정말 기대되는 일입니다.
Ron Keesing:
오늘날의 시스템으로 그렇게 되려면 아직 갈 길이 멉니다. 하지만 결국 우리는 이미 사람들이 AI를 활용하는 모습을 보고 있습니다. 예를 들어, 누군가는 AI로 핵심 요점을 만들고, 이를 이메일로 확장하도록 AI에 요청하며, 한쪽에서는 AI에게 그 이메일을 읽고 핵심 내용으로 압축하도록 요청하는 식입니다. 따라서 우리는 이미 이러한 종류의 워크플로가 나타나기 시작하는 것을 목격하고 있습니다. 그리고 앞으로는 갈수록 우리가 정말로 원하는 업무 방식을 고민해야 할 것 같습니다.
예를 들어 입찰자를 선정하는 시대를 생각해 보면, 우리가 할 수 있는 것은 실제 구두 발표를 하고 발표자를 직접 만나는 방식으로 변화하는 것입니다. 이제 500페이지에 달하는 대규모 서면 제안서는 실질적으로 그렇게 의미 있지 않기 때문입니다.
제가 보기엔, 방금 하신 말씀이 많은 스타트업들에게 “아, 나도 그거 작성할 수 있겠네”라는 생각을 하게 만들 것 같습니다. 그렇게 될 것 같아요. 우리는 아직 초기 단계에 있습니다. 정말 흥미진진한 시기죠. 그래서 이제 사람들은 지켜보면서 “나도 Chief AI XX Officer가 되고 싶다”고 생각하게 됩니다. 어떤 조언을 하실 수 있을까요? 세 가지 조언을 선택하라고 한다면, Chief AI Officer가 되고 싶은 사람에게 어떤 조언을 해주고 싶으신가요?
Ron Keesing:
지금 이 순간 우리의 상황에 맞추어 조언을 해드리겠습니다.
Tom Soderstrom:
그렇군요.
Ron Keesing:
지금 이 순간 AI 분야에서 조직이 앞으로 나아가도록 돕고자 한다면, 먼저 데이터에 집중하라는 조언을 드리고 싶습니다. 대부분의 조직은 AI로 달성할 수 있는 목표에 대해 엄청난 포부를 가지고 있지만, 보유한 데이터는 제가 말씀드리는 AI 지원 형식으로 되어 있지 않습니다. 그 때문에 조직은 문제를 해결하기 위해 실제로 AI를 활용할 기회조차 갖지 못하게 됩니다.
물론 데이터를 개선하려는 어떤 시도든 10년짜리 긴 여정이 되거나 결국 아무 성과도 없는 고된 과정이 될 수 있습니다. 따라서 이를 진행할 때는 매우 집중적이고 전략적인 접근이 필요합니다. 즉, AI가 업무 방식을 혁신하는 잠재력을 발휘할 수 있도록, 조직의 핵심 비즈니스 방식을 표현하는 데이터 제품으로 구성된 AI 기반 계층을 어떻게 만들지를 고민해야 합니다.
제가 드리는 두 번째 조언은 하나의 파트너십으로서 AI가 사람들과 어떻게 협력할지 진지하게 생각해 보라는 것입니다. AI에 관한 대화는 대부분 “AI가 인간의 일자리를 빼앗을 것인가? 사람을 배제해야 하는가?”라는 논쟁으로 흐릅니다.
우리 모두는 이런 말을 듣고 그런 경우를 목격하고 있습니다. 사실, 우리처럼 오래 AI 분야에서 일해온 사람들은 성공적인 AI 프로젝트는 거의 항상 인간이 잘하는 것과 기계가 잘하는 것을 결합하는 것임을 알고 있습니다. 그리고 진정한 시너지 효과를 내는 파트너십을 만들고, AI가 작동하는 방식을 사람과 AI 시스템 간의 시너지 있는 파트너십으로 정의하는 것이 성공의 핵심입니다.
AI 시스템의 작동 방식을 실제로 개선하는 데 가장 중요한 데이터의 대부분은 사람이 그 AI 시스템과 상호 작용할 때 얻어집니다. 따라서 인간과 기계의 파트너십을 핵심 구조로 삼는 것은 자신만의 AI 솔루션을 구축하려는 모든 사람에게 강력히 추천하는 접근 방식입니다.
세 번째는 일종의 거버넌스 책임자 역할을 맡는 것입니다. 제가 아는 대부분의 조직은 이제 AI를 어떻게 관리할지, 혁신적이면서 동시에 거버넌스를 갖출 수 있는 방법에 대한 도전을 시작하고 있습니다. 저에게 있어 이 균형점을 찾는 것은 결국 AI 리스크를 명확히 이해하고, 그 리스크가 어떻게 발생하는지 파악하며, 리스크를 관리할 수 있는 방법을 갖추는 것입니다.
거버넌스에 집중하지 말고 리스크가 낮은 AI 사용 사례에 거버넌스 리소스를 집중하세요. 사람들이 실험하고, 신속하게 작업을 진행하고, 무엇이 효과가 있는지 알아내게 하세요. 그리고 한정된 거버넌스 리소스는 항상 비즈니스 리스크를 야기하는 실제 문제에 집중하게 하세요. 또한, AI 거버넌스 방식을 조직의 전반적인 리스크 관리 방식과 연계하여 실제 비즈니스 원칙에 기반을 둘 수 있게 하세요.
Tom Soderstrom:
정말 좋은 조언입니다. 혹시 Amazon의 단방향 도어 결정과 양방향 도어 결정이라는 원칙에 대해 들어 보셨나요?
Ron Keesing:
아니요, 모릅니다.
Tom Soderstrom:
단방향 도어 결정은 최고 경영진만 내릴 수 있는 결정을 말합니다. 신규 리전을 설치하는 데 수십억 USD를 지출하는 등의 중대한 결정이죠. 대부분의 결정은 양방향 도어 결정에 해당합니다. 문을 지나가도 다시 돌아올 수 있는 결정을 말하죠. 지금 말씀하신 내용은 그 개념에 아주 잘 들어맞습니다. 중요한 사안은 리스크 전문가에게 맡기고, 사람들이 리스크가 적은 상태에서 실험할 수 있도록 하는 거죠. 대부분의 상황에서 리스크를 줄일 수 있다면 정말 빠르게 앞으로 나아갈 수 있습니다.
Ron Keesing:
예, 맞습니다.
Tom Soderstrom:
훌륭한 조언이라고 생각합니다. 오늘 좋은 말씀을 해주신 데 대해 진심으로 감사드리며, 앞으로도 이런 대화가 더 많이 이어질 것이라고 봅니다. 그리고 앞으로 우리가 성공을 어떻게 측정할지 지켜보는 것도 흥미로울 것입니다. 아직 초기 단계니까요.
Ron Keesing:
물론입니다.
Tom Soderstrom:
Chief AI Officer로서의 삶이 어떤지 궁금한 AI Officer라면 Ron에게 연락해 보세요.
Ron Keesing:
예.
Tom Soderstrom:
감사합니다.
Ron Keesing:
고마워요, Tom.
우리가 하는 일은 대부분 데이터에 의존하며, 방대한 데이터를 다루는 복잡한 대규모 시스템을 구축하는 데 달려 있습니다. 이런 종류의 임무에서 AI는 곧 미래입니다.
Ron Keesing, Leidos Chief AI Officer