Driving Invention with the Latest in AWS Generative AI

Jonathan Allen:
먼저 이 자리에 함께 해 주셔서 감사합니다. 오늘 아침부터 정말 바쁘셨죠. 멋진 기조 연설이었습니다. 지금까지 팀이 이루어낸 성과를 통해 많은 열정과 자부심을 느낄 수 있었습니다. 오늘 아침에 발표하신 내용만 해도 20건이 넘더군요.

Swami Sivasubramanian 박사:
맞아요.

Jonathan 알렌:
직접 겪는 기분이더라고요. 또 그 다음… 또 그 다음… 정말 대단했어요. 고객을 위한 엄청난 양의 혁신인 발표에 대해 생각해 볼 때 실제로 염두에 두어야 할 두세 가지는 무엇입니까?

Swami Sivasubramanian 박사:
물론이죠. 우선 초대해 주셔서 감사합니다. 이렇게 여러분들과 만나게 되어 정말 반갑습니다. 마치 제 아이들 중에 누가 제일 맘에 드냐는 질문 같군요. 여담이지만, 저는 아이 둘에 강아지 한 마리까지 해서 셋이에요.

중요한 건, AWS의 AI 접근 방식은 단순히 하나의 모델이나 챗봇에 국한되지 않는다는 겁니다. 미래에는 모든 기업의 기술 스택 전 계층에서 혁신이 일어날 것이라 생각합니다. 이 컨텍스트를 설정하고 질문에 답할 것이기 때문에 모든 사람이 생각하기 때문에 중요합니다. 물론 Bedrock이 제공하는 기능을 갖춘 모든 도구와 모델로 혁신하려는 모든 조직의 모든 애플리케이션 개발자를 보게 될 것입니다. 그리고 생성형 AI 어시스턴스가 개발자와 비즈니스 사용자, 데이터 분석가를 실질적으로 도울 겁니다.

하지만 사람들이 종종 잊어버리는 점이 하나 있죠. 요즘 시대에 졸업하는 모든 컴퓨터 공학 전공 학부생이나 대학원생들은 대규모 언어 모델(LLM)을 처음부터 직접 구축할 줄 안다는 사실입니다. 이는 이미 일어나고 있는 일입니다. 즉, 앞으로 여러분의 조직 내 인력에서 이러한 오픈 소스 모델을 직접 다룰 수 있는 능력을 갖춘 사람들을 계속해서 보게될 겁니다. 모든 기술 스택의 각 계층에서 지속적인 혁신을 이어가는 것이 중요한 이유도 그에 있습니다. 그러한 구축 과정에서요.

그럼 본론으로 들어가 몇 가지를 소개해 드리도록 하겠습니다. 먼저 저는 AWS에서 일한 지 18년 정도 되었는데요. 따라서 GenAI를 사용하는 여러 가지 면에서 말 그대로 소수의 사용자만 있었을 때 AWS 초기의 많은 시간을 상기시킵니다. 아마도이 방의 크기와 그렇지 않을 것입니다. 이는 단지 AWS의 인원 수 때문이 아니라, 혁신의 속도와 그것이 얼마나 큰 변화를 가져왔는지 때문이었습니다.

또한 Bedrock의 혁신 속도는 DynamoDB 또는 S3를 구축한 시간이나 그 밖의 여러 시간을 일깨워 줍니다. 그리고 전례 없는 시기에는 여전히 흐릿합니다. 2023년은 프로토타입이 전부였습니다. 누구나 그랬죠. 당시 고객들은 어떤 개념 증명이 효과가 있는지, 어떤 것이 실질적인 가치를 주는지, 또 어떤 것은 그렇지 않은지를 실험하고 있었습니다.

2024년에 들어와서는 프로덕션으로 전환하는 데 필요한 요구 사항에 초점을 맞추고 있으며, 어떤 모델이 어떤 사용 사례에 적합한지 파악하는 데 많은 노력이 필요하다는 것을 알게 됩니다. 그러면서 고객들은 깨닫게 됩니다. “하나의 모델로는 부족하구나. 다양한 모델이 필요하겠네. 그리고 비용 효율성도 갖춰야 해. 적절한 가드레일은 물론 여러 에이전트를 활용할 수 있어야 해.”

Bedrock이 중요한 의미를 갖는 이유도 여기에 있습니다. 해당 버킷의 모든 계층에서 이러한 혁신을 이루었기 때문이죠. 모델의 다양성 측면에서 심지어 업계 최초인 AWS도 단일 모델 출시보다는 다양한 모델의 필요성을 강조했습니다. 당시 사람들은 그걸 약점이라고 생각했어요.

실제로 RDS는 단일 데이터베이스로 시작되지 않았습니다. 우리는 여러 데이터베이스로 시작했습니다. 왜냐하면 개발자들이 혁신의 자유를 원하기 때문입니다. 이 업계에서 늘 반복적으로 볼 수 있는 일이죠. 개발자들은 데이터베이스, 모델, 도구에 대한 선택권을 갖고자 합니다.

AWS는 항상 개발자들에게 도구와 선택의 자유를 주기 위해 노력했기 때문에 지금 이 자리까지 왔습니다. 우리는 Bedrock에서 이 이점을 강화했습니다. 하지만 우리는 모델에 그치지 않고 다양한 도구도 함께 제공했습니다. 바로 거기에서 혁신을 볼 수 있습니다.

그러나 제가 가장 좋아하는 영역은 물론 데이터 자동화 분야입니다. 많은 사람이 액세스가 전혀 불가능한 수많은 데이터를 다루고 있습니다. 이제 코드를 작성할 필요 없이 모든 비정형 데이터를 위해 생성형 AI 기반 ETL을 사용할 수 있습니다. 정말 엄청난 기능이라고 생각합니다.

물론 제가 생각하는 또 다른 대단한 기능은 Q Business입니다. 다시 말씀드리지만 저는 엔지니어로 일하다가 어느 시점부터 팀 관리 및 비즈니스 관리를 맡게 되었습니다. 그래서 저는 비즈니스 관련 질문을 많이 합니다. 저는 가격 책정 및 기타 다양한 일을 수행하는데 스프레드시트 작업을 잘 못합니다. 그래서 항상 우리 재무팀을 보면서 대단하다고 생각해요. 정말 마법처럼 표와 문서 작업 등을 척척 해내거든요.

그래서 저는 스프레드시트보다는 Python이나 Polcode로 작업하곤 합니다. 그게 제 스타일이에요. 하지만 오늘날 Q 시나리오로 할 수 있는 일은 놀랍습니다. 예전에는 복잡한 비즈니스 과제나 시나리오 분석에 보통 스프레드시트로 3주 정도 걸리던 일들을 여기서 바로 처리할 수 있다면, 판도를 완전히 바꿀 수 있겠죠.

이는 개발자에도 해당됩니다. Copilot 같은 여러 코딩 어시스턴트들이 많이 등장하고 있지만, 실제론 전체 업무 중 20%밖에 다루지 못합니다. 개발자가 완전히 새로운 코드를 작성하는 데 100% 시간을 투입하지는 않으니까요. 그런 일은 거의 신화에 가깝죠. 사람들은 신화가 사실이기를 바라지만 사실이 아닙니다.

결국 개발자들은 문서 작성, 단위 테스트, 코드 검토, 성능 엔지니어링, 운영 조사 등에 시간을 소비하게 됩니다. 그렇다면 어떻게 하면 개발자가 코딩에 100%의 시간을 투입하도록 할 수 있을까요? 나머지 80%의 작업을 해결해주면 됩니다. 이것이 바로 Q를 계속 출시하면서 우리가 한 일입니다. 제가 가장 좋아하는 일이기도 하고 이미 Amazon에서 볼 수 있습니다.

우리가 실제로 Java 소프트웨어 업그레이드를 모두 Q에 맡겼을 때, 첫 7개월 만에 무려 4,500년치 개발자 작업 시간을 절감할 수 있었습니다. 그때 이룬 생산성 향상에 대해 생각해 보세요. 더 이야기하고 싶지만, 여기서 마무리하겠습니다.

Jonathan 알렌:
맞아요, 그 4,500이라는 숫자를 보고 있으면, 한참 동안 이해가 안 되었다가 “이게 정말 가능한 숫자인가?”라는 말이 나오죠. 그리고 나서 데이터를 보고, 여러 과정을 거치고, Andy의 설명을 듣고 나서야 “이건 진짜 엄청난 숫자이지만 현실적인 숫자이고, 정말 중요한 의미가 있구나.”하고 깨닫게 됩니다.

Jonathan 알렌:
이제 나와 함께 생성형 인공 지능을 통해 실제 문제를 해결하는 방법을 반복한 많은 고객과 협력합니다. 어제 Andy는 우리가 거쳐야 하는 반복 과정에 대해 아주 설득력 있는 설명을 해주었습니다. 하지만 고객이 99%까지 그 과정을 완료하고 나서 할루시네이션 때문에 잠시 멈추는 모습을 보곤 합니다.

Swami Sivasubramanian 박사:
네.

Jonathan 알렌:
Amazon에서는 과학 기반의 다양한 업무를 진행하고 있는데요. 그리고 그 과정에서 우리가 이룬 진전에 대해 말씀해 주시면 좋을 것 같습니다.

Swami Sivasubramanian 박사:
LLM이 무엇을 할 수 있는지 생각해 보면 정말 흥미로운 분야라고 생각합니다. 하지만 많은 사람들이 종종 잊고 있는 점이 하나 있습니다. LLM이 본질적으로 매우 확률적인 모델이라는 것이죠. 그리고 모델이 1%의 확률로 틀리거나 정확하지 않더라도 결국에는 무언가를 생성하게 됩니다. 그렇다면 이 문제는 실제로 프로덕션의 걸림돌이 될 수 있습니다. 특히 규제 산업의 경우에는 더욱 그렇죠.

그래서 이 문제를 살펴보며 자문했습니다. “더 확실하게 해결할 수 있는 최선의 방법은 무엇일까?” 우리 팀이 자동 추론 과학에 투자하고 있는 이유가 바로 여기에 있습니다. 엔지니어가 AWS의 IAM 정책 도구 및 작성 기능을 활용하고 있다면, 해당 정책이 AWS나 고객이 생각하는 방식으로 실제로 적용되고 있는지를 확인하기 위해 이미 자동 추론 기능을 사용하고 있습니다.

이것은 형식적 논리를 사용하여 수학적으로 검증할 수 있는 구조와 같습니다. 그리고 우리는 실제로 자동 추론을 통해 제공되는 수학적 증명을 생성형 AI의 창의성 및 표현력과 결합해도 좋겠다는 생각을 했습니다. 상당히 창의적이면서도 형식적인 논리에 기반을 둔 무언가를 만들어내는 것이죠.

이는 어떤 의미에서 상황을 바꿀 수 있는 획기적인 혁신이었다고 봅니다. 이 문제가 향후 규제 산업에 생성형 AI 혁신을 도입하는 데 있어 큰 걸림돌이 될 것이기 때문입니다. 그리고 우리는 이러한 분야의 몇몇 고객과 함께 일하고 있습니다. 그리고 초기 결과는 정말 매우 긍정적입니다. 이 모델에 ‘절대 위반할 수 없는 규칙과 기본 원칙’을 기재한 문서를 적용해야 합니다. 그런 다음, 이 문서를 가드레일로 사용합니다. 그리고 LLM이 위반해서는 안 되는 가드레일 역할을 하는 의미론적 모델을 구성합니다.

LLM이 부정확한 응답을 생성하면 다시 돌아가서 LLM에 이렇게 말합니다. “더 나은 답변이 필요합니다. 이 사항을 위반하고 있습니다.” 그렇다고 해서 갑자기 모든 것이 나아지지는 않습니다. 생각해 보면 이런 기법은 Java 업그레이드에서도 사용되었습니다. 형식적 논리는 새로운 개념이 아니며, 오늘날에도 컴파일러 등 다양한 방식으로 컴퓨터의 구동 기반이 되고 있습니다.

바로 이것이 우리가 하고 있는 일이며, 그에 대한 기대도 큽니다. 물론 훨씬 더 많은 기계 학습 기반 혁신이 일어나고 있습니다. 그리고 우리가 Nova 및 기타 다양한 기능들을 구축한 이야기에 대해서도 자세히 이야기할 수 있습니다. 그러나 아직 업계는 이 부문을 주목하지 않고 있습니다.

이 둘은 일종의 음양 관계에 있다고 생각합니다. 왜냐하면 형식적 논리는 확실성에 관한 것이지만, 생성형 AI는 창의성을 발휘하고 불완전함을 수용하는 데 중점을 두기 때문입니다. 형식적 논리와 생성형 AI를 잘 결합한다면 놀라운 결과를 기대할 수 있습니다.

Jonathan 알렌:
규제 대상 산업에서는 수학적 증명이 잘 확립되어 있다고 생각합니다. 하지만 자동 추론 요소가 도입되고 있고, 고객의 의견을 들어보면 고객은 자동 추론 요소를 빠르게 수용할 것으로 보입니다. 정말 기대됩니다.

Amazon에 입사하기 전, 고객으로 이 자리에 앉아 있었을 때는 Amazon이 어떤 교훈을 얻었는지 듣고 싶었습니다. Amazon에서 오래 근무하신 것으로 아는데요. Amazon에서 많은 기계 학습 및 생성형 인공 지능 이니셔티브를 진행하셨죠.

이 이니셔티브를 추진하는 과정에서 얻은 가장 인상적인 교훈을 이 자리에서 두세 가지 공유할 수 있을까요? 여기 모인 분들이 무의식적으로 같은 실수를 하거나 그런 실수를 전혀 하지 않도록 공유해주시면 어떨까요?

Swami Sivasubramanian 박사:
네, 어려운 질문이네요. 최첨단 기술을 사용할 때, 조직 소유자 또는 제품 책임자가 저지르기 쉬운 몇 가지 실수 중 두세 가지를 말씀드리자면요. 결국 엔지니어부터 CXO 레벨까지 모든 사람들이 처음부터 충분한 시간을 투자해 직접 다뤄보고 실험해 보지는 않습니다.

이 기술은 직접 이해하고 수용하며 실험해보지 않으면, 그 힘과 잠재력을 깨닫기 어려운 대표적인 사례 중 하나라고 생각합니다. 그리고 제 입장에서도 이 점을 간과하는 경우가 많습니다. 그래서 저는 매주 몇 가지 규칙을 반드시 지키려고 마음먹고 실천하고 있습니다.

저는 개인적으로 적어도 3~4명의 고객을 만나고, 적어도 3~4개의 연구 논문을 읽습니다. 이것이 두 가지 규칙입니다. 그리고 팀원들에게도 말하죠. 그리고 주말에는 재미로 코드를 작성하거나 딸과 함께 로봇 공학 프로젝트를 진행합니다. 현실의 감각을 유지하고, 현장을 잘 이해하기 위해서죠.

Jonathan 알렌:
네, 그렇게 하면 지킬 수밖에 없겠네요.

Swami Sivasubramanian 박사:
맞습니다. 그렇지 않으면 현실과 동떨어진 상태에서 일하게 되죠.

두 번째로는, 기술 혁신의 속도가 너무 빨라서 기존의 대규모 관리 방식이 제대로 작동하지 않게 되었고, 우리는 그에 맞춰 조율할 필요가 있었습니다. 지금은 기술 혁신의 속도가 5년 전보다 무려 10배나 빨라지고 있습니다.

기존의 프로그램 및 엔지니어링 프로젝트 관리 방식은 여러분이 원하는 혁신 속도를 따라가지 못할 수도 있습니다. 따라서 너무 세세한 사항에 매몰되지 않는 다른 스타일의 관리가 필요합니다. 그리고 실제로 제품을 설계하고 코드를 작성하는 등의 작업을 수행하는 사람과 만나기 위해 모든 계층의 관리자를 거칠 필요는 없습니다. 지난 3년 동안 제 스타일도 크게 달라진 것은 그런 이유도 있습니다.

그리고 세 번째는 말할 필요도 없이 Amazon DNA입니다. 프로세스를 뒤집어 고객의 문제에서 출발해서 달성하고자 하는 비즈니스 목표를 추구하는 방법이죠. 물론 저도 생성형 AI, AI, 데이터에 큰 열정을 가지고 있지만, 이는 결국 고객과 비즈니스의 문제를 해결하기 위한 수단일 뿐입니다.

딥 러닝과 생성형 AI 초창기에도 우리가 수많은 개념 검증을 시도했지만, 대부분은 결국 무덤에 묻히듯 서서히 사라졌습니다. 투자 수익률 측면에서 무엇이 우리 비즈니스에 영향을 미칠 것인지 예상하지 못했기 때문입니다.

투자 수익률은 그 어느 때보다 중요하고, 특히 비용이 매우 높은 생성형 AI 세계에서는 더욱 그렇습니다. 제가 출시한 기능을 보셨을 텐데요. 이중 기능이 대규모 관리를 위한 것입니다. SageMaker HyperPod 태스크 거버넌스는 Amazon에서 아주 중요한 교훈을 의미합니다. 작년에는 생성형 AI 프로젝트를 다수 진행했습니다.

추론, 학습, 미세 조정 및 실험이라고 지칭할 수 있는 프로젝트입니다. 그리고 우리는 프로젝트간 리소스를 자동 이동하는 시스템을 내부적으로 구축했습니다. 추론이 왜 대단하냐면, 음. 대단한 점이라고 하기 보다는... 추론에서 어려운 점이라고 해야겠죠. 추론에서 어려운 점은 최대 부하 시 우리 쇼핑 에이전트가 두 개의 인스턴스로 1,000회의 학습을 해야 한다는 것이죠. 밤에는 쇼핑하는 사람이 많지 않지만 이러한 인스턴스를 유휴 상태로 둘 수는 없습니다. 하지만 고객은 이상적으로는 학습이나 미세 조정 실험과 같이 시간에 민감하지 않은 워크로드에 추론을 할당하고자 할 것입니다.

그러려면 적극적인 리소스 관리가 필요했습니다. 그래서 우리는 이 시스템을 구축하게 되었습니다. 그후 실제로 많은 고객, 특히 CEO들과 이야기를 나눴을 때 그들은 이렇게 말했습니다. “여기에 많은 자금을 투입하는데 활용도가 그렇게 높지 않습니다. 그 이유가 무엇인가요?” 저희는 이렇게 답했습니다. “AWS 내부에서는 이렇게 하고 있습니다.” 그러자 고객들이 “그걸 SageMaker에는 적용할 수 없나요?”라고 묻더라고요.

그 말이 중요한 교훈이 되었습니다. 실제로 생성형 AI를 대규모로 수행하려면 비용 관리에 매우 능숙해야 합니다. 그래서 초고성능 태스크 거버넌스뿐만 아니라 모델 증류를 활용해 추론 단계에서 규모를 조정하는 것에도 많은 관심을 기울인 이유입니다. 그리고 지능형 프롬프트 라우팅과 같은 것들도 있죠. 우리는 이런 기법들을 내부적으로 활용하고 있습니다. 특히 생성형 AI 프로젝트가 커지면서 활용도나 비용 면에서의 아주 작은 개선도 큰 차이를 만들기 때문입니다.

Jonathan 알렌:
어제 한 고객을 만나서 이야기를 들었습니다. 저도 비슷한 사례를 몇 번 보았지만, 그 고객은 생성형 AI로 하고 싶은 작업에 대한 100개의 후보를 정리해 두었습니다. 고객은 그 중에서 몇 가지를 선택했지만, 그 한두 가지를 실제로 시작하는 데 어려움을 겪고 있습니다. 아시다시피 방해 요인이 있습니다.

Jonathan 알렌:
제가 고객으로서 알게 된 것은 클라우드 마이그레이션 및 현대화 초창기 때나 지금이나 마찬가지로 스탠드업 단계에 가까워지고 있으며 방해 요인의 제거가 매우 중요하다는 사실입니다. 하지만 고객이 이러한 생성형 AI 이니셔티브를 통해 추진하고자 하는 한두 가지 작업은 무엇일까요? 초기 실험을 거쳐 실제 프로덕션 단계로 규모를 조정하는 고객에게 무엇을 추천하시나요?

Swami Sivasubramanian 박사:
프로토타입에서 프로덕션으로 전환하는 과정에서는 실전에서 무엇이 효과가 있고 없는지에 대해 매우 세심한 주의를 기울여야 합니다. 이것이 1순위입니다.

이 LLM을 실제 환경에 배치했을 때, 특히 고객에게 이런 프로젝트를 선보이면, 해당 프로젝트가 큰 반향을 일으킨다는 것이 흥미롭습니다. 우리는 경계에 지나치게 집착할 때가 있습니다. “이 주제를 제외하고 어떤 주제의 질문도 받고 싶지 않아요.”라고 말하는 식이죠. 그러면 챗봇은 여러분이 규칙 엔진으로 작성한 질문 다섯 개에만 답할 수 있게 됩니다.

따라서 균형을 잘 잡아야 합니다. 계속 실험해 보아야 합니다. 따라서 반복 속도는 매우 중요합니다. 특히 프로덕션 규모를 확장할 때는 더욱 그렇습니다. 그래서 일부 도구의 장점을 보고 가드레일 같은 요소들을 계속 반복하고 조정할 수 있는 능력이 중요한 것입니다.

그리고 추론 비용은 정말 큰 문제입니다. 이것은 우리가 많이 실험하기도 했고 저도 언급했던 문제입니다. 세 번째로, 생성형 AI를 콜 센터 자동화 및 기타 다양한 작업을 수행하는 애플리케이션처럼 하나의 라드 부문이 주도하는 것으로만 생각할 때가 있습니다.

우리는 때때로 비개발자와 비즈니스 사용자가 데이터와 분석을 더 빠르게 활용하여 데이터 기반 결정을 내릴 수 있도록 지원하는 생성형 AI 어시스턴트의 역량이 판도를 바꿀 수 있다는 사실을 잊어버립니다.

현재 많은 Amazon 비즈니스에는 카테고리 구매자 또는 광고 종사자 등 기술 전문가가 아닌 사람들이 있습니다. 실제로 그들은 Q와 같은 기술을 적용할 수 있고 데이터 레이크에 액세스하여 분석을 주도할 수 있습니다. 그러면 의사 결정의 속도가 크게 가속화되기 때문에 생성형 AI 어시스턴트로 인해 판도가 완전히 달라질 것입니다.

Jonathan 알렌:
오늘 아침에 있었던 기조 연설에서 두세 명의 고객이 무대에 함께 올라와 멋진 사례를 공유해 주었는데요. 저도 고객과 함께 협업할 때 이러한 요소 중 일부를 적용하면 놀라울 정도로 효과가 좋았습니다.

따라서 중요한 차이를 만들 수 있는 경우 Amazon Q for Connect. 정말 어려운 콜 센터 상담사 업무를 조금이나마 덜 힘들게 만들어주는 거죠. 업무에 도움이 됩니다. 그리고 오늘 아침 발표된 검색 증강 생성 관련 발표는 그 속도를 더욱 가속화해준다는 측면에서 매우 흥미로운 소식이라고 생각합니다.

Jonathan 알렌:
혹시 기억에 남는 고객이 있으세요? “와, 이건 정말 예상 못 했는데”라는 생각이 드는 고객들이요.

Swami Sivasubramanian 박사:
일반적인 고객 패턴을 보면 2~3개의 버킷으로 구분할 수 있습니다. 첫 번째 버킷은 생성형 AI를 사용하여 완전히 새로운 제품 또는 완전히 새로운 고객 경험을 창출하는 유형입니다. Autodesk의 Eco처럼 생성형 AI를 사용하여 3D 설계를 거의 재구상하는 사례가 여기에 속하죠. 해당 산업의 판도를 바꾸어 놓을 중대한 혁신입니다. 어떤 면에서는 수익을 높이는 것과 다르지 않은 중차대한 사건입니다.

두 번째는, 생성형 AI를 활용해서 고객을 위해 더 빠르고, 더 저렴하게, 더 나은 방식으로 일을 처리하는 것입니다. 생성형 AI를 활용하여 모기지 신청 워크플로를 자동화할 수는 없을까요? Rocket도 비슷한 이야기를 했죠. 아니면 어떻게 하면 고객에게 더 빠르게 서비스를 제공할 수 있을까요? 그 외에도 다양합니다. 이 버킷도 아주 중요합니다. 수익을 개선하는 효과가 있으니까요.

그리고 제가 말씀드리고 싶은 세 번째 버킷은 우리는 이미 혁신적이라는 것입니다. 우리는 거대한 소프트웨어 개발 팀도 관리합니다. 그리고 다섯 명의 고객을 추가로 무대에 초대할 수도 있었을 텐데, 그러면 3시간짜리 기조 연설이 되겠죠. 하지만 많은 고객들의 공감을 얻고 있는 또 다른 하나는 소프트웨어 엔지니어의 생산성을 5배 높일 수 있다는 것입니다.

저는 우리가 돌파구를 앞두고 있다고 생각합니다. 특히 Q로 진행하고 있는 모든 일에서 우리는 한 가지 측면에만 집중하는 것이 아니라 모든 측면에 초점을 맞추고 있습니다. 고객들 사이에서도 큰 반향을 불러일으키고 있습니다. 특히 우리가 하는 일에서 Q가 운영 조사, 단위 테스트와 문서화를 지원하면서 큰 도움이 되고 있습니다. 그리고 모든 측면에서 판도를 바꿀 것입니다.

Q가 현재 소프트웨어 코드 생성 분야에서 말 그대로 세계 최고라는 것은 말할 것도 없습니다. SWEbench.com에서 확인할 수 있으며 최상의 어시스턴트임을 알 수 있습니다. 하지만 저에게 Q는 생산성을 개선하기 위해 풀어야 할 퍼즐의 한 부분에 불과합니다.

Jonathan 알렌:
네. 오늘 아침에 말씀하신 내용 중에서 제가 자세히 짚어보고 싶은 부분이 하나 있어요. 이미 말씀하셨듯이, 기업 전반에 걸쳐 데이터 소스가 산재해 있는데요. 운영 데이터 저장소, 병렬 처리 엔진, 데이터 레이크 등에 이질적인 데이터 소스가 있죠. 생성형 인공 지능을 위해 데이터를 준비하려면 어떻게 해야 할까요?

Swami Sivasubramanian 박사:
내부와 외부 모두에서 여러 고객과 협업하며 마주한 과제 중 하나인데, 굉장히 흥미로운 주제였습니다. 사람들이 생성형 AI에 대해 열광하기 시작했을 때, 작년과 올해 초에 놀라운 사실을 발견했습니다. 대부분의 생성형 AI와 RAG가 텍스트 데이터에만 활용된다는 점이었습니다. 데이터 바이러스 및 데이터 레이크에는 거의 사용할 수 없었습니다. 또한 대부분의 멀티모달 콘텐츠에는 사용할 수 없었습니다.

그래서 직접 자연어를 SQL로 바꿔주는 사용자 지정 SQL 엔진을 만들지 않으면 실제로 고객들이 정말로 만들고 싶어 했던 대부분의 생성형 애플리케이션은 불가능하다는 뜻입니다. 아니면 고객은 생성형 AI 기반의 ETL을 구축해야 합니다. 고객들은 만들고 싶은 생성형 애플리케이션을 만드는 대신에 여러 가지 다른 일들을 했습니다. “단순한 RAG 문제만 해결하지 말고 모든 데이터 문제를 해결해 봅시다.”라고 말하게 된 배경이 여기에 있죠.

그래서 Q와 QuickSight의 수행 작업을 실제로 생성할 수 있도록 구조화된 데이터 검색을 구축하는 기능을 출시했습니다. 이러한 경험을 제공하고 싶고, 고객이 '내 최신 주문 상태가 어떻게 되나요?'라고 물었을 때, 관계형 데이터베이스에서 데이터를 직접 조회해서 답변할 수 있는 CS 챗봇을 직접 만들고자 한다고 생각해 보세요. 실제로 지금 얼마든지 구축할 수 있습니다.

그리고 Bedrock 데이터 자동화를 사용하면 PDF에 있는 모든 멀티모달 콘텐츠를 이미지, 영상 등으로 가져와서, 전통적인 구조화된 데이터처럼 코딩 없이 ETL 프로세스를 자동화할 수 있습니다. 그리고 이러한 기능들은 정말 판도를 바꿀 것입니다.

하지만 중요한 사실은 이 기능이 단지 도구일 뿐이라는 것입니다. 기타 다양한 측면의 거버넌스에 최신 데이터 전략이 여전히 필요합니다. 그래서 우리는 SageMaker 카탈로그를 통해 도움을 드리고자 합니다. 이 카탈로그는 분류, 구성, 거버넌스, 검색 기능 등을 모두 하나로 통합하여 제공합니다.

Jonathan 알렌:
그렇죠. 이제 모든 사람이 항상 염두에 두는 보안과 비슷합니다. 비용도 마찬가지에요.

Swami Sivasubramanian 박사:
네.

Jonathan 알렌:
비용도 마찬가지에요. 우리는 두 마리 토끼를 다 잡고 싶어 하죠. 그러면서도 변화를 이끌어내고자 합니다. 우리는 신규 고객을 유치하려고 합니다. 당연히 비용은 대상 고객의 아주 큰 관심사입니다. 여기서 얻을 수 있는 최고의 교훈은 무엇일까요?

Swami Sivasubramanian 박사:
첫 번째로 말씀드리고 싶은 것은, 어떤 팀이 생성형 AI 프로젝트의 시연을 할 때는 항상 역량이 가장 뛰어난 모델로 시연을 한다는 점입니다. 그러면서 경제적으로 합리적이지 않은 가장 값비싼 모델이라는 사실은 말하지 않죠. 이 모델이 비용 절감에 도움이 된다면, 사용자당 5 USD 정도일 것입니다. 하지만 운영 비용이 실제로 5 USD에 가깝다면 이러한 절감은 도움이 되지 않습니다.

그래서 저는 여러분이 하려는 일의 단위 경제성을 자세히 알아보는 것이 매우 중요하다고 생각합니다. 대규모 작업을 할 때는 먼저 이렇게 생각해야 합니다. “비용 제약 조건을 충족하면서도 정확도 기준에 부합하려면 어떻게 해야 할까요?” 이것이 우리가 모델 증류와 같은 기술을 개발한 이유입니다. 따라서 비용이 많이 드는 교사 모델은 실제로 사용 사례에 맞는 소규모 모델을 가르칠 수 있습니다.

즉, 이러한 대형 모델들이 8개의 박사 학위를 가진 천재들과 같다고 설명할 수 있습니다. 그렇다면 8개의 박사 학위를 가진 사람이 소프트웨어 작성 방법을 해결하는 것은 바람직하지 않습니다. 코드를 작성하려면 저처럼 컴퓨터 과학에 엄청난 전문성을 가진 사람이 필요하겠죠. 따라서 해당 분야에 대한 전문 지식을 획득한 다음 해당 사용 사례를 해결하는 방법을 가르쳐야 합니다. 모델 증류 기술이 판도를 바꿀 것입니다.

두 번째는 HyperPod 태스크 거버넌스입니다. 많은 프로젝트에서 추론에 대한 크로스 트레이닝이 여전히 GPU에서 직접 수행되거나 Trainium에서 점점 더 많이 수행되고 있습니다. 사용률이 거의 90%에 근접해야 합니다. 지금은 90%에 근접하지 못한 경우가 많습니다. 이는 매우 중요한 문제입니다. 그리고 내부적으로 우리는 최선을 다하고 있습니다. 앞으로 이러한 사항을 주의 깊게 지켜보고, 비용을 관리할 수 있는 메커니즘을 구축하라고 말씀드리고 싶습니다.

Jonathan 알렌:
그렇죠. 앞으로는 어떤 일이 일어날 것으로 예상하시는지 듣고 싶습니다. Jeff Bezos는 이런 질문을 받을 때마다 잘 알려진 것처럼 이렇게 말하곤 했습니다. “변하지 않을 것들에 대해 이야기해 봅시다. 우리 고객들은 항상 더 빠른 것을 원할 것입니다. 더 많은 선택을 원할 것이고, 더 낮은 비용을 원할 것입니다.”

하지만 향후 1년 동안 어떤 일이 일어날 것이라고 예상하는지 질문해도 될까요?

Swami Sivasubramanian 박사:
이걸 못할 뻔했어요.

Jonathan 알렌:
재미있네요.

Swami Sivasubramanian 박사:
그게 바로 제가 말하려던 겁니다. Jeff가 잘 알려줬죠. 그건 흥미로운 질문이 아니라고 말하려던 참이었어요. 변하지 않을 것은 무엇인지 질문해야 합니다. 하지만 이 주제를 가지고 우리 모두에게 생각할 거리를 던져보려 해요.

제 생각에 핵심은 이 흐름을 ‘3개의 P’로 나눌 수 있다는 점입니다. MBA 마케팅 3P와는 다릅니다. 작년은 프로토타입이 전부였다고 말하고 싶습니다. 올해는 프로덕션에 착수하는 것이 전부였고, 내년은 생산성이 관건입니다.

사실 우리는 조직 내 모든 부문에서 생산성이 향상되는 전례 없는 단계에 도달할 것이라고 생각합니다. 그리고 이러한 기술을 수용하고, 직원들이 5배, 10배 더 생산적으로 일할 수 있도록 업무 방식을 재창조하는 기업은 더 빠르게 혁신할 수 있습니다. 이를 수용하지 않는 기업은 뒤쳐지게 되겠죠.

그래서 저는 이것이 핵심적인 기술 중 하나로 자리잡을 것이라 생각합니다. 단순히 생성형 AI 어시스턴트를 수용해야 한다는 이야기가 아닙니다. 사무용 도구 등을 위한 어시스턴트를 배치하는 것과도 다릅니다. 네, 흥미로운 이야기에요. 그런데 어떻게 생성형 AI 어시스턴트가 근본적으로 더 잘 작동하고, 다르게 작동하느냐는 점이 더 중요합니다.

그런 다음, 그들이 해결하고 싶어하지 않는 문제를 해결해 보세요. 우리 모두는 극도로 어려운 도전을 하는 것을 정말 좋아하고, 평범한 도전은 좋아하지 않습니다. 예를 들어, 전화 자동 전환 기술이 도입된 후 더 이상 수동으로 전화를 전환하지 않는 것에 대해 불평하는 사람은 없습니다. 사람들은 전화를 수동으로 전환하는 일을 할 필요가 없다는 사실에 기뻐하죠.

하지만 그 시기에는 이러한 전환을 관리하기가 어렵습니다. 거의 인간의 변화와 관련된 문제라고 볼 수 있습니다. 저는 리더로서 우리가 조직을 효과적으로 이끌어 나가야 한다고 생각합니다. 그래야 우리가 일을 정말 효율적으로 하는 방식을 혁신할 수 있으니까요. 모든 직원이 이러한 기술을 수용하여 우리가 하는 일, 일하는 방식을 재창조하고 더 나은 방향으로, 선한 일을 하도록 만들어 보세요.

Jonathan 알렌:
멋집니다. 30분 동안 함께해 주시고 귀한 말씀 들려주셔서 감사합니다. 정말 감사합니다. 여러분 모두 함께 해주셔서 감사합니다.

Swami Sivasubramanian 박사:
불러 주셔서 감사합니다.

Jonathan 알렌:
감사합니다.

Swami Sivasubramanian 박사:
감사합니다.

지금 듣기

지금 듣기

지금 듣기