AWS AI 서비스를 통한 소프트웨어 개발 생산성 향상하기

작년 12월 초 Amazon.com의 CTO이신 버너 보겔스 박사님은 2022년 이후 기술 예측이라는 글에서 다섯 가지를 언급해 주셨는데요. 그 첫번째가 바로 AI 지원 소프트웨어 개발 본격화라는 항목입니다. 다시 한번 세겨보는 측면에서 전체를 인용해 보도록 하겠습니다.

소프트웨어 개발은 창의적인 과정이지만 반복적인 작업이 많이 필요한 과정입니다. 2022년에는 기계 학습(Machine Learning, ML)이 소프트웨어 개발자의 작업 흐름을 강화하여 더 안전하고 안정적인 코드를 생성하는 데 중요한 역할을 하기 시작할 것입니다.

클라우드가 등장한 이후로 우리는 전 세계의 기업들이 그 어느 때보다 빠르게 대규모로 새로운 아이디어를 고객에게 제공하는 것을 보아 왔습니다. 그러나 이러한 제품 제공의 가속화에도 불구하고 여전히 기술의 한 영역인 소프트웨어 개발에 불균형이 있습니다.

프로그래밍 언어, 소프트웨어 개발 툴킷(SDK) 및 개발자가 보다 효율적으로 작업할 수 있도록 하는 기타 도구에서 개선이 있었지만, 이는 사소한 발전에 불과했습니다. 아직까지는 다른 기술 분야에서 볼 수 있었던 큰 도약이 없었습니다. 지난 몇 년 동안 우리는 소프트웨어 개발의 미래가 될 기초를 마련하기 시작했습니다.  Amazon DevOps Guru, Amazon CodeGuru, GitHub Copilot 및 GPT-3와 같은 도구는 ML 기반 코드 개발 및 소프트웨어 운영에서 개발자의 효율성을 높이는 미래의 첫 번째 단계입니다. 앞으로 몇 년 안에 이 분야의 능력이 폭발적으로 증가할 것이라고 믿습니다.

ML은 개발자가 코드 검토 및 버그 수정과 같은 일상적인 작업에서 해방되고 개발자가 생성에 더 집중할 수 있도록 합니다. 동일한 기술을 통해 그 어느 때보다 빠르게 정교한 시스템을 작성하고 새로운 계층의 개발자에게 문을 열 수 있습니다. 개발자가 앱 작동 방식을 설명하면, 개발 도구가 자연어 처리를 통해 요청을 해석하고, 완전한 기능의 코드를 다시 제공하는 시나리오를 상상해 보십시오. 백엔드에서 ML 기술은 소프트웨어 버그도 확인하고 소프트웨어가 해야 할 일을 하고 있는지 지속적으로 확인합니다.

이러한 종류의 ML 지원 소프트웨어 개발은 조직 전체에서 더 많은 사람들이 소프트웨어 기반 제품을 정의하고 구축하는 데 도움을 줄 수 있는 게임 체인저가 될 것입니다. 장기적으로 동일한 접근 방식이 미디어 제작을 포함한 다른 영역에서도 사용될 것입니다. 우리는 제너레이티브 AI 기술이 영화, 음악, 문학을 점점 더 많이 만드는 것을 보게 될 것입니다. 마찬가지로 중요하게도 이 기술은 가짜 콘텐츠, 사기 및 사기를 감지하는 역할을 하기 시작할 것입니다. 2022년은 AI/ML이 개발자의 삶에서 무거운 짐을 덜어주는 첫번째 해가 될 것입니다.

소프트웨어 개발 단계는 문제를 파악하고 이를 프로그램 코드로 구성한 후, 유닛 테스트 등 스스로 완결성을 검증 한 후, 동료들에게 피어 리뷰(Peer-Review)를 받는 과정을 거칩니다. 이렇게 만들어진 코드는 서버로 배포하게 되어, 상당히 긴 시간 동안 사용자에게 서비스가 됩니다.

소스 코드 패키지가 배포된 이후에도 코드가 만들어 내는 성능상의 이슈나 확장성 문제 등 다양한 문제가 생길 수도 있습니다. 이를 검증하고 확인하는 과정도 개발자 뿐만 아니라 운영자의 역량에 따라 다양하게 나타납니다.

버너 보겔스 박사님은 SW 개발 전과정에서 ML 기능을 활용하여 반복적이고 불필요한 업무를 줄여줄 수 있다고 말씀하셨고, AWS는 이에 대한 퍼즐 조각을 맞추고 있는 중입니다. 오늘은 그 퍼즐 조각들을 잠깐 살펴보겠습니다.

소프트웨어 코드 개발, 테스트 및 리뷰

Amazon CodeWhisperer는 지난 주 Amazon re:MARS에서 미리보기로 출시하였습니다. Amazon CodeWhisperer는 통합 개발 환경(IDE)에서 자연어 및 코드로 된 주석을 기반으로 코드 권장 사항을 생성하여, 개발자 생산성을 향상하는 데 도움이 되는 ML 기반 서비스입니다. CodeWhisperer는 프로젝트 내 다른 파일에 있는 코드를 판단하여, 본인의 코딩 스타일과 앞뒤 변수 이름에 맞게 맞춤형으로 코드를 추천합니다.

또한, 코드 주석을 기반으로 구현 코드와 일치하는 유닛 테스트 코드를 자동으로 추천하여, 반복적인 유닛 테스트 코드 작성을 쉽게합니다. 이 때, 적어도 두 개 이상의 다른 코드를 추천하면서 (오픈소스) 코드 라이선스 정보도 함께 보여주어 개발자가 선택할 수 있게 해 줍니다. 만약 개발자가 추천해 준 코드를 바꾸었을때, 변경한 코드로 인해 보안 취약점이 없는지 확인해 주는 기능도 포함됩니다.

특히, 수 많은 AWS API의 예제를 포함해서 개발자가 다양한 AWS 서비스를 활용하는 코드를 작성하는 데 도움을 줄 수 있습니다. Python, Java 및 JavaScript를 지원하고, VS Code, IntelliJ, PyCharm, WebStorm 및 AWS Cloud 9과 Lambda 콘솔을 지원합니다.

Amazon CodeGuru는 코드 품질을 높이고 애플리케이션에서 가장 비경제적인 코드 줄을 찾아낼 수 있도록 지원하는 지능형 권장 사항을 제공하는 개발자 도구입니다. CodeGuru를 기존 소프트웨어 개발 워크플로에 통합하면 애플리케이션 개발 중에 코드 검토를 자동화하고, 프로덕션에서 애플리케이션 성능을 지속적으로 모니터링하며, 코드 품질 및 애플리케이션 성능 개선을 위한 권장 사항과 시각적 단서를 제공하고, 전체 비용을 절감할 수 있습니다.

CodeGuru Reviewer는 기계 학습 및 자동화된 추론을 사용하여 애플리케이션 개발 중 심각한 문제, 보안 취약성 및 찾기 힘든 버그를 식별하고 코드 품질을 높일 수 있는 권장 사항을 제공합니다. CodeGuru Profiler를 사용하면 개발자가 애플리케이션의 가장 비경제적인 코드 줄을 파악하여 애플리케이션의 런타임 동작을 이해하고 코드가 비효율적인 부분을 파악해 제거하며, 성능을 개선하여 컴퓨팅 비용을 대폭 절감할 수 있습니다.

소프트웨어 코드 패키지 배포, 운영 및 개선

Amazon CloudWatch 이상 탐지 기능은 기계 학습 알고리즘을 적용하여 지표 데이터를 지속적으로 분석하고 이상 행동을 식별합니다. 이 기능을 사용하면 하루 중 시간, 요일 기반의 계절성 또는 변화하는 추세와 같은 자연적인 지표 패턴을 기반으로 임계값을 자동 조정하는 경보를 생성할 수 있습니다. 또한 대시보드에서 이상 탐지 밴드를 사용하여 지표를 시각화할 수 있습니다. 이렇게 하면 예기치 않은 지표 변화를 모니터링, 격리 및 문제 해결할 수 있습니다.

이상 탐지가 있는 그래프에서 예상 값의 범위는 회색 밴드로 표시됩니다. 지표의 실제 값이 이 밴드를 초과하면 해당 시간 동안 빨간색으로 표시됩니다.  이상 탐지 알고리즘은 지표의 계절성 및 추세 변화를 설명합니다. 계절성 변화는 다음 예와 같이 시간별, 일별 또는 주별일 수 있습니다.

Amazon DevOps Guru는 ML 기능을 기반으로 애플리케이션의 운영 성능 및 가용성을 쉽게 개선하도록 설계되었습니다. DevOps Guru는 정상적인 운영 패턴에서 벗어나는 동작의 탐지를 도와 고객에게 영향을 미치기 훨씬 전에 운영 문제를 확인할 수 있습니다.

DevOps Guru는 오랫동안 Amazon.com 및 AWS 운영 우수성을 기반으로 축적된 기계 학습 모델을 사용함으로써 비정상적인 애플리케이션 동작(예: 지연 시간, 오류율, 리소스 제약 등의 증가)을 식별하여 가동 중단 또는 서비스 중단을 유발할 수 있는 중요한 문제 탐지를 돕습니다.

DevOps Guru가 중요한 문제를 식별하면 자동으로 알림을 발송하면서 관련 이상 현상, 가능한 근본 원인 및 문제가 발생한 시기 및 위치에 대한 컨텍스트를 요약하여 제공합니다. 가능한 경우, DevOps Guru는 문제를 해결하는 방법에 대한 권장 사항 제공도 돕습니다.

데이터 보안이 최우선입니다!

많은 분들이 이러한 AI 기반 클라우드 서비스를 쓰면, 내 데이터가 모델 훈련에 재활용된다거나 보안에 취약하지 않을까 하는 걱정을 하시는 분들이 많습니다.  우리가 메일, 사진 업로드를 사용하는 일반 사용자 대상 인터넷 기업과 달리 기업 대상 클라우드 컴퓨팅 사업자는 개별 고객의 데이터를 보호하는데 최우선을 두게 됩니다.

예를 들어, Amazon CodeWhisperer 코드 생성은 오로지 Amazon 및 오픈 소스 코드를 비롯한 다양한 데이터 소스에서 훈련된 ML 모델을 기반으로 합니다. 절대 CodeWhisperer는 사용자가 작성한 코드를 사용하여 모델을 훈련하지 않습니다. 다만,  코드 권장 사항(예: 권장 사항 수락 또는 거부)에 대한 개발자의 응답과 관련된 사용자 활동 데이터를 저장합니다. CodeWhisperer가 향후 권장 사항을 개선할 수 있도록 ML 모델을 보다 정확하게 만들기 위해 이 응답 데이터를 사용합니다.

Amazon CodeGuru Reviewer는 코드에 대한 권장 사항을 생성할 목적으로 읽기 전용 액세스 권한으로만 코드에 접근합니다. 절대 사용자의 소스 코드를 저장하지 않습니다. 다만, 콘텐츠에 대한 무단 액세스 또는 유출을 방지하기 위해 전송 중 암호화를 비롯한 적절한 제어를 구현하고 고객과의 약속을 충실히 준수합니다. 자세한 내용은 데이터 프라이버시 FAQ를 참조하세요.

좀 더 나은 개발 생산성을 원한다면…

지금까지 소프트웨어 개발, 테스트, 리뷰 부터 배포, 운영 및 개선 과정에서 활용할 수 있는 인공 지능을 기반한 자동화 서비스를 알아보았습니다. 작은 스타트업을 비롯해서 많은 중소 기업들이 아직 개발 역량이 부족하거나, 충분하지 못한 인적 구성으로 인해 품질 높은 코드를 만들거나 리뷰를 제공하지 못하는 경우가 많습니다. 코드 개발 단계 뿐만 아니라 운영도 예외는 아니죠.

이런 문제를 고민하고 있는 분들이 계시다면, AWS 클라우드 서비스를 도입해 보시길 권해 드립니다. 많은 IT 기업들이 사용하는 협업 소프트웨어인 Jira, Cconfluence, Bitbucket 등을 개발하는 소프트웨어 기업인 아틀라시안(Atlassian) 역시 Amazon CodeGuru를 이용해서 코드 프로파일링의 도움을 받고 있습니다.

“Atlassian의 많은 서비스는 배포당 수백 개의 체크인이 필요합니다. 개발 팀의 코드 검토는 버그가 프로덕션에 도달하는 것을 방지하는 데 큰 역할을 하기는 하지만, 하루에 여러 배포가 이루어지기 때문에 스트레스 상황에서의 시스템 작동 방식을 예측하거나 복잡한 데이터 형태를 관리하는 것이 항상 가능한 것은 아닙니다.

프로덕션에서 이상을 탐지하면, Amazon CodeGuru의 지속적인 프로파일링 기능 덕분에 조사 시간을 며칠에서 몇 시간, 때로는 몇 분으로 단축할 수 있었습니다. 이제 개발자들은 프로덕션 환경의 문제를 조사하는 데 시간을 줄이고 차별화된 기능을 제공하는 데 더 많은 에너지를 쏟게 되었습니다.” – Zak Islam, Atlassian 기술 팀 엔지니어링 책임자

마지막으로 버너 보겔스 박사님이 최근에 올린 트윗에서 “소프트웨어 개발에 대해 다르게 생각해야 것이 있을까요?”라는 질문에 대한 답으로 마무리하겠습니다.

소프트웨어는 개발 시간보다 운영하는 기간이 몇 배 (때로는 수십년) 더 길다.

– Channy(윤석찬)