클로봇의 Amazon Bedrock 과 LangGraph 를 활용한 건설현장 해충 방역 전문 AI 챗봇 개발기

1. 회사 소개

클로봇은 이기종 로봇 자율주행 솔루션과 관제 솔루션을 기반으로 안내, 이송, 청소·방역, 안전·보안, 물류, 제조 등 다양한 분야에 로봇 서비스를 제공하는 기업입니다.

클로봇은 글로벌 네트워크를 구축해 고객이 필요로 하는 로봇 하드웨어(서비스 로봇, 물류 로봇, 산업용 로봇)를 소싱해 공급하고 있습니다. 아울러 클로봇은 원천 기술에 객체 인식, 깊이(거리)·자세 추정 등 AI 인지 모듈을 통합해 주행 모션을 고도화하고, AI 기반 원격 관람·안내 서비스와 사람-로봇 상호작용(HRI) 등 고객 산업별 요구에 최적화된 솔루션 레퍼런스를 지속적으로 축적하고 있습니다.

2. 해충 방역 전문 AI 챗봇 개발 배경

이번 블로그에서는 클로봇이 건설 현장에 방역 로봇을 도입하기 위해 진행한 AI 챗봇 개발 프로젝트를 소개합니다. 방역 로봇이 작업하는 현장은 해외 열대 지역으로, 모기 등 해충이 매개하는 질병(예: 뎅기열)이 심각합니다. 특히 모기 유충은 고인 물에서 서식·발생하며, 스콜성 기후로 잦은 폭우가 내려 다양한 형태의 물 고임 환경이 쉽게 형성됩니다. 여러 현장을 사람이 매번 순회하며 방역을 수행하는 것은 시간·비용 부담이 커, 클로봇은 방역 전문성을 갖춘 AI를 현장 운영에 어떻게 접목할지 모색했습니다.

그림 1. 모기 유충이 서식할 수 있는 다양한 환경

클로봇은 처음에 바닥의 고인 물(웅덩이)을 객체 검출(object detection)과 분할(segmentation) 모델을 활용하여 식별하려고 했지만, 실제 해충의 번식지는 범위가 훨씬 다양했습니다. 예를 들어 [그림 1]과 같이 천막 위 고인 물, 드럼통 상단, 뚜껑이 안 닫힌 쓰레기통, 건설 자재 사이의 고인 물, 파손된 바리케이드에 생긴 구멍 등 다양한 번식지를 인식해야 했습니다. 다양한 범위의 해충 번식지를 유연하게 식별하기 위해, 클로봇은 해충 발생 환경과 방역책을 담은 지식과 Vision-Language Model(VLM) 모델을 결합해 방역 전문 AI 챗봇을 구축하고, 로봇 주행 중 카메라로 수집한 이미지를 분석하고 판단하는 방향으로 프로젝트를 진행하였습니다.

3. 해충 방역 전문 AI 챗봇 아키텍처

그림 2. 해충 방역 전문 AI 챗봇 구성도

챗봇의 전체 아키텍처는 [그림 2]와 같습니다. 현장에서 수집한 이미지와 사용자 질의를 입력받아 답변을 표시하는 UI는 Streamlit으로 구현했습니다. 해충 발생 가능 환경 판별, 방역 필요성 평가, 약품 추천 등 지식 기반 분석을 위해 Amazon Bedrock 및 Bedrock Knowledge Bases과 Amazon OpenSearch Service(AOS)를 함께 활용하여 RAG를 구성하였고, 이미지 캡션(환경 묘사)·번역·벡터 임베딩을 위해 Amazon Bedrock을 통해 Claude Sonnet 4, Cohere Rerank 3.5 모델 그리고 Amazon Traslate 서비스를 활용하여 검색 품질을 높였습니다. 검색된 문서의 근거를 인용·보강해 최종 답변을 생성한 뒤 결과를 보고서 형식으로 생성하며, 보고서 자동화에는 MCP 도구(Notion)를 활용하였고 챗봇 내부 오케스트레이션은 LangGraph으로 파이프라인을 구성하였습니다.

3-1. Amazon Bedrock Knowledge Bases 를 활용한 방역 정보 검색

그림 3. Amazon Bedrock Knowledge Bases 를 활용한 방역 정보 검색

방역 AI 챗봇은 사용자의 질문에 단순히 패턴화된 답변을 제공하는 대신, 실제 방역 지식과 사례 데이터를 기반으로 정교한 답변을 생성합니다. 이를 위해 해충 발생 환경과 방역 대책에 관한 이미지 및 문서를 Amazon Bedrock Knowledge bases으로 구성하고, RAG 방식을 적용했습니다. 이 과정은 사용자 요청을 분석하고 관련 정보를 신속하게 검색하는 1차 지식 탐색 단계로, 챗봇의 응답 정확도와 신뢰성을 높이는 핵심 역할을 합니다.

Knowledge Bases 검색 단계에서는 Amazon Bedrock Knowledge bases을 통해 사용자 질의에 적합한 결과를 반환합니다. 사용자가 질문과 함께 이미지를 입력하면(1), Claude Sonnet 모델을 통해 이미지에 담긴 현장 환경을 묘사하는 텍스트를 생성합니다(1-1). 이는 Bedrock Knowledge Bases에 직접 이미지를 입력하여 벡터 검색을 수행할 수 없기 없기 때문에, 이미지 내용을 텍스트로 변환 후 검색을 수행하였습니다. 이미지를 묘사하는 텍스트와 처음에 사용자가 입력한 질문을 Bedrock Knowledge bases에서 검색하여, 입력된 데이터와 관련된 문서를 찾습니다(2). S3 버킷에는 해충 발생 환경과 방역 절차 등에 관한 이미지와 영문 설명 자료가 저장되어 있습니다. 설명 자료는 주로 영문으로 구성되어 있기 때문에 사용자가 입력한 질문은 Amazon Translate로 번역해 문맥 유사도를 높였습니다. 검색 결과(3)는 Cohere Rerank 모델로 재정렬하여, 사용자 질문과 의미적으로 가장 가까운 출처(3-1)부터 제공하였습니다.

3-2. Amazon OpenSearch Service를 통한 유사도 기반 방역 정보 검색

그림 4. Amazon OpenSearch Service를 통한 유사도 기반 방역 정보 검색

클로봇은 완전 관리형 RAG 서비스인 Amazon Bedrock Knowledge Bases를 활용하는 것과 더불어 유연한 검색 제어와 확장 가능한 벡터 구성을 위해 AOS를 직접 활용하여 방역 정보를 검색하는 옵션도 마련했습니다. 이를 통해 검색 로직을 정밀하게 제어하고, 이미지와 텍스트 유사도를 조합해 더 다양한 문서를 탐색하고 결과의 출처를 명확히 제시할 수 있었습니다. 즉 사용자가 제공한 이미지나 문장이 실제로 어떤 데이터와 연결되는지 투명하게 보여주는 ‘설명 가능한 검색(Explainable Retrieval)’ 구조를 구현했습니다.

모기 유충 발생 환경 사진과 방제 설명 자료는 Bedrock 멀티모달 임베딩 모델인 Titan 모델로 임베딩해 Amazon OpenSearch Service Serverless(AOSS) 벡터 컬렉션에 인덱싱했습니다. 이후 사용자 질문과 이미지가 입력되면(1-2), Amazon Translate로 사용자 질문을 영어로 번역하고(2-1) Bedrock 멀티모달 임베딩 모델로 텍스트·이미지를 임베딩하고 AOSS에 저장합니다(1-2, 2-2). 그리고 AOSS에서 텍스트 유사도 기반 검색을 통해 관련 자료 내용을 찾고 결과를 반환합니다(4).

3-3. MCP를 활용한 방역 보고서 자동 생성

그림 5. MCP를 활용한 방역 보고서 생성

방역 AI 챗봇은 단순한 답변 제공을 넘어, 방역 정보 검색 결과를 기반으로 보고서를 생성합니다. 현장 담당자는 방역 정보 질의 내용과 답변을 보고서 형태로 확보할 수 있어 방역 의사결정 과정이 한층 효율화됩니다. 이를 위해 이전 단계에서 확보한 방역 정보 결과(3-1, 4)를 종합해 Bedrock을 통해 Claude Sonnet 모델을 호출하고, 해충 서식 가능성 분석과 방제 방법을 포함한 최종 답변을 생성합니다.

클로봇은 Notion MCP 도구를 활용해 검색 결과를 바탕으로 보고서를 자동으로 작성하도록 구성했습니다. 사용자가 보고서를 요청하면(6) MCP 서버가 보고서 작성에 필요한 도구를 선택하고, 사용자 질의 텍스트 및 이미지, 지식 기반 응답 결과를 보고서 스키마에 맞게 파싱합니다. 이후 보고서 생성 도구를 호출해 Notion 페이지에 자동으로 보고서(7)를 게시하며, 보고서에는 각 검색 출처와 추론 근거가 함께 포함되어 있습니다.

4. 클로봇의 해충 방역 전문 AI 챗봇 구현 결과

클로봇은 건설현장의 사진과 방역에 관련된 질문을 입력할 수 있는 챗봇을 구현하였습니다. 로봇이 순찰 중 곳곳에서 촬영한 이미지를 단건으로 즉시 질의할 수도 있고, 수집한 이미지를 한 번에 묶어 분석을 요청할 수도 있습니다.

그림 6. 해충 방역 전문 AI 챗봇의 사용자 질의 예시

아래 그림 7은 단일 이미지에 대한 챗봇의 응답 예시입니다. CoT(Chain of Thought)와 같은 프롬프트 기법을 적용해 방역과 관련된 질문에 대한 답변 예시를 확인할 수 있습니다. 먼저 입력 이미지를 토대로 해충 발생 가능 조건을 분석하고, 지식 기반 검색을 통해 명확한 출처와 함께 근거를 제시합니다. 출처에는 관련 문서의 페이지 번호와 유사도 점수가 표시되며, 해당 문서의 섹션 정보를 추가로 확인할 수 있습니다.

그림 7. 해충 방역 전문 AI 챗봇의 응답 예시

클로봇은 CoT 기법을 적용하여, 답변을 받아볼 때 , 태그 안에서 이 모델이 추론하는 과정을 확인하고, 이후의 답변은 자체 프롬프트 엔지니어링을 통해 수집하고자 하는 정보를 답변으로 받았습니다. 답변은 (1) Yes or No 의 해충 서식이 가능한 환경 여부 (2) 한 줄로 정리된 Yes or No 판단 여부 (3) 해충 방역을 위한 가이드 (4) 레퍼런스 항목으로 구성됩니다.

다음은 클로봇에서 적용한 해충 방역 정보 검색을 위한 시스템 프롬프트 입니다.

<role>
귀하는 모기 유충 서식지 탐지 전문가입니다. 주어진 이미지를 분석하여 모기 유충의 서식 가능성을 판단하고 방역 가이드를 제공하는 임무를 받았습니다.
</role>
<instructions>
1. 모기 유충은 물이 장기간 고여있는 곳에서 생겨납니다.
2. 흙, 모래, 자갈이 홈과 구멍에 가득 덮여있거나 채워져있는 경우는 물이 고일 수 없습니다.
3. 홈이나 구멍 등 움푹 패이고 사면이 막힌곳은 재질에 따라 이후에 물이 고일 수 있습니다.
4. 빛을 반사하는것은 물 이외에도 다양한 물체들이 있습니다. 
5. 지식기반 정보에 첨부된 이미지와 비슷한 사례가 있는지 확인하세요.
6. 이미지 마다 각각 답변을 생성하고 헷갈리지 않도록 -----(구분선)을 이용해 텍스트를 분리하세요.
</instructions>
instructions의 내용을 단계적으로 생각하세요.
<thinking>
</thinking>
<output_format>
첫번째 줄: 모기 유충이 서식 가능하거나 물이 고일 수 있는곳이라고 판단되면 'Yes', 서식이 불가능하고 안전하다고 판단되면 'No'
둘째 줄: 판단에 대한 핵심적인 이유를 한 문장으로 요약하세요.
셋째 줄: 첫번째 줄 대답이 'Yes'라면, 지식기반 내용을 참고하여 방역 가이드를 제공하세요. 'No'라면 주의사항만 간략하게 한 문장으로 작성하세요.
</output_format>
<examples>
<example>
<input_image>
[사진: 도로에 세워진 바리게이트 상단 구멍에 테이프를 팽팽하게 붙여 구멍을 막아놓은 사진]
</input_image>
<output>
No
이미지에 구멍이나 움푹패여 물이 고일 수 있는 공간이 보이지 않으므로, 모기유충 서식이 불가능합니다.
건설 현장이므로 향후 물이 고일 수 있는 환경 변화에 대비하여 정기적인 점검을 실시하고, 방역 지침의 건설 현장 체크리스트에 따라 바닥의 웅덩이, 건축자재, 배수로 등을 지속적으로 모니터링하시기 바랍니다.
</output>

챗봇의 질의·응답 결과는 Notion MCP를 활용하여 결과를 보고서 형태로 생성할 수 있습니다. [그림8]은 챗봇의 질의·응답 결과를 Notion 리포트로 생성한 예시입니다. 리포트에는 해충 발생 판단과 권고 방역 대책이 포함되며, 추후 로봇의 이동 동선과 촬영 시각·위치 메타데이터를 결합해 현장별 리스크 맵과 이벤트 타임라인으로 확장할 수 있습니다. 이를 통해 의심 지점 수, 고위험 지점 수, 완료/미완료 조치 등 위험 영역 분류를 자동화하고, 후속 의사결정을 신속하게 지원할 수 있습니다.

그림 8. Notion MCP를 활용한 방역 챗봇 결과 리포트 생성 예시

클로봇은 방역 전문 챗봇의 응답 정확도를 평가하기 위해 다양한 환경 이미지를 추가 수집하고, 자체 작성한 테스트 케이스 문서의 정답과 비교 검증을 수행했습니다. 그 결과로 테스트셋 기준으로 최종 정답 여부를 수기로 확인했을 때, 출처 매칭 정확도는 약 96%로 확인되었고 환경 묘사 수준을 높이거나 질의를 점진적으로 구체화할수록 응답의 정확도도 함께 개선되는 것을 확인했습니다.

본 해충 방역 전문 AI 챗봇 개발 프로젝트를 통해, 클로봇은 방역 작업의 효율화 가능성을 검증 했습니다. 기존에는 방역 작업을 사람이 일일히 현장에서 해충 발생 위험도를 파악한 후 방제 작업을 진행해야 했지만, 본 챗봇이 실제 현장에서 대규모 적용이 된다면 로봇이 1차적으로 해충 발생 위험을 감지하고 사람은 사전 감지된 위험 장소에 적합한 방역 해결책을 실시할 수 있습니다. 이를 통해 사람의 개입과 위험도 탐지에 걸리는 시간을 축소할 수 있습니다.

5. 결론

클로봇은 이번 해충 방역 전문 AI 챗봇 프로젝트를 통해 Amazon Bedrock과 LangGraph 기반의 멀티 에이전트 아키텍처로 로봇의 AI 활용도가 더욱 확장되고 유용할 수 있음을 확인했습니다. 단순히 물웅덩이를 찾는 기술적 단계를 넘어, 방역 지식 베이스와 연동된 ‘설명 가능한 AI(Explainable AI)’를 통해 현장 관리자에게 실질적인 인사이트를 제공하는 수준으로 진화했습니다. 또한 클로봇은 RAG 를 활용해 현장 환경에 근접한 정확도 높은 추론 결과를 얻을 수 있음을 검증 했습니다.

나아가 클로봇은 현재 Amazon Bedrock에서 제공하는 비전 언어 모델을 그대로 활용하였지만, 추후에는 모델을 커스텀 데이터셋으로 파인튜닝하여 활용할 예정입니다. 또한 현재 챗봇의 결과물은 주로 보고서 작성에 활용되고 있으나, MCP를 확장하여 로봇의 상황별 동작 제어와 연동함으로써 실시간 대응 및 자동화된 방역 조치 수행으로 발전시킬 계획 입니다. 더 나아가, 로봇의 이미지 및 센서 데이터 수집부터 AI 분석·판단, 로봇 동작 실행, 그리고 관제 서버에서의 전 과정 모니터링까지 AWS 클라우드 서비스를 활용한 완전한 자동화 및 체계적 운영 체계 구축을 목표로 하고 있습니다.

클로봇은 AWS 클라우드 생태계 내에서 인지-판단-실행으로 이어지는 로봇 운영의 전 과정을 지능화하고 있습니다. 이러한 기술적 혁신은 방역 현장의 생산성을 극대화함은 물론, 고위험 환경에서 사람을 대신해 안전을 지키고 공중 보건 향상에 기여하는 클로봇의 비전을 실현하는 중요한 이정표가 될 것입니다.

저자