그라운드런, AI 에이전트로 Matter OTA 6종 구현·검증

그라운드런(Groundrun)이 AI 코딩 에이전트에 스마트홈 기기의 무선 펌웨어 업데이트(OTA) 구현과 성능 측정을 맡긴 실험 결과를 5일 공식 블로그에 공개했다. 회사에 따르면 에이전트들은 ESP32-H2 개발보드에서 업데이트 방식 6종을 구현하고, 방식마다 5회씩 총 30회 업데이트를 성공적으로 마쳤다.

실험은 Matter를 Thread 네트워크 위에서 사용하는 환경에서 진행됐다. 테스트 장비에는 ESP32-H2 보드, Thread 경계 라우터 역할을 맡은 실리콘랩스 EFR32MG24 보드, 안드로이드 휴대전화가 연결됐다. ESP32-H2 개발보드가 블루투스 저전력 통신과 IEEE 802.15.4를 지원한다는 점은 제조사 에스프레시프의 공식 문서에서도 확인된다.

그라운드런은 클로드 코드와 Opus 5.5 모델을 사용했다고 밝혔다. 에이전트들은 문서 조사, 작업 계획, 구현, 장비 테스트, 성능 측정을 나눠 수행했다. 회사가 각 작업의 첫 커밋과 마지막 커밋 시각을 기준으로 계산한 작업 구간은 29.7시간이었다. 일부 작업은 병렬로 진행됐으며, 이 수치를 사람 개발자의 작업 시간과 비교한 실험은 제시되지 않았다.

검증 대상은 전체 펌웨어 전송의 블록 크기 3종, 변경분만 보내는 델타 업데이트, 암호화된 펌웨어 전송, 휴대전화를 이용한 블루투스 업데이트였다. 매번 이전 버전을 장비에 설치한 뒤 새 버전을 전송하고 재부팅해, 소프트웨어 버전과 Thread 네트워크 재접속을 확인했다.

회사 측 측정에서 1.6MB 전체 펌웨어를 1,024바이트 블록으로 보낼 때 전송 시간 중앙값은 8분 38초였다. 512바이트 블록은 12분 16초, 256바이트 블록은 21분 22초가 걸렸다. 블록마다 응답을 기다리는 전송 방식 때문에 작은 블록일수록 시간이 길어졌다는 설명이다.

61KB 델타 파일의 전송 중앙값은 32초였고, 첫 블록 수신부터 Thread 재접속까지는 41초였다. 다만 두 펌웨어의 차이는 4개 파일에 97줄을 추가한 비교적 작은 변경이었다. 변경 규모가 커지면 델타 파일 크기도 달라질 수 있어, 이번 결과를 모든 펌웨어 업데이트의 성능으로 일반화할 수는 없다. 암호화 전송은 8분 33초, 블루투스 전송은 8분 4초로 측정됐다.

처음부터 모든 과정이 작동한 것은 아니다. 초기 델타 업데이트는 전송을 마쳤지만 새 이미지 검증에서 실패했다. 회사에 따르면 에이전트는 사용 중인 Matter 코드가 이미지 헤더 뒤의 104바이트를 누락하는 문제를 추적하고, 업스트림에 이미 있던 수정 사항을 찾아냈다. 프로젝트의 공식 PR 71824와 커밋 d950721에는 헤더 기록 직후 반환하던 코드를 바꾸고, 델타 OTA 구성요소 의존성을 추가한 변경이 담겨 있다.

에이전트가 원인과 새 코드 버전을 제시한 뒤에는 사람이 버전 변경을 결정했다. 이후 다시 빌드한 펌웨어에서 델타 업데이트가 정상 작동했다는 것이 회사의 보고다. 이번 사례는 AI 코딩 작업을 실제 장비와 연결해 전송 이후의 재부팅과 네트워크 복귀까지 확인했다는 점에서 의미가 있다. 다만 한 업체의 특정 장비·코드 구성에 대한 자체 실험이며, 양산 제품 전체의 안정성이나 완전 무인 개발을 입증한 결과는 아니다.

출처: Groundrun 공식 실험 보고 https://groundrun.io/blog/ai-agents-matter-ota-updates-esp32-h2/ · Matter 프로젝트 공식 PR https://github.com/project-chip/connectedhomeip/pull/71824 · Matter 프로젝트 공식 수정 커밋 https://github.com/project-chip/connectedhomeip/commit/d950721e90cd5f8293bd43dc9b335818c8859a97 · Espressif 공식 개발보드 문서 https://docs.espressif.com/projects/esp-dev-kits/en/latest/esp32h2/esp32-h2-devkitm-1/user_guide.html