
아마존이 PyTorch 코드를 AWS AI 칩 Trainium에서 실행하는 TorchNeuron을 오픈소스로 공개한다. AWS 공식 문서에 따르면 Trainium2·3를 지원하며 공개 베타로 제공된다.
아마존은 공식 뉴스룸에서 10월 20일 PyTorch 콘퍼런스 북미 행사에 맞춰 TorchNeuron을 Apache 2.0 라이선스로 공개한다고 밝혔다. AWS 공식 릴리스 노트는 관련 SDK의 배포일을 19일로 명시했다. 공식 GitHub 저장소에는 소스 코드와 설치 안내, 지원 범위가 공개돼 있다.
핵심은 기존 PyTorch의 장치 확장 방식인 PrivateUse1을 통해 neuron 장치를 추가하는 것이다. 모델과 입력 텐서를 이 장치로 옮겨 Trainium에서 실행한다. 별도 프레임워크로 모델 전체를 다시 작성하기보다, 개발자가 익숙한 PyTorch API를 유지하는 데 초점을 맞췄다.
기본 실행 방식은 연산을 호출할 때마다 처리하는 즉시 실행(eager execution)이다. 성능 최적화가 필요한 모델이나 일부 영역에는 torch.compile의 neuron 백엔드를 적용할 수 있다. 분산 학습에서는 torch.distributed와 완전 샤딩 데이터 병렬화(FSDP2), DTensor 등을 지원하고, NKI로 작성한 저수준 커널도 연결할 수 있다.
공개 베타의 실행 환경은 Trainium2·3 기반 Trn2·Trn3 인스턴스다. 공식 릴리스 노트는 PyTorch 2.13·2.14에 맞춘 패키지와 Python 3.12·3.13·3.14 지원을 안내한다. 이전 XLA 기반 torch-neuronx와 이름이 같지만 실행 방식이 달라, 기존 XLA 코드는 neuron 장치를 사용하는 방식으로 수정해야 한다.
아마존은 기존 코드의 재작성 부담을 줄일 수 있다고 설명하지만, 모든 모델이 수정 없이 같은 성능으로 동작한다는 의미는 아니다. 이번 버전의 torch.compile은 정적인 입력 크기를 요구하며 dynamic=False로 설정해야 한다. 입력 크기가 바뀌면 다시 컴파일할 수 있고, 첫 실행에는 컴파일 시간이 포함된다.
지원하지 않는 API도 남아 있다. 릴리스 노트에는 torch.sparse, torch.func, torch.nested, torch.distributions가 미지원 항목으로 기재됐다. 일부 연산은 CPU로 넘겨 처리하며, float64는 float32로 실행돼 정밀도에 영향을 줄 수 있다. 도입 전에는 실제 모델의 연산 호환성과 수치 결과, 초기 실행 시간을 점검할 필요가 있다.
이번 공개는 PyTorch 개발자가 Trainium을 선택할 때 필요한 소프트웨어 이식 경로를 넓혔다는 데 의미가 있다. 다만 코드 호환성 확보와 실제 비용·성능 개선은 별개의 문제다. 적용 효과는 모델 구성과 입력 형태, 분산 학습 환경에 따라 달라진다.
출처: Amazon 공식 뉴스룸 https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai
AWS Neuron 공식 GitHub 저장소 https://github.com/aws-neuron/torch-neuronx
AWS Neuron SDK 공식 릴리스 노트 https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/index.html
AWS TorchNeuron 공식 릴리스 노트 https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html









