블로그 글 추가: 2026-04-29-introducing-autosp, AutoSP 소개: 컴파일러 기반 자동 시퀀스 병렬화#86
Open
9bow wants to merge 2 commits into
Open
블로그 글 추가: 2026-04-29-introducing-autosp, AutoSP 소개: 컴파일러 기반 자동 시퀀스 병렬화#869bow wants to merge 2 commits into
9bow wants to merge 2 commits into
Conversation
PR Preview빌드가 완료되었습니다! 아래 링크에서 변경사항을 확인할 수 있습니다. 미리보기: https://pytorchkr-pr-preview-86.surge.sh
|
- 'an 8 A100-80Gb SXM node'를 '8장의 GPU를 갖춘 단일 노드'로 정정 (기존: 8개의 노드) - 'marginally reduces' 어감 보완: '약간' → '근소하게' - DeepSpeed 실제 함수명 'prepare_autosp_inputs'로 통일, 원문 오타에 대한 옮긴이 주 추가
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
번역 글 소개
AutoSP 소개: 컴파일러 기반 자동 시퀀스 병렬화 번역 글을 추가합니다.
AutoSP는 단일 GPU 학습 코드를 멀티 GPU 시퀀스 병렬(Sequence Parallelism) 코드로 자동 변환해주는 컴파일러 기반 솔루션입니다. DeepCompile 위에 구현되어 DeepSpeed config만 수정하면 시퀀스 병렬화를 활성화할 수 있으며, ZeRO와도 조합 가능합니다. 긴 컨텍스트 학습을 위한 시퀀스 인식 활성화 체크포인팅(SAC) 전략을 함께 제공하여, 동일한 자원으로 학습 가능한 최대 시퀀스 길이를 늘리면서도 런타임 성능 손실은 최소화합니다.