트랜스포머를 대체하는 파워 리텐션 아키텍처??
AI & IT
2025. 11. 5.
현재 개발되고 사용되는 대형언어모델(LLM)의 기반은 트랜스포머(Transformer)아키텍처입니다.LLM이 점점 커지고 고도화되면서 트랜스포머 아키텍처의 기반이 되는 어텐션 모델의 한계에 대한 논의도 계속되고 있죠.그래서 어텐션 기반의 트랜스포머 아키텍처를 개선하거나 대체하겠다는 연구, 개발도 지속되고 있습니다. 미국의 AI 스타트업 매니페스트 AI는 4일(현지시간) ‘브럼비(Brumby)’ 모델을 온라인 아카이브를 통해 소개하였고, 해당 모델에서는 트랜스포머 아키텍처에서 어텐션 레이어를 완전히 제거하고 자사가 개발한 파워 리텐션(Power Retention) 아키텍처를 적용하여 트랜스포머 아키텍처의 문제를 해결, 개선했다고 주장하고 있으며, 트랜스포머 아키텍처를 대체할 것이라고 밝혔습니다. https..
