Salesforce AI가 CodeT5+를 출시합니다: 새로운 오픈 코드 대규모 언어 모델 제품군 출시

최신 대규모 언어 모델(LLM)은 코드 읽기 및 생성 작업에서 뛰어난 성능을 발휘하여 더 많은 사람들이 신비로운 컴퓨터 프로그래밍 분야에 진출할 수 있게 해줍니다. 구조적으로 기존 코드 LLM은 인코더 또는 디코더 전용 모델을 사용하며, 이는 일부 이해 및 생성 작업에만 탁월한 성능을 발휘합니다. 코드 중심 LLM은 일반적으로 사전 학습 목표가 제한되어 있어 해당 목표와 관련성이 낮은 다운스트림 작업의 성능이 저하되며, 인코더 전용 또는 디코더 전용 아키텍처를 채택하는 경우가 많아 특정 작업에만 최적의 성능을 발휘할 수 있습니다.

https://www.marktechpost.com/2023/05/20/salesforce-ai-introduces-codet5-a-new-family-of-open-code-large-language-models-with-an-encoder-decoder-architecture/