데스크톱 환경에 AI 기반 전체 코드 완성 기능 도입: 젯브레인 IntelliJ 플랫폼 기반 로컬 접근 방식

Belangrijkste concepten

본 논문에서는 젯브레인 IntelliJ 플랫폼에서 구현된 AI 기반 전체 코드 완성 기능(FLCC)의 개발 과정과 평가 결과를 소개합니다. 로컬 환경에서 작동하는 Transformer 기반 모델을 활용하여 개발자에게 빠르고 안전하며 IDE에 완벽하게 통합된 코드 작성 경험을 제공합니다.

Samenvatting

젯브레인의 전체 코드 완성 기능: 데스크톱 환경에 AI 도입

본 연구 논문에서는 젯브레인 IntelliJ 플랫폼에 통합된 AI 기반 전체 코드 완성 기능(FLCC)의 개발 및 평가에 대해 자세히 설명합니다. 저자들은 개발자가 코드를 더 빨리 작성할 수 있도록 돕고 소프트웨어 엔지니어링 활동의 속도를 높이는 것을 목표로, 기존 단일 토큰 코드 완성 기능을 넘어서는 다중 토큰 코드 완성 엔진을 구축하고자 했습니다.

코드 완성은 개발자가 코드 문자를 수동으로 입력하는 데 걸리는 시간을 줄여 생산성을 높여주는 IDE의 핵심 기능입니다. 기존의 코드 완성 엔진은 일반적으로 단일 토큰 모드에서 작동하여 변수나 메서드 이름과 같은 단일 식별자만 생성합니다. 최근 몇 년 동안 Copilot, TabNine, Codeium과 같은 다중 토큰 코드 완성을 위한 여러 제품이 등장했지만, 대부분 클라우드 기반이기 때문에 방화벽 내 사용자, 인터넷 액세스가 제한된 사용자, 코드 전송에 대한 개인 정보 보호 문제가 있는 사용자를 위한 틈새시장을 놓치고 있습니다.

젯브레인에서 개발한 FLCC 기능은 핵심에서 Transformer 기반 신경망을 활용하고 구문적으로 올바른 코드만 제안하는 다중 토큰 코드 완성 엔진입니다. 이 기능은 IntelliJ 플랫폼용 플러그인 형태로 구현되어 있으며 IntelliJ IDEA, PyCharm Pro, WebStorm 등 모든 젯브레인 IDE에 번들로 제공됩니다. FLCC는 로컬에서 완전히 작동하며 데이터 쿼리 및 제안 생성을 포함한 모든 계산은 최종 사용자의 컴퓨터에서 이루어집니다.
주요 제약 조건 및 설계 원칙
저자들은 FLCC 기능에 대해 다음과 같은 제약 조건과 설계 원칙을 공식화하고 충족했습니다.

로컬 기반: 모델과 실행 엔진은 인터넷을 통해 아무것도 전송하지 않고 사용자의 컴퓨터에서 완전히 작동해야 합니다.
컴팩트한 메모리 사용량: 솔루션의 메모리 사용량은 실현 가능해야 하며 IDE 메모리 사용량의 적절한 부분을 차지해야 합니다.
빠른 속도: 솔루션은 개발자가 입력하는 동안 자연스럽게 느껴질 만큼 빨라야 합니다.
원활한 통합: 이 기능은 개발자의 기존 코드 완성 사용 파이프라인에 적절하게 통합되어야 합니다.

데이터 수집 및 전처리
Python의 경우 The Stack의 하위 집합인 StarCoder 데이터 세트를 사용했으며, 허용되는 라이선스만 유지하도록 추가로 처리했습니다. 데이터 전처리에는 주석 제거, 들여쓰기 변환, 가져오기 삭제와 같은 단계가 포함되었습니다.
모델 학습
FLCC는 소스 코드에 대해 Transformer 기반 모델을 사용하며, 이러한 모델에 대한 표준 접근 방식인 바이트 쌍 인코딩(BPE)을 약간 수정하여 사용했습니다. 모델 학습에는 토큰화, 학습 예제 구성, Transformer 기반 모델 학습, 양자화와 같은 여러 단계가 포함되었습니다.
시퀀스 생성 알고리즘
FLCC는 표준 접근 방식에 비해 몇 가지 주요 수정 사항이 있는 빔 검색을 구현했습니다. 여기에는 토큰 치유, 종료된 가설 수집, 동적 빔 검색 반복 횟수와 같은 기술이 포함됩니다.
플러그인 및 사용자 경험
IntelliJ 플랫폼용 FLCC 플러그인은 설명된 코드 완성이 이루어지는 곳입니다. 코드 완성 호출 및 모델 추론부터 후처리 및 제안 표시에 이르기까지 필요한 모든 단계를 구현합니다. 플러그인은 Kotlin으로 작성되었으며 모델 추론을 위해 llama.cpp를 사용하는 네이티브 C++ 서버를 활용합니다.

Belangrijkste Inzichten Gedestilleerd Uit

Full Line Code Completion: Bringing AI to Desktop

by Anton Semenk... om arxiv.org 10-08-2024

https://arxiv.org/pdf/2405.08704.pdf

Diepere vragen

AI 기반 코드 완성 도구가 소프트웨어 개발 프로세스의 특정 측면을 자동화함에 따라 개발자의 역할은 어떻게 진화할까요?

AI 기반 코드 완성 도구는 반복적인 코딩 작업을 자동화하여 개발자의 역할을 코드 작성자에서 코드 설계자 및 검토자로 변화시키고 있습니다. 즉, 개발자는 단순히 코드를 작성하는 것이 아니라, 더 높은 수준의 작업, 예를 들어 복잡한 문제 해결, 알고리즘 설계, 시스템 아키텍처 구축, 코드 품질 및 보안 향상에 집중할 수 있게 됩니다.
구체적으로 살펴보면 다음과 같습니다.

생산성 향상: FLCC와 같은 AI 도구는 개발자가 코드를 더 빠르게 작성하도록 도와 생산성을 향상시킵니다. 이는 개발자가 주어진 시간 내에 더 많은 작업을 수행할 수 있음을 의미하며, 결과적으로 더 많은 가치를 창출할 수 있습니다.
학습 곡선 완화: AI 코드 완성 도구는 초보 개발자들이 코드 작성법을 배우는 데 도움을 줄 수 있습니다. 도구에서 제공하는 제안을 통해 다양한 API 및 라이브러리의 사용법을 익히고, 일반적인 코딩 패턴을 익힐 수 있습니다.
고급 기술에 집중: 개발자는 반복적인 작업에서 벗어나 알고리즘 최적화, 보안 강화, 성능 향상과 같은 더 높은 수준의 문제에 집중할 수 있습니다. 이는 개발자가 더욱 전문적이고 창의적인 역할을 수행할 수 있도록 합니다.
새로운 기술 및 도구에 대한 적응력 향상: AI는 새로운 기술과 도구를 빠르게 학습하고 적용할 수 있습니다. 개발자는 AI 도구를 통해 최신 기술을 빠르게 익히고 실무에 적용하여 경쟁력을 유지할 수 있습니다.
결론적으로 AI는 개발자를 대체하는 것이 아니라, 개발자가 더욱 가치 있는 일에 집중할 수 있도록 돕는 도구로서 기능할 것입니다.

FLCC와 같은 로컬 기반 솔루션의 이점을 유지하면서 클라우드 기반 코드 완성 엔진의 기능을 활용하는 하이브리드 접근 방식이 있을까요?

네, 로컬 기반 솔루션의 이점과 클라우드 기반 엔진의 기능을 결합한 하이브리드 접근 방식이 가능합니다. 이러한 하이브리드 모델은 FLCC와 같은 로컬 모델을 사용하여 기본적인 코드 완성 기능을 제공하면서, 필요에 따라 클라우드 기반 모델의 더 강력한 기능을 활용할 수 있습니다.
다음은 하이브리드 접근 방식의 몇 가지 예시입니다.

단계적 모델 실행: 로컬 모델이 먼저 코드 제안을 제공하고, 사용자가 만족스럽지 않거나 더 많은 제안이 필요한 경우 클라우드 기반 모델에 추가 요청을 보낼 수 있습니다.
컨텍스트 기반 전환: 코드의 복잡성이나 컨텍스트에 따라 로컬 및 클라우드 모델 간에 자동으로 전환할 수 있습니다. 예를 들어, 간단한 코드 완성은 로컬에서 처리하고, 복잡한 함수나 클래스 생성과 같은 작업은 클라우드 모델을 사용할 수 있습니다.
federated learning: 사용자의 개인 정보를 보호하면서 클라우드 기반 모델을 개선하는 데 사용할 수 있습니다. 로컬 모델은 사용자의 데이터를 사용하여 학습하고, 학습된 내용을 익명화하여 클라우드 모델에 공유합니다.
이러한 하이브리드 접근 방식은 개인 정보 보호, 속도, 기능 확장성 사이의 균형을 맞춰줍니다. 로컬 모델은 빠른 응답 속도와 오프라인 작업을 보장하고, 클라우드 모델은 더 많은 데이터와 컴퓨팅 성능을 활용하여 더 정확하고 복잡한 코드 제안을 제공할 수 있습니다.

코드 완성이 소프트웨어 개발의 미래에 미치는 영향은 무엇이며, 특히 코드 생성, 디버깅, 문서화와 같은 다른 작업을 자동화할 수 있는 잠재력은 무엇일까요?

코드 완성은 단순히 코드 작성을 돕는 것을 넘어 소프트웨어 개발의 미래를 형성하는 데 중요한 역할을 할 것입니다. 특히 코드 생성, 디버깅, 문서화와 같은 다른 작업을 자동화하여 개발 프로세스를 혁신할 잠재력이 있습니다.

코드 생성: AI는 주어진 요구 사항이나 스케치 코드를 기반으로 전체 함수, 클래스, 모듈을 생성할 수 있습니다. 이는 개발자가 더 높은 수준의 설계 및 아키텍처에 집중할 수 있도록 하여 개발 속도를 크게 향상시킬 수 있습니다.
디버깅: AI는 코드를 분석하여 잠재적인 버그를 식별하고 수정 방법을 제안할 수 있습니다. 이는 디버깅에 소요되는 시간을 줄이고 소프트웨어 품질을 향상시키는 데 도움이 됩니다.
문서화: AI는 코드를 분석하여 자동으로 문서를 생성하거나 기존 문서를 업데이트할 수 있습니다. 이는 개발자가 문서화 작업에 소요되는 시간을 줄이고 항상 최신 상태를 유지하도록 도와줍니다.
더 나아가 코드 완성은 다음과 같은 분야에서도 혁신을 가져올 수 있습니다.

자동 테스트: AI는 코드를 분석하여 자동으로 테스트 케이스를 생성하고 실행할 수 있습니다. 이는 테스트 단계를 자동화하여 소프트웨어 품질을 향상시키고 출시 시간을 단축할 수 있습니다.
코드 리뷰 자동화: AI는 코드를 분석하여 잠재적인 문제점, 코드 스타일 위반, 보안 취약점을 식별하여 코드 리뷰 프로세스를 자동화할 수 있습니다.
Low-code/No-code 플랫폼: AI 기반 코드 완성은 프로그래밍 경험이 없는 사용자도 소프트웨어를 개발할 수 있도록 돕는 Low-code/No-code 플랫폼의 발전을 가속화할 것입니다.
결론적으로 코드 완성은 소프트웨어 개발 프로세스를 보다 효율적이고 접근성 높게 만들어 개발자의 역할을 재정의하고 소프트웨어 개발의 미래를 혁신할 것입니다.