Belangrijkste concepten
LLM 기반 코드 생성은 수학 공식을 포함한 프롬프트에 대해 구문적으로 견고하지 않다. 프롬프트 내 수학 공식의 구문을 변경하더라도 생성된 코드가 의미적으로 동등하지 않을 수 있다.
Samenvatting
이 논문은 LLM 기반 코드 생성의 구문적 견고성을 정의하고 평가하는 방법을 제안한다. 구문적 견고성은 프롬프트의 수학 공식을 구문적으로 변경했을 때 생성된 코드가 의미적으로 동등한 정도를 나타낸다.
논문에서는 다음과 같은 주요 내용을 다룬다:
- 구문적 견고성의 정의와 측정 방법 제안
- 선형, 2차, 삼각함수, 로그 방정식을 포함하는 코드 생성 프롬프트 구축
- 수학 공식을 구문적으로 변경하는 변이 규칙 정의
- GPT-3.5와 GPT-4의 구문적 견고성 평가 결과 제시
- 프롬프트 내 수학 공식을 간소화하는 사전 처리 기법을 통해 구문적 견고성을 향상시킬 수 있음을 보임
실험 결과, GPT-3.5와 GPT-4는 구문적 견고성이 낮은 것으로 나타났다. 그러나 제안한 사전 처리 기법을 적용하면 100%의 구문적 견고성을 달성할 수 있었다.
Statistieken
수학 공식을 구문적으로 변경하는 것은 LLM 기반 코드 생성의 구문적 견고성을 낮춘다.
GPT-4가 GPT-3.5보다 구문적 견고성이 1.55배 높다.
수학 공식의 구문적 거리가 증가할수록 구문적 견고성이 감소한다.
수학 공식의 변이 유형에 따라 구문적 견고성에 미치는 영향이 다르다.
수학 공식을 간소화하는 사전 처리 기법을 적용하면 100%의 구문적 견고성을 달성할 수 있다.
Citaten
"LLM 기반 코드 생성은 수학 공식을 포함한 프롬프트에 대해 구문적으로 견고하지 않다."
"프롬프트 내 수학 공식의 구문을 변경하더라도 생성된 코드가 의미적으로 동등하지 않을 수 있다."
"제안한 사전 처리 기법을 적용하면 100%의 구문적 견고성을 달성할 수 있었다."