신경망은 블랙박스이며, 이 특성은 언어 모델, 멀티모달 모델, 심지어 신경망 위에 구축된 에이전트 시스템에서도 공유됩니다. 블랙박스는 특정 출력으로 이어지는 추론 과정을 근본적으로 알 수 없다는 것을 의미합니다. 이는 모델의 변경이 가져올 결과를 예측하기 어렵게 만듭니다. 최근까지는 모든 것이 잘 작동하는 것처럼 보였지만, 이제 문제들이 나타나기 시작했습니다. 과도한 아첨, 환각, 이상한 행동들이 최고급 AI 서비스에서도 나타나고 있습니다. 입력의 무한한 다양성과 신경망의 블랙박스 특성으로 인해 아무리 많은 테스트를 해도 예상치 못한 문제가 발생할 수 있습니다.…

언어 모델은 자연어와 형식 언어를 모두 다룰 수 있는 능력을 바탕으로 코딩과 문서화를 포함한 다양한 분야에서 인간의 작업을 보조하는 데 사용되고 있습니다. 하지만 이제 우리는 언어 모델을 사용하여 새로운 문제를 정의하고 해결할 수 있어야 합니다. 형식 언어를 사용한 명세 작성이 그러한 문제의 대표적인 예입니다. 형식 언어로 명세를 작성하는 것은 검증과 정확성을 위해 중요하지만, 너무 많은 시간과 노력이 필요하여 매우 중요한 프로젝트를 제외하고는 거의 수행되지 않습니다. 하지만 언어 모델을 활용하여 자연어로 명세를 작성하고 이를 형식 언어로 변환함으로써 명세 작성에 필요한 시간과 노력을 크게 줄일 수 있습니다.…

현대 퍼징 기법(예: 방향성 퍼징)은 퍼징 캠페인을 안내하기 위해 정적 분석 정보에 크게 의존합니다. 하지만 정적 분석이 부정확한 결과를 생성할 때, 종종 인간이 설계한 휴리스틱에 의존하기 때문에 이러한 캠페인의 성공이 크게 제한될 수 있습니다. 핵심 통찰은 퍼징 결과가 프로그램 동작에 대한 실제 정보를 제공한다는 것입니다. 이 정보는 두 가지 방법으로 정적 분석을 개선하는 데 도움이 될 수 있습니다: 불완전한 분석으로 인해 잃어버린 정보를 복구하고, 지나치게 보수적인 분석에서 나온 가짜 결과를 제거하는 것입니다.…