모델이 앞으로도 절대 할 수 없는 것은?

최근 몇 년은 언어 모델과 AI의 시대로 기록되고 있습니다. AI는 상당한 성능 향상에 힘입어 모든 분야에서 필수적이 되고 있습니다. 특정 영역에서는 AI가 이제 인간의 능력을 뛰어넘습니다. AI의 발전이 기존의 모든 문제를 해결할 수 있을 것처럼 보입니다.

그럼에도 불구하고 더 큰 지능만으로는 모든 문제가 해결되지 않습니다. 언어 모델은 지능형 소프트웨어의 핵심이지만 웹 접근, 임시 메모리 등을 위한 MCP(Model Context Protocol)와 같은 보조 도구가 필요합니다. 코드 실행을 위한 샌드박스도 그런 도구의 예입니다.

그러나 이러한 도구들도 모든 문제를 해결하지는 못합니다. 언어 모델은 여전히 오류가 발생하기 쉽고, 특히 정보와 요구사항이 증가하고 복잡성이 커질수록 더욱 그렇습니다. 이러한 오류는 사용자가 쉽게 수정할 수 있기 때문에 챗봇에서는 사소한 문제입니다. 반면 에이전트 시스템에서는 인간의 수정 전에 오류가 실제 세계에 영향을 미칠 수 있습니다.

이를 완화하기 위해 저는 SMT(만족가능성 모듈로 이론) 솔버와 같은 규칙 기반 AI를 통합할 것을 제안합니다. 선언적 요구사항을 사용하여 모델 작업이 제약 조건을 충족하는지 검증할 수 있으며, 이는 시스템 안전성을 향상시킵니다. 이를 통해 지속적인 검증이 가능해지며, 이는 에이전트 시스템에 매우 중요합니다. 한때 신경망의 경쟁자로 여겨졌던 기호적 방법들이 이제는 신경망 기반 에이전트를 검증하는 데 필수적이 될 수 있습니다.