AI 엔지니어링은 모델을 고르는 일이 아니라 모델을 둘러싼 시스템을 설계하는 일입니다. 무엇을 컨텍스트에 넣고 무엇을 뺄지, 실패한 호출을 어떻게 다시 시도할지, 토큰 비용을 어디서 줄일지, 무슨 일이 일어났는지 나중에 어떻게 확인할지가 여기 속합니다. 모델을 바꿔도 이 결정들은 그대로 남습니다.
리포트는 측정된 자료를 씁니다. 모델 18종 전부 입력이 길어질수록 성능이 나빠졌고 한도가 차기 훨씬 전부터였다는 컨텍스트 측정, 12개 조건에서 시스템 프롬프트만 캐시한 전략이 비용과 첫 토큰 시간에서 각각 4개 모델 중 3개로 가장 자주 최고였다는 캐싱 비교, 타임아웃이 실패 확정이 아니라 결과 미확정이라는 재시도 설계, OpenTelemetry GenAI 규약이 아직 전부 개발 중 등급이라는 확인이 있습니다.