Chapter 10. 형성평가

 

인공지능과 대화를 나누다 보면, 가끔 "얘가 내 말을 제대로 알아듣고 있는 건가?" 싶을 때가 있습니다. 열심히 프롬프트를 입력했지만, 결과물이 엉뚱하거나 방향이 빗나가는 경우죠.

이럴 때 효과적인 방법이 있습니다. 바로 AI가 현재 상황을 어떻게 인지하고 있는지 역으로 질문하는 것입니다.

---

 

1. 목표 이해도 평가 기법: "지금 잘 이해하고 있어?"

대화가 길어지거나 복잡한 작업을 수행할 때 가장 먼저 확인해야 할 것은 방향성입니다. 사용자는 A를 원하고 있는데, AI는 B를 목표로 달리고 있을 수도 있기 때문입니다.

이때는 AI에게 현재까지의 대화가 어떤 목표를 향해 가고 있는지 요약해 달라고 요청해 보세요.

 

"지금까지의 대화 내용을 바탕으로, 네가 이해한 우리의 최종 목표를 한 문장으로 정의해 줄래?"

---

2. 전략 평가 기법: "어떤 방식으로 일하고 있니?"

목표가 일치한다면, 그 다음은 수행 방식을 점검할 차례입니다. AI가 해당 임무를 수행하기 위해 어떤 논리적 구조나 전략을 사용하고 있는지 물어보는 것입니다.

여기에는 숨겨진 효과가 하나 있습니다. 설령 AI가 실제로는 특별한 전략 없이 답변을 생성했다가 질문을 받고 나서야 그럴듯한 전략을 지어냈다(할루시네이션) 하더라도, 이 답변 자체가 이후 대화에 영향을 미칠 수 있다는 점(어텐션)입니다.

 

"이 결과물을 만들기 위해 너는 어떤 전략이나 단계적 사고를 사용했니?"

---

3. 메타인지 평가 기법: "네 한계와 개선하기 위해 필요한 것은 뭐야?"

마지막은 AI의 자기 객관화 능력(메타인지)을 활용하는 것입니다. 답변이 묘하게 부족하거나 유용하지 않다고 느껴질 때, 사용자 혼자 고민하지 말고 AI에게 직접 물어보세요. 자신의 답변에 어떤 문제가 있는지, 개선할 점은 무엇인지 스스로 비판하게 만드는 것입니다.

 

예시) 정보가 부족한 상태에서 AI가 억지로 답변을 만들다 보니 결과물의 질이 떨어짐.

 

질문: "지금 네 답변에서 가장 취약한 부분은 무엇이고, 더 나은 답변을 위해 어떤 정보가 추가로 필요하니?"

해결: AI가 "특정 통계 자료가 부족해서 일반적인 내용만 작성했습니다"라고 실토하면, 사용자는 해당 자료를 제공해 줌으로써 할루시네이션을 줄이고 훨씬 정확도 높은 결과를 얻을 수 있습니다.

 

"이 답변의 한계점이나 논리적 허점이 있다면 무엇인지 말해줘. 그리고 개선할 수 있는 방법도 알려줘"

---

※ 본 글은 『프롬프트 엔지니어링: 생성형 AI를 자유자재로 다루는 비밀열쇠』 (반병현 저) 10장을 기반으로 학습 목적으로 요약한 글입니다.

※ 이 글은 책의 내용을 상당히 요약한 것으로, 원문 없이 읽을 경우 오해의 여지가 클 수 있습니다. 정확한 이해를 위해 원서의 정독을 권장합니다.