Chapter 2. 모든 것은 어텐션으로부터 시작되었다.

최근 우리가 사용하는 모든 생성형 AI(ChatGPT, Claude, Gemini 등)의 중심에는 '트랜스포머(Transformer)'라는 기술이 자리 잡고 있습니다.

가끔 AI가 완벽한 답변을 내놓기도 하고, 때로는 엉뚱한 소리를 하기도 하죠? 이 모든 현상의 원인은 트랜스포머의 핵심 알고리즘인 '어텐션(Attention)'에 숨어 있습니다.

오늘은 복잡한 수식 없이, AI가 데이터를 처리하는 방식을 아주 쉽게 풀어보겠습니다.

---

1. 과거의 방식: 처음부터 끝까지 '정독'하기 (순차적 처리)

트랜스포머 이전에 인공지능이 긴 글을 읽는 방식은 우리가 책을 읽는 것과 비슷했습니다. 첫 단어부터 마지막 단어까지 순서대로 읽어 내려가는 방식이었죠.

하지만 이 방식에는 치명적인 단점이 있었습니다.

• 기억력의 한계: 문장이 길어지면 앞부분의 내용을 끝까지 기억하기 위해 막대한 저장 비용(Memory Cost)이 듭니다.
• 정보 손실: 저장 자원이 충분하지 않다면, 뒤로 갈수록 앞의 내용을 잊어버리거나 문맥을 놓쳐 처리 오류가 급격히 늘어납니다.

즉, "철수가 밥을 먹었다"라는 긴 문맥을 처리할 때, 끝부분에 가면 '철수'가 누구였는지, '밥'을 어쨌는지 잊어버리는 상황이 발생하는 것이죠.

---

2. 어텐션(Attention): 효과적인 정보 처리

이 비효율을 해결하기 위해 등장한 것이 바로 어텐션(Attention) 알고리즘입니다.

어텐션은 글을 순서대로 읽지 않습니다. 대신 다음과 같은 효율적인 과정을 거칩니다.

1. 전체 훑어보기: 데이터를 가볍게 여러 번 훑어봅니다.
2. 중요 부분 마킹: 문맥상 중요한 단어나 관계에 형광펜을 칠하듯 가중치를 둡니다.
3. 요약 및 압축: 마킹된 핵심 정보를 바탕으로 내용을 요약하여 압축합니다.

이후 사용자의 질문이 들어오면, AI는 처음부터 다시 읽는 것이 아니라 미리 마킹하고 압축해 둔 핵심 내용(Context)을 즉시 활용하여 답변을 생성합니다.

 

결과: 짧은 시간 안에 대량의 정보를 정리하면서도, 정확도 높은 답변을 빠르게 제공할 수 있게 되었습니다.

---

3. 어텐션의 확장성

이 어텐션 메커니즘은 단순히 학습된 지식을 내뱉는 것을 넘어, AI의 활용도를 극대화했습니다.

 

① 외부 데이터 참조 (RAG 등)

AI가 학습하지 않은 최신 정보나 전문 지식이 필요할 때가 있습니다. 이때 AI는 어텐션을 활용해 외부 데이터를 빠르게 훑고, 질문과 관련된 부분만 찾아내어 답변에 참조합니다.

 

② 대화의 맥락 기억 (Context Window)

우리는 AI가 이전 대화를 '기억'한다고 느낍니다. 하지만 엄밀히 말하면 AI는 인간처럼 기억을 저장하는 것이 아닙니다.

AI는 우리가 새로운 질문을 던질 때마다 지금까지의 대화 내역 전체를 순식간에 다시 훑어보고 처리합니다. 어텐션 알고리즘 덕분에 대량의 대화 로그를 눈 깜짝할 새에 파악할 수 있기 때문에, 마치 이전 대화를 기억하고 있는 것처럼 자연스럽게 반응하는 것입니다.

---

※ 본 글은 『프롬프트 엔지니어링: 생성형 AI를 자유자재로 다루는 비밀열쇠』 (반병현 저) 2장을 기반으로 학습 목적으로 요약한 글입니다.

※ 이 글은 책의 내용을 상당히 요약한 것으로, 원문 없이 읽을 경우 오해의 여지가 클 수 있습니다. 정확한 이해를 위해 원서의 정독을 권장합니다.