🤖 ChatGPT 핵심 원리 시각화

📝

워드 임베딩

단어를 숫자 벡터로 변환하여 AI가 이해할 수 있는 형태로 만듭니다

→

🗺️

벡터 임베딩

의미가 비슷한 단어들을 다차원 공간에서 가깝게 배치합니다

→

🎯

셀프 어텐션

문장 내 단어들의 중요도를 계산하여 문맥을 파악합니다

💡 워드 임베딩 예시

고양이

[0.2, 0.8, -0.1, 0.5]

강아지

[0.3, 0.7, -0.2, 0.6]

자동차

[-0.5, 0.1, 0.9, -0.3]

컴퓨터

[-0.4, 0.2, 0.8, -0.1]

비슷한 의미의 단어들(고양이↔강아지, 자동차↔컴퓨터)은 유사한 벡터 값을 가집니다

🎯 셀프 어텐션 예시

은행 에서 돈 을 찾았다

"은행"이 "돈"과 "찾았다"와 높은 연관성을 보여 '금융기관'으로 해석됩니다

강가의 은행 에 앉았다

"은행"이 "강가의"와 "앉았다"와 높은 연관성을 보여 '나무'로 해석됩니다

높은 주의도

중간 주의도

낮은 주의도