표정 인식 AI는 무엇을 보고 판단할까: 원리와 한계, 올바르게 쓰는 법

'얼굴 인식'이라는 말에 섞여 있는 네 가지 기술

흔히 '얼굴 인식'이라고 뭉뚱그려 부르지만, 실제로는 하는 일이 다른 기술 몇 가지가 있습니다. 어떤 기술이 쓰였는지 알면 결과를 어떻게 받아들여야 할지도 분명해집니다.

• 얼굴 검출: 이미지 안에서 얼굴이 '어디에 있는지' 사각형으로 찾는 일입니다. 누구의 얼굴인지는 모릅니다.
• 얼굴 기준점(랜드마크) 찾기: 찾은 얼굴 안에서 눈꼬리, 코끝, 입꼬리, 턱선 같은 지점의 위치를 찍는 일입니다.
• 표정 분류: 얼굴 모양이 미리 정해 둔 표정 범주(기쁨, 놀람 등) 중 어디에 가까운지 계산하는 일입니다.
• 신원 확인: 이 얼굴이 '누구'인지 다른 얼굴 사진과 비교해 알아내는 일입니다. 출입 통제나 휴대폰 잠금 해제에 쓰입니다.

ToolyStation의 실시간 표정 인식, 사진 표정 분석, AI 첫인상 리포트, AI 동물상 테스트는 앞의 세 가지만 씁니다. 사진 속 사람이 누구인지 알아내거나 다른 사람의 얼굴과 대조하는 기능은 없습니다.

1단계: 얼굴 찾기

얼굴 검출 모델은 수많은 사진에서 '여기가 얼굴'이라고 표시된 예시를 보고 학습한 프로그램입니다. 새 이미지를 받으면 얼굴일 가능성이 높은 영역을 사각형으로 찾고, 각 사각형에 얼마나 확신하는지 점수를 매깁니다. 점수가 정해 둔 기준보다 낮으면 얼굴로 인정하지 않습니다.

이 단계에서 실패하면 그다음 단계는 아예 실행되지 않습니다. 그래서 표정 결과가 이상할 때는 표정보다 먼저 '얼굴을 제대로 찾았는가'를 의심해 보는 것이 순서입니다. 얼굴이 너무 작거나, 옆을 보고 있거나, 일부가 가려져 있으면 이 단계에서 놓치기 쉽습니다.

2단계: 얼굴의 기준점 찍기

기준점 모델은 찾은 얼굴 안에서 눈, 눈썹, 코, 입, 턱선을 따라 정해진 개수의 점을 찍습니다. ToolyStation의 동물상 테스트가 쓰는 모델은 얼굴 하나에 68개의 점을 찍습니다.

이 점들의 위치를 알면 '눈꼬리가 몇 도 올라갔는지', '입꼬리가 입 가운데보다 얼마나 높은지', '턱이 얼마나 뾰족한지' 같은 값을 자로 재듯 계산할 수 있습니다. 동물상 테스트의 결과는 AI가 '이 사람은 고양이를 닮았다'고 판단한 것이 아니라, 이렇게 잰 몇 가지 비율을 사람이 정해 둔 동물별 기준값과 비교한 결과입니다.

3단계: 표정을 범주로 나누기

표정 분류 모델은 얼굴 사진마다 '기쁨', '놀람' 같은 이름표가 붙은 학습 자료를 보고, 얼굴 모양과 이름표 사이의 관계를 익힌 프로그램입니다. 새 얼굴을 받으면 미리 정해 둔 범주(이 사이트의 모델은 기쁨·슬픔·분노·놀람·두려움·역겨움·무표정의 7가지)마다 확률을 계산하고, 모든 확률의 합은 100%가 되도록 나눕니다.

여기서 중요한 점은 모델이 고를 수 있는 답이 이 일곱 가지뿐이라는 것입니다. 지루함, 집중, 당황, 피곤함처럼 범주에 없는 상태의 얼굴을 보여 줘도 모델은 일곱 가지 중 가까운 것에 확률을 나눠 줄 수밖에 없습니다. 그래서 피곤한 얼굴이 '슬픔'으로, 집중한 얼굴이 '분노'로 읽히는 일이 생깁니다.

표정은 감정이 아닙니다

표정 인식 AI가 보는 것은 얼굴 근육이 만든 '모양'입니다. 사람의 속마음, 즉 실제 감정은 볼 수 없습니다. 예의상 웃는 얼굴, 긴장해서 굳은 얼굴, 원래 입꼬리가 내려간 얼굴은 각각 '기쁨', '분노', '슬픔'으로 읽힐 수 있지만, 그 사람이 실제로 그렇게 느끼고 있다는 뜻은 아닙니다.

사람도 표정만으로 감정을 판단할 때는 상황과 말투, 그 사람에 대한 기억을 함께 씁니다. AI는 그 한 장면의 얼굴 모양만 봅니다. 그래서 결과는 '이 얼굴이 학습 자료 속 어떤 표정 사진과 비슷한가'에 대한 추정으로 읽는 것이 정확합니다.

결과가 틀리는 흔한 이유

• 조명과 그림자: 한쪽에서만 빛이 들어오면 그림자가 생긴 쪽의 입꼬리나 눈 모양이 다르게 보입니다.
• 각도: 얼굴을 옆으로 돌리거나 숙이면 눈과 입의 비율이 바뀌어, 같은 표정도 다른 범주로 읽힐 수 있습니다.
• 가림: 마스크, 손, 머리카락, 두꺼운 안경테는 모델이 보는 정보를 줄입니다.
• 작은 얼굴: 단체 사진처럼 얼굴이 작으면 검출 단계에서 놓치거나, 찾더라도 표정의 세부가 뭉개져 분류가 부정확해집니다.
• 흐림: 어두운 곳에서는 카메라가 빛을 더 오래 받아들이기 때문에, 조금만 움직여도 얼굴이 흐리게 찍힙니다. 흐린 프레임에서는 입꼬리나 눈 모양이 뭉개져 결과가 갑자기 튀기 쉽습니다.
• 미묘한 표정: 과장된 표정보다 일상의 옅은 표정이 더 헷갈리기 쉽습니다. 직접 해 보면 크게 웃을 때와 살짝 웃을 때 결과가 크게 다른 것을 볼 수 있습니다.

확률 숫자를 읽는 요령

결과에서 가장 높은 항목만 보면 놓치는 것이 많습니다. 함께 봐야 할 것은 1위와 2위의 차이입니다. '기쁨 85%, 무표정 8%'처럼 차이가 크면 모델이 그 얼굴을 비교적 분명하게 한 범주로 본 것이고, '무표정 40%, 슬픔 35%'처럼 비슷하면 모델도 헷갈리고 있다는 뜻입니다. 후자라면 조명이나 각도가 조금만 바뀌어도 1위가 바뀔 수 있습니다.

사진 여러 장을 비교할 때도 같은 원리가 적용됩니다. A 사진의 기쁨이 62%, B 사진이 58%라면 그 차이는 조명이나 얼굴 크기 차이로도 생길 수 있는 수준이라, 'A가 더 밝게 웃었다'고 단정하기 어렵습니다. 비교하려면 얼굴 크기와 조명이 비슷한 사진끼리, 차이가 충분히 클 때만 의미를 두세요.

사람의 판단과 비교해 보기

AI의 결과가 얼마나 사람의 느낌과 맞는지 알아보는 간단한 방법이 있습니다. 내 표정 사진 다섯 장 정도를 골라 친구 몇 명에게 각 사진이 어떤 표정으로 보이는지 물어보고, 같은 사진을 사진 표정 분석에 넣어 결과를 비교하는 것입니다.

대개 크게 웃는 사진처럼 분명한 표정은 사람과 AI의 답이 같고, 옅은 표정이나 복잡한 표정에서는 사람끼리도 의견이 갈리고 AI의 답도 흔들립니다. 사람들 사이에서도 답이 갈리는 사진이라면, AI의 결과 역시 '정답'이 아니라 여러 가능한 해석 중 하나로 보는 것이 맞습니다.

재미 테스트의 점수는 어떻게 만들어지나

'첫인상 점수'나 '동물상'처럼 그럴듯한 결과도, 그 바탕은 앞에서 설명한 표정 확률과 얼굴 기준점의 비율입니다. AI가 사람의 매력이나 성격을 따로 평가하는 것이 아닙니다.

• AI 첫인상 리포트: 7가지 표정 확률에 사람이 정한 공식을 적용해 '친근함', '신뢰감' 같은 점수를 만듭니다. 예를 들어 기쁨 비율이 높을수록 친근함이 올라갑니다. 웃는 사진과 무표정 사진의 결과가 크게 다른 이유가 이것입니다.
• AI 동물상 테스트: 눈꼬리 각도, 입꼬리, 턱선, 눈 비율 네 가지를 재서, 동물마다 정해 둔 기준값과 얼마나 가까운지 비교합니다.

공식과 기준값은 '재미있는 결과가 나오도록' 사람이 정한 것이지, 과학적으로 검증된 기준이 아닙니다. 각 도구 페이지의 '측정 원리와 결과 해석'에 계산 방식을 그대로 적어 두었으니, 결과가 왜 그렇게 나왔는지 궁금하다면 비교해 보세요.

이렇게 쓰면 안 됩니다

표정 인식 결과는 앞에서 본 이유로 쉽게 흔들리고, 무엇보다 속마음을 보여 주지 않습니다. 그래서 사람에 대한 중요한 판단에 쓰기에는 맞지 않습니다.

• 채용·평가: 면접 영상이나 사진에서 나온 표정 점수로 사람을 평가하는 것
• 거짓말 판별: 표정 변화로 진실 여부를 판단하는 것
• 몰래 분석: 상대가 모르는 상태에서 카메라로 비추거나, 동의 없이 남의 사진을 분석하는 것
• 아동의 사진: 보호자의 동의 없이 아이의 얼굴을 분석하거나 결과를 공유하는 것

재미로 쓸 때도 다른 사람의 사진이라면 본인에게 먼저 물어보는 것이 기본입니다. 결과를 놀림거리로 쓰지 않는 것도 마찬가지입니다.

얼굴 사진과 개인정보

얼굴 사진은 그 자체로 사람을 알아볼 수 있는 정보라 다른 사진보다 조심해서 다뤄야 합니다. ToolyStation의 표정 분석 도구들은 사진과 카메라 영상을 브라우저 안에서만 처리하고 서버로 보내지 않습니다. 모델 파일만 외부에서 내려받을 뿐, 얼굴 이미지가 함께 전송되지는 않습니다.

다만 첫인상·동물상 테스트의 결과 카드에는 분석한 얼굴이 잘려서 들어갑니다. 카드를 공유하는 순간부터는 그 사진이 내 기기를 떠나므로, 공유할 곳과 공개 범위를 한 번 더 확인하세요.

직접 실험해 보기

원리를 가장 빨리 이해하는 방법은 조건을 하나씩 바꿔 가며 결과를 비교하는 것입니다. 실시간 표정 인식을 켜고 다음을 차례로 해 보세요.

1. 같은 무표정으로 정면을 본 상태에서, 방 조명을 켰다 끄거나 창문 쪽으로 몸을 돌려 봅니다. 표정은 그대로인데 확률이 얼마나 바뀌는지 보세요.
2. 살짝 웃기와 크게 웃기를 번갈아 해 봅니다. '기쁨' 비율이 어느 정도 웃어야 가장 높아지는지 확인합니다.
3. 얼굴을 좌우로 천천히 돌려 봅니다. 몇 도쯤에서 얼굴 박스가 사라지는지 보면 검출의 한계를 느낄 수 있습니다.
4. 손으로 입을 가렸다가 눈을 가려 봅니다. 어느 부분을 가렸을 때 결과가 더 크게 흔들리는지 비교합니다.

이 실험을 해 보면 '표정 인식 AI가 무엇을 보고 판단하는지', 그리고 결과를 어디까지 믿어야 하는지가 숫자로 체감됩니다. 결과를 재미로 즐기되, 그 숫자가 사람에 대해 말해 주는 것은 생각보다 적다는 점을 기억해 두세요.