정확도가 높다는 설명만으로 충분한가
AI 시스템의 성능을 설명할 때 가장 먼저 등장하는 것은 정확도다. 그러나 전체 평균이 양호하다는 사실만으로 모든 이용자에게 비슷한 수준의 성능을 제공한다고 판단할 수는 없다.
일부 이용자에게 오류가 집중되거나 특정 조건의 입력을 반복적으로 잘못 처리한다면, 평균 수치만으로는 그 문제를 발견하기 어렵다. 오류의 빈도가 같더라도 잘못된 결과가 개인에게 미치는 영향은 업무에 따라 달라진다.
알고리즘 감사는 이러한 문제를 확인하기 위해 시스템의 목적과 데이터, 평가 방식, 실제 운영 과정을 체계적으로 살펴보는 활동이다.
이 글에서 사용하는 알고리즘 감사는 기술과 운영을 함께 검토하는 넓은 의미다. 모든 점검이 법에서 정한 감사나 인증에 해당한다는 뜻은 아니다. 공식 자료를 바탕으로 작성한 실무 해설이며, 특정 기업의 감사 결과나 법률 자문을 제시하는 글도 아니다.
편향은 학습 데이터에서만 발생하지 않는다
AI 편향을 이야기할 때는 학습 데이터의 불균형에 관심이 집중되기 쉽다. 하지만 데이터의 양을 조정하는 것만으로 모든 문제가 해결되지는 않는다.
무엇을 좋은 결과로 정의했는지, 어떤 사람의 데이터를 수집했는지, 누가 정답을 부여했는지, 시스템의 출력을 담당자가 어떻게 사용하는지도 결과에 영향을 준다.
미국 국립표준기술원인 NIST의 편향 관련 보고서는 의도하지 않은 경우에도 기술 과정에 존재하는 편향이 해로운 결과로 이어질 수 있다고 설명한다. 따라서 문제를 모델 내부의 계산만으로 한정하지 않고, 개발과 사용을 둘러싼 사람과 조직의 판단까지 살펴볼 필요가 있다.
예를 들어 과거 업무 평가를 학습 목표로 사용한다면, 그 평가가 실제 업무 역량을 적절하게 반영했는지 먼저 확인해야 한다. 과거 기록을 정확하게 재현하는 것과 바람직한 판단을 하는 것은 같은 목표가 아닐 수 있다.
감사 범위는 모델보다 업무에서 출발한다
감사를 시작할 때는 AI가 무엇을 하는지부터 구체적으로 정리해야 한다.
정보를 요약하는지, 검토 순서를 정하는지, 점수를 부여하는지, 사람에게 영향을 주는 결정에 활용되는지 구분한다. 같은 모델이라도 어떤 업무에 연결하느냐에 따라 확인해야 할 위험이 달라진다.
결과물을 실제로 사용하는 사람도 확인해야 한다. 화면에는 참고용 점수라고 표시돼 있지만 담당자가 사실상 그 점수만으로 판단한다면, 운영상의 영향은 단순 참고 기능보다 클 수 있다.
외부 업체의 모델을 사용한다면 공급자가 제공하는 평가 자료의 범위와 자사가 확인할 수 있는 정보를 구분한다. 모델 전체를 검사할 수 없더라도, 자사 업무에 입력되는 자료와 출력 결과, 담당자의 사용 방식은 점검할 수 있다.
다만 확인하지 못한 영역까지 포함해 시스템 전체가 공정하다고 결론 내려서는 안 된다.
평균 성능과 집단별 오류를 함께 살핀다
평가에서는 전체 정확도와 함께 어떤 상황에서 어떤 오류가 발생하는지 살펴야 한다.
조건에 맞는 대상을 놓치는 오류와 조건에 맞지 않는 대상을 통과시키는 오류는 서로 다르다. 어느 오류가 더 큰 피해를 만드는지도 업무에 따라 달라진다.
또한 집단별 비교에서는 비율뿐 아니라 실제 건수와 표본 규모를 함께 봐야 한다. 평가 자료가 적은 집단에서는 몇 건의 결과만으로 비율이 크게 달라질 수 있기 때문이다.
집단 간 차이를 발견했다고 해서 그 차이만으로 법적 차별이 입증되는 것은 아니다. 반대로 차이가 작다는 이유만으로 문제가 없다고 단정할 수도 없다. 평가 자료의 대표성과 비교 기준, 업무의 맥락을 함께 검토해야 한다.
수치는 판단을 돕는 근거이지, 맥락을 대신하는 결론이 아니다.
공정성은 하나의 숫자로 끝나지 않는다
공정성을 평가하는 기준에는 여러 관점이 있다. 집단별로 긍정적인 결과를 받는 비율을 비교할 수도 있고, 실제 조건을 충족하는 사람이 잘못 제외되는 비율을 비교할 수도 있다. 같은 점수가 비슷한 의미를 갖는지 살펴보는 방식도 있다.
이러한 기준은 언제나 동시에 같은 결론을 주지는 않는다. 한 지표의 차이를 줄였다고 해서 다른 지표나 실제 피해까지 함께 개선됐다고 보장할 수 없다.
따라서 담당자는 왜 해당 지표를 선택했는지 설명해야 한다. 영향을 받는 사람과 업무 목적, 오류가 만드는 피해를 고려해 평가 기준을 정하고, 선택한 기준의 한계도 기록하는 편이 좋다.
평가 결과에는 단순히 통과 또는 실패만 남기기보다 어떤 기준으로 무엇을 확인했으며 어떤 문제는 확인하지 못했는지 함께 적어야 한다.
민감한 정보는 평가 목적만으로 마음대로 수집할 수 없다
집단별 차이를 분석하려면 개인의 특성과 관련된 정보가 필요할 수 있다. 그러나 공정성 점검이라는 목적만으로 개인정보를 자유롭게 수집하거나 결합할 수 있는 것은 아니다.
수집과 이용의 적법한 근거, 필요성, 접근 권한, 보관 기간 등을 함께 검토해야 한다. 민감정보에 해당하는지 여부와 그에 따른 처리 요건도 별도로 확인할 필요가 있다.
기존에 보유한 정보라도 처음 수집한 목적과 다른 분석에 사용할 수 있는지 검토해야 한다. 평가를 외부 업체에 맡긴다면 전달 범위와 처리 관계도 확인해야 한다.
특정 집단을 비교할 자료가 없다는 이유로 이름이나 주소 등에서 개인의 특성을 임의로 추정하는 방식도 신중해야 한다. 추정 자체가 부정확할 수 있고, 새로운 개인정보 처리 문제를 만들 수 있다.
자료의 한계 때문에 평가할 수 없는 부분은 그 한계대로 기록해야 한다. 확인하지 못했다는 사실을 문제가 없다는 결론으로 바꾸면 안 된다.
가상 사례: 채용 지원서 검토 순서 추천
다음은 실제 기업의 사건이 아니라 점검 과정을 설명하기 위한 가상 시나리오다.
한 회사가 지원서를 정리하고 담당자의 검토 순서를 추천하는 AI 기능을 도입한다고 가정해보자. 최종 채용 결정은 사람이 하지만, 추천 순위가 낮은 지원서는 충분히 검토되지 않을 가능성이 있다.
이 경우 감사 범위는 AI가 만든 순위의 정확도에만 머물러서는 안 된다. 담당자가 실제로 어느 범위까지 지원서를 읽는지, 낮은 순위의 지원서를 다시 확인하는 절차가 있는지도 살펴야 한다.
학습이나 평가에 과거 채용 결과를 사용했다면 그 결과를 정답으로 삼는 것이 적절한지도 확인해야 한다. 과거에 선발된 사람을 잘 예측한다는 사실만으로 새로운 지원자의 업무 적합성을 올바르게 평가한다고 볼 수는 없다.
또한 지원서의 형식과 문장 표현, 경력 공백, 파일 변환 오류 등이 추천 결과에 어떤 영향을 주는지 점검할 수 있다. 업무와 무관한 형식 차이 때문에 결과가 크게 달라진다면 개선이 필요하다.
평가 이후에는 발견한 문제가 실제 사용 과정에서도 반복되는지 확인해야 한다. 담당자의 검토 방식과 재검토 절차까지 연결해야 기술 평가가 운영 개선으로 이어진다.
결과 차이를 발견하면 원인을 나눠 확인한다
평가에서 불리한 결과가 발견됐다고 해서 바로 특정 입력 항목을 삭제하거나 모델을 교체하는 것이 최선이라고 단정할 수는 없다.
입력 자료가 누락됐는지, 문서 변환 과정에서 정보가 손실됐는지, 평가 기준이 잘못 설정됐는지, 모델의 출력이 담당자에게 오해를 주는지 등을 구분해야 한다.
명시적인 특성 정보를 제거해도 다른 정보가 비슷한 역할을 할 수 있다. 반대로 특정 정보를 제거하는 과정에서 필요한 정보까지 사라져 다른 오류가 증가할 수도 있다.
원인을 확인한 뒤 수정하고, 수정 전후를 같은 기준으로 비교해야 한다. 개선 과정에 반복해서 사용하지 않은 별도 평가 자료를 두는 것도 검토할 수 있다.
한 집단의 지표가 개선됐다는 사실만 확인하지 말고 전체 성능과 다른 집단의 오류, 실제 업무 부담이 어떻게 달라졌는지도 함께 살펴야 한다.
사람의 검토는 실제 권한과 연결돼야 한다
사람이 최종 확인한다는 설명만으로 위험이 충분히 관리되는 것은 아니다.
검토자가 결과의 근거와 한계를 알 수 없거나, AI의 추천을 변경할 권한이 없거나, 검토 시간이 지나치게 부족하다면 형식적인 확인에 그칠 수 있다.
담당자는 어떤 경우 AI 결과를 보류해야 하는지, 추가 자료를 요청할 수 있는지, 오류를 발견했을 때 누구에게 전달해야 하는지 알아야 한다.
결과의 영향을 받는 사람이 문제를 제기했을 때 다시 검토할 경로도 마련할 필요가 있다. 다만 구체적인 설명·거부·재검토 등의 법적 권리가 성립하는지는 적용 법령과 해당 처리의 요건에 따라 별도로 판단해야 한다.
운영상 마련하는 이의제기 절차와 법률이 요구하는 권리 보장 절차를 구분하되, 실제 이용자가 접근할 수 있도록 설계하는 것이 중요하다.
기술적 점검과 법적 적합성 판단은 다르다
편향성 테스트를 수행했다는 사실만으로 법령 준수나 인증이 완료되는 것은 아니다. 반대로 특정 지표에서 차이가 발견됐다는 사실만으로 위법 여부가 자동으로 결정되는 것도 아니다.
NIST AI 위험관리 프레임워크는 자발적인 사용을 위한 지침이다. 기업의 점검 체계를 설계하는 데 참고할 수 있지만, 이를 적용했다는 이유만으로 법적 면책이나 공적 인증을 받는 것은 아니다.
EU AI Act와 국내 인공지능기본법 등도 적용 대상과 기업의 역할, 시스템의 용도에 따라 검토해야 할 사항이 달라진다. 위험 분류와 의무, 적용 일정 등을 구분하지 않고 모든 AI에 동일한 감사가 의무라고 설명해서는 안 된다.
기업은 내부 기술 평가에서 확인한 사실과 법률 검토에서 판단한 사항을 나눠 기록해야 한다. 법적 판단이 필요한 부분은 관련 조문과 공식 안내, 구체적인 운영 사실을 바탕으로 검토해야 한다.
감사 기록에는 결론보다 확인 범위가 중요하다
유용한 감사 기록은 공정성 검증 완료라는 문장만 남기지 않는다.
평가한 시스템과 버전, 사용 목적, 자료의 범위, 선택한 지표, 표본 규모, 발견한 오류와 한계를 기록해야 한다. 어떤 문제를 수정했고 무엇이 남아 있는지도 구분한다.
개선 담당자와 재평가 시점, 사용을 보류하거나 중단할 조건도 함께 정할 수 있다. 모델과 데이터, 업무 절차가 변경된다면 기존 평가가 여전히 유효한지 다시 확인할 필요가 있다.
기록을 남기는 과정에서는 개인정보와 영업비밀의 접근 권한과 보관 범위도 관리해야 한다. 추적 가능성을 높이겠다는 이유로 불필요한 정보를 무제한 저장하는 것은 적절하지 않다.
외부에 평가 결과를 공개한다면 점검 범위와 한계를 함께 설명해야 한다. 일부 기능을 확인한 결과를 전체 시스템의 안전성과 공정성을 보증하는 표현으로 확대해서는 안 된다.
결론: 감사는 공정하다는 선언보다 개선의 근거다
알고리즘 감사의 목적은 AI가 완벽하게 공정하다는 문구를 확보하는 데 있지 않다. 어떤 사람과 어떤 상황에서 문제가 발생할 수 있는지 확인하고, 그 근거를 바탕으로 시스템과 업무를 개선하는 데 있다.
전체 성능뿐 아니라 집단별 오류와 실제 영향을 살펴보고, 자료가 부족한 부분은 한계로 남기며, 필요한 경우 사람이 결과를 재검토할 수 있어야 한다.
기술 평가와 법적 판단을 구분하고 변경 이후에도 다시 확인하는 체계가 필요하다.
신뢰할 수 있는 감사는 문제가 없다고 단정하는 보고서가 아니다. 무엇을 확인했고 무엇을 아직 알 수 없으며, 발견한 문제를 누가 어떻게 개선할지 설명하는 기록이다.
정정 안내
기존 본문에서 국내 인공지능기본법을 아직 제정되지 않은 가칭 법률로 설명한 부분을 삭제했습니다. 확인 가능한 출처 없이 제시한 기업의 개발비 손실 규모와 국내 금융권 사례를 제외하고, 편향성 평가와 법적 차별 판단을 구분했습니다. 본문의 채용 지원서 검토 예시는 설명을 위한 가상 시나리오입니다.
자료 확인일
2026년 10월 15일
참고 자료
미국 국립표준기술원 NIST Towards a Standard for Identifying and Managing Bias in Artificial Intelligence NIST Special Publication 1270 https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence
미국 국립표준기술원 NIST AI Risk Management Framework https://www.nist.gov/itl/ai-risk-management-framework
유럽연합 집행위원회 AI Act 공식 안내 https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
