수어 데이터셋 — 한국수어 AI 연구를 위한 공개 자료 정리

수어 데이터셋은 한국수어 인식·번역·생성 AI를 학습시키기 위한 핵심 자원입니다. 자연어 처리(NLP)에서 텍스트 코퍼스가 모델 성능의 기반이듯, 수어 처리에서는 동영상 데이터셋이 필수입니다. 한국수어는 영어 사인 언어(ASL)에 비해 데이터셋이 적지만, 최근 정부와 학계의 노력으로 공개 자료가 늘고 있습니다. 이 글에서는 한국수어 데이터셋의 현황, 활용 방법, 그리고 구축 시 고려사항을 정리합니다.

수어 데이터셋의 종류와 특징

수어 데이터셋은 목적과 형태에 따라 여러 유형으로 나뉩니다.

단어 단위 데이터셋(Isolated Sign Language Recognition, ISLR) — 한 단어를 한 영상으로 표현한 자료입니다. 학습 카드처럼 단어와 동영상이 1:1로 매칭되어 있어, 수어 단어 분류 모델 학습에 사용됩니다. 한국수어누리사전이 대표적인 예시로, 16,000여 표제어 각각에 동영상이 있습니다.

연속 수어 데이터셋(Continuous Sign Language Recognition, CSLR) — 자연스러운 문장이나 대화를 담은 영상에 한국어 자막과 수어 정렬 정보가 포함된 자료입니다. 수어 → 텍스트 자동 번역 모델 학습에 사용됩니다. 단어 단위보다 구축이 훨씬 어렵고 자료가 적습니다.

수어 → 텍스트 번역(Sign Language Translation, SLT) — 수어 영상에 대응하는 한국어 자막이 정렬되어 있어, 수어 비디오를 입력으로 한국어 문장을 출력하는 모델을 학습할 수 있습니다. CSLR과 비슷하지만, 의미 단위의 정렬이 필요해 더 정교합니다.

다중 모달 데이터셋 — 동영상 외에 깊이 정보, 손의 3D 좌표, 표정 분석 데이터, 텍스트 자막 등을 함께 포함하는 자료입니다. 모델의 정확도를 높이는 데 유용하지만, 구축 비용이 높아 소수의 연구 프로젝트에서만 만들어집니다.

각 유형은 학습 가능한 모델의 종류가 다릅니다. ISLR 데이터로는 문장 통역 모델을 학습시키기 어렵고, SLT 데이터셋이 부족하면 자연스러운 통역 AI 개발이 한계에 부딪힙니다. 한국수어 연구에서는 이 균형이 핵심 과제 중 하나입니다.

한국수어 공개 데이터셋

한국에서 학술·연구 목적으로 활용 가능한 한국수어 데이터셋은 점차 늘고 있습니다.

국립국어원 한국수어누리사전 — 가장 큰 단어 단위 자료입니다. 약 16,000여 표제어와 동영상이 공개되어 있으며, 크롤링 방식으로 수집해 학습 데이터로 사용할 수 있습니다. 다만 라이선스 범위 내에서 사용해야 하며, 대량 크롤링 시 사전 운영자에 문의하는 것이 안전합니다.

AI Hub 수어 데이터셋(NIA, 한국지능정보사회진흥원) — 정부 주도로 구축된 대규모 한국수어 데이터셋이 AI Hub(aihub.or.kr)에 공개되어 있습니다. 일상 대화, 의료, 교육 등 분야별 자료가 있으며, 단어 단위와 문장 단위 모두를 포함합니다. 연구 신청 후 무료로 사용할 수 있어, 한국수어 AI 연구의 핵심 자료입니다.

학술 논문 부속 데이터셋 — 국내외 학술 논문에 부속되어 공개되는 소규모 데이터셋이 있습니다. 특정 주제(의료 통역, 지문자 인식, 손동작 분석 등)에 특화된 자료가 많아, 연구 분야에 맞는 자료를 선택할 수 있습니다.

공개 비디오 코퍼스 — KBS·EBS 수어 통역 방송, 농인 YouTube 콘텐츠가 잠재적 데이터셋이 될 수 있지만, 저작권과 개인정보 문제로 학술 사용에도 제한이 있습니다. 일부 연구 그룹은 방송사와 협약을 맺어 자료에 접근하지만, 일반 연구자가 자유롭게 사용하기는 어렵습니다.

연구실 자체 데이터 — 한국의 여러 대학 연구실이 자체 데이터셋을 구축해 사용합니다. 일부는 논문과 함께 공개하고, 일부는 공동 연구 협약을 통해 공유합니다. 한국수어 AI 연구를 시작한다면 관련 연구실에 컨택해 협력을 요청하는 것도 한 방법입니다.

데이터셋 구축 방법론

기존 데이터셋이 부족하거나 특정 분야의 자료가 필요한 경우, 자체 데이터셋을 구축해야 합니다. 좋은 데이터셋의 핵심 원칙들이 있습니다.

다양성 확보 — 한 사람이 표현한 수어 데이터만 학습한 모델은 다른 사람의 수어를 제대로 인식하지 못합니다. 성별, 연령, 지역, 손 크기, 피부색 등 다양한 표현자의 자료를 확보하는 것이 필수입니다. 데이터셋의 표현자 수가 곧 모델의 일반화 성능을 좌우합니다.

표준화된 환경 — 같은 단어를 같은 사람이 표현해도, 조명·배경·카메라 각도가 다르면 모델 학습에 노이즈가 됩니다. 일정한 흰 배경, 균일한 조명, 정면 카메라 등 표준화된 환경을 갖추거나, 또는 처음부터 다양한 환경을 의도적으로 포함해 모델의 강인성을 높입니다.

정확한 어노테이션 — 동영상에 단어, 문장, 시작·끝 시점 등의 메타데이터를 정확히 표시해야 합니다. 이 작업은 대부분 농인 또는 자격 있는 통역사가 수행하며, 데이터셋 구축의 가장 큰 비용 항목입니다. 어노테이션의 일관성을 보장하기 위해 명확한 가이드라인과 검수 절차가 필요합니다.

품질 관리 — 수집된 자료에 동작 오류, 자막 누락, 화질 문제가 있는지 검수합니다. 일정 비율의 샘플을 농인 자문가가 직접 확인하고, 잘못된 데이터는 제거하거나 재촬영합니다. 품질 검수 없이 양만 늘린 데이터셋은 모델 성능을 오히려 떨어뜨릴 수 있습니다.

버전 관리·재현 가능성 — 데이터셋이 점진적으로 확장될 경우, 버전 관리가 중요합니다. 어떤 버전의 데이터로 어떤 모델을 학습했는지 명확히 기록해야, 연구 재현성과 비교 가능성이 보장됩니다.

윤리적 고려사항

수어 데이터셋은 농인 커뮤니티의 언어를 대상으로 하기 때문에, 일반 데이터셋과 다른 윤리적 책임이 따릅니다.

커뮤니티 참여 — 데이터셋 기획·구축·검수에 농인 당사자의 참여를 보장해야 합니다. 외부 연구자가 일방적으로 자료를 수집하고 떠나는 ‘추출형’ 연구가 아니라, 농인 커뮤니티의 의견을 반영하고 결과를 공유하는 ‘참여형’ 연구가 원칙입니다. 연구 결과의 혜택이 커뮤니티에 환원되도록 설계하는 것이 중요합니다.

표현자의 권리 — 동영상에 출연한 사람의 초상권과 동의가 필수입니다. 사용 범위(학술, 상업, 재배포 등)를 명시한 동의서를 받아야 하며, 표현자가 추후 자료 삭제를 요청할 권리도 보장되어야 합니다.

편향과 대표성 — 데이터셋의 표현자 분포가 한국 농인 인구의 다양성을 반영하는지 점검해야 합니다. 특정 지역·연령·성별에 치우친 데이터로 학습된 모델은 그 외 사용자에게 차별적 결과를 줄 수 있습니다.

오용 방지 — AI 모델이 농인의 사적 대화를 무단으로 인식·기록하거나, 잘못된 통역으로 농인의 권익을 침해할 가능성이 있습니다. 데이터셋 공개·모델 배포 시 이런 오용을 방지하는 가이드라인과 라이선스 조건이 필요합니다.

‘농인을 위한’ 기술 — 수어 AI는 농인의 접근권과 의사소통권을 향상시키기 위한 것이어야 합니다. 청인의 호기심을 충족시키거나, 농인을 객체화하는 기술이 되지 않도록 항상 목적을 점검해야 합니다.

연구·서비스 활용 전략

한국수어 데이터셋을 실제 연구와 서비스에 활용할 때는 몇 가지 전략이 도움이 됩니다.

전이 학습 활용 — 한국수어 데이터셋이 영어 사인 언어 데이터셋보다 작기 때문에, ASL이나 다른 사인 언어 모델을 사전 학습 모델로 사용하고, 한국수어 데이터로 미세 조정하는 전이 학습이 유효합니다. 이는 사인 언어들 사이에 손동작 유사성이 일부 있기 때문입니다.

다중 작업 학습 — 단어 인식, 문장 번역, 표정 분류 등 여러 작업을 한 모델에서 동시에 학습하면, 작은 데이터셋으로도 더 나은 성능을 얻을 수 있습니다. 한국수어처럼 데이터가 제한적인 언어에 특히 유용한 접근입니다.

합성 데이터 활용 — 3D 모델이나 GAN 기반 합성으로 부족한 데이터를 보완할 수 있습니다. 다만 합성 데이터만으로 학습된 모델은 실제 환경에서 성능이 떨어질 수 있어, 실제 데이터와 합성 데이터를 적절히 혼합하는 것이 권장됩니다.

커뮤니티 협력 — 한국 농인 커뮤니티와 협력해 자료 수집·검수에 참여시키고, 연구 결과를 커뮤니티에 도움이 되는 형태로 환원하는 모델이 지속 가능한 연구의 기반입니다. 데이터셋 구축이 단순한 기술적 작업이 아니라 사회적 작업임을 인식해야 합니다.

벤치마크 표준화 — 동일한 데이터셋과 평가 지표로 여러 모델을 비교할 수 있어야 연구 진전이 가능합니다. 한국수어 분야에서도 표준 벤치마크를 정착시키려는 노력이 진행되고 있으며, 이에 동참하는 것이 분야 발전에 기여하는 길입니다.

자주 묻는 질문

한국수어 데이터셋은 영어 사인 언어 데이터셋보다 적나요?

네, 절대량으로는 영어 사인 언어(특히 ASL) 자료가 훨씬 많습니다. 다만 정부 주도의 AI Hub 데이터셋, 국립국어원 자료 등이 점진적으로 확대되고 있으며, 학계의 관심도 높아지고 있어 격차는 줄어들고 있습니다.

AI Hub 수어 데이터셋은 어떻게 다운로드하나요?

AI Hub(aihub.or.kr)에 접속해 회원가입 후, 사용 신청서를 제출하면 됩니다. 학술·연구 목적이라면 무료로 다운로드 가능하며, 상업 용도는 별도 협의가 필요합니다. 신청 후 승인까지 며칠이 걸립니다.

개인이 수어 영상을 수집해 데이터셋으로 만들 수 있나요?

가능하지만 윤리적 절차가 필수입니다. 영상 출연자의 명시적 동의(목적, 범위, 보관 기간 명시), 개인정보 보호 조치, 학술 활용 시 IRB(연구윤리위원회) 승인 등이 필요합니다. 절차 없이 수집한 데이터는 학술 발표·공개에 큰 제약이 있습니다.

수어 데이터셋과 텍스트 코퍼스의 차이는 무엇인가요?

가장 큰 차이는 모달리티입니다. 수어는 동영상이고, 한 단어가 시간적 흐름을 가집니다. 텍스트는 문자열로 압축적이지만, 수어는 손 모양·위치·움직임·표정·박자 등 다중 모달 정보가 동시에 작용합니다. 따라서 데이터 크기, 처리 비용, 분석 도구 모두 텍스트보다 훨씬 무겁습니다.

한국수어 데이터셋으로 어떤 서비스를 만들 수 있나요?

수어 통역 AI, 학습 앱(자세 교정 피드백), 동영상 검색(수어 영상 안에서 단어 찾기), 농인 콘텐츠 자막 자동 생성, 무인 안내 키오스크 등 다양한 서비스가 가능합니다. 다만 의료·법률 같은 고위험 분야의 통역은 인간 통역사가 여전히 필수이며, AI는 보조 역할에 그칩니다.