딥러닝 기반 비정형 데이터(음성) 전사 시스템

프로젝트 개요

딥러닝 기반 비정형 데이터(음성) 전사 시스템은 대규모 음성 데이터를 자동으로 텍스트로 변환(전사, Transcription)하는 웹 기반 시스템을 개발한 프로젝트입니다. Google Cloud Platform의 Speech-to-Text API와 자체 딥러닝 ASR(Automatic Speech Recognition) 모델을 결합하여 높은 인식 정확도를 달성하고, 웹 인터페이스를 통해 전사 결과의 검수·교정·관리를 수행합니다. Python 백엔드와 PHP 웹 프론트엔드로 구성되며, 약 5개월간의 개발을 통해 음성 데이터 연구기관의 대규모 전사 업무를 자동화했습니다.

핵심 기능

딥러닝 ASR 엔진 및 Google Cloud 연동

대규모 음성 데이터의 수동 전사는 1시간 분량의 음성에 4~6시간의 전사 인력이 소요되어 비용과 시간 측면에서 비효율적이었습니다. 다양한 발화 환경(인터뷰, 회의, 전화 통화)과 화자의 방언·말투 차이로 인해 범용 ASR 엔진의 인식률이 불안정했습니다.

Google Cloud Speech-to-Text API를 1차 전사 엔진으로 활용하고, 도메인 특화 언어 모델(Language Model)과 음향 모델(Acoustic Model)을 자체 학습한 딥러닝 ASR을 2차 보정 엔진으로 결합하는 앙상블 파이프라인을 구축했습니다. Python으로 음성 전처리(노이즈 제거, VAD 기반 발화 구간 검출, 화자 분리)를 수행한 후, 병렬 처리로 대량 음성 파일의 일괄 전사를 자동화합니다. 전사 결과에 타임스탬프를 매핑하여 음성-텍스트 동기화를 지원합니다.

웹 기반 전사 결과 검수·교정 시스템

자동 전사의 인식률이 100%에 도달할 수 없으므로, 전사 결과를 효율적으로 검수·교정할 수 있는 도구가 필요했습니다. 대량의 전사 작업을 복수의 검수자에게 분배하고 품질을 관리하는 워크플로우도 요구되었습니다.

PHP 기반 웹 인터페이스에서 음성 재생과 전사 텍스트 편집을 동일 화면에서 수행할 수 있는 검수 도구를 개발했습니다. 음성의 특정 구간을 클릭하면 해당 위치의 텍스트가 하이라이트되고, 텍스트 수정 시 타임스탬프가 자동으로 재조정됩니다. 전사 작업의 할당·진행률 관리·품질 점검(이중 검수)을 지원하는 관리 대시보드를 제공하며, 교정된 데이터는 ASR 모델의 재학습 데이터로 활용되는 피드백 루프를 구성했습니다.

PythonGoogle Cloud STTPHPDeep Learning ASRWebAudio API

프로젝트 성과

• 전사 효율화: 수동 전사 대비 작업 시간을 70% 이상 단축하여 대규모 음성 데이터 처리 가능

• 품질 개선 루프: 검수·교정 데이터를 ASR 모델 재학습에 활용하여 지속적 인식률 향상

• 다국어 확장: Google Cloud STT의 다국어 지원과 자체 모델 학습을 통해 다양한 언어로 확장 가능

• 연구 지원: 전사된 텍스트 데이터의 언어학적 분석, 코퍼스 구축 등 후속 연구 기반 제공

기술적 의의

딥러닝 음성인식, Google Cloud AI 서비스, 웹 기반 어노테이션 도구를 결합한 AI 데이터 처리 프로젝트입니다. 5개월간의 집중 개발로 음성 전처리부터 ASR 추론, 결과 검수까지의 전체 파이프라인을 구축한 경험은 비정형 데이터 처리와 AI 서비스 통합에 대한 실전적 역량을 입증합니다.