콘텐츠
라이브 캡션은 기기 내 기계 학습을 사용하여 로컬 비디오 및 웹 클립에 대한 캡션을 생성하는 가장 멋진 Android 기능 중 하나입니다.
Google은이 멋진 기능의 작동 방식을 자세히 설명하는 블로그 게시물을 게시했으며 실제로 초보자를위한 3 개의 온 디바이스 머신 러닝 모델로 구성되어 있습니다.
음성 인식 자체를위한 반복적 인 신경망 시퀀스 변환 (RNN-T) 모델이 있지만 Google은 구두점을 예측하기 위해 반복적 인 신경망을 사용하고 있습니다.
세 번째 온 디바이스 머신 러닝 모델은 조류 치기, 사람 박수 및 음악과 같은 사운드 이벤트를위한 컨볼 루션 신경망 (CNN)입니다. 구글은이 세 번째 머신 러닝 모델이 스피치 및 사운드 이벤트를 녹음 할 수있는 라이브 전사 접근성 앱 작업에서 비롯된 것이라고 밝혔다.
라이브 캡션의 영향 감소
이 회사는 라이브 캡션의 배터리 소비 및 성능 요구를 줄이기 위해 여러 가지 조치를 취했다고 말합니다.하나의 경우, 완전 자동 음성 인식 (ASR) 엔진은 백그라운드에서 지속적으로 실행되는 것과 달리 음성이 실제로 감지 될 때만 실행됩니다.
예를 들어 음악이 감지되고 음성이 오디오 스트림에 없으면 레이블이 화면에 나타나고 ASR 모델이 언로드됩니다. ASR 모델은 음성이 오디오 스트림에 다시 나타날 때만 메모리에 다시로드됩니다.”라고 Google은 블로그 게시물에서 설명합니다.
Google은 신경 연결 정리 (음성 모델의 크기를 줄임)와 같은 기술을 사용하여 전력 소비를 50 % 줄이고 라이브 캡션을 계속 실행할 수있게했습니다.
구글은 음성 인식 결과가 자막이 형성됨에 따라 초당 몇 번씩 업데이트되지만 구두점 예측은 다르다고 설명했다. 검색 대기업은 리소스 요구를 줄이기 위해 "가장 최근에 인식 된 문장의 텍스트 끝에"문장 부호 예측을 제공한다고 말합니다.
라이브 캡션은 이제 Google Pixel 4 시리즈에서 사용할 수 있으며 Google은 Pixel 3 시리즈 및 기타 장치에서 곧 사용할 수 있다고 말합니다. 이 회사는 다른 언어에 대한 지원과 멀티 스피커 콘텐츠에 대한 지원도 개선하고 있다고 밝혔다.
