HMS Core机器学习服务实现同声传译，支持中英文互译和多种音色语音播报

发布者：HarmonyOS SDK
发布于：2022-06-25 14:19

当用户有跨语种交流或音频内容翻译的需求时，应用需要能自动检测语音内容再输出为用户需要的语言文字。

 

HMS Core机器学习服务提供同声传译能力，同声传译实现将实时输入的长语音实时翻译为不同语种的文本以及语音，并实时输出原语音文本、翻译后的文本以及翻译文本的语音播报。

 

在直播类，会议类的应用中，同声传译显得尤为重要。比如，在会议类应用中，可以将正在进行的会议发言人的发言内容实时输出为目标语言文字，便于不同语言的人实时理解会议内容，提高会议效率。在直播类应用中，可以将主播的说话内容实时输出为用户需要的语言文字，再进行实时播报，提高了用户的观看体验。

 

HMS Core机器学习服务同声传译能力不仅支持连续5小时的实时长语音输入转换为文本，还支持中英文互译和多种音色语音播报，满足不同类型应用中不同场景的需要。

 

DEMO示例

 

 

开发步骤

 

在进行开发之前，您需要完成必要的开发准备工作，同时请确保您的工程中已经配置HMS Core SDK的Maven仓地址，并且完成了本服务的SDK集成。

 

SDK示例代码如下：

1
2
3
4
dependencies{
    // 引入同声传译服务SDK
implementation 'com.huawei.hms:ml-computer-si-sdk:3.5.0.312'
}
  1. 请参见云端鉴权信息使用须知，设置您应用的鉴权信息。
  1. 创建同传识别器，并设置配置。
1
2
3
4
5
6
7
8
9
10
11
12
MLSimultaneousInterpretationConfig config = new
MLSimultaneousInterpretationConfig.Factory()
                // 设置源语种，目前支持中文和英文
.setSourceLanguage(MLSimultaneousInterpretationConstants.LAN_ZH_CN)
                // 设置目标语种，目前支持中文和英文
                .setTargetLanguage(MLSimultaneousInterpretationConstants.LAN_EN_US)
                // 设置识别类型。支持原始文本+翻译文本+翻译语音
                .setResultType(MLSimultaneousInterpretationConstants.RESULT_TYPE_TEXT_TRANSLATED_VOICE)
                // 设置发音人，支持中、英男声和女声
                .setPerson(MLSimultaneousInterpretationConstants.EN_FEMALE_VOICE)
                .create();
 MLSimultaneousInterpretationRecognizer = MLSimultaneousInterpretationRecognizer.getInstance();
  1. 创建语音识别结果监听器回调。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
// 回调实现MLSimultaneousInterpretationListener，实现接口中的方法。
    protected class SIRecognitionListener implements MLSimultaneousInterpretationListener {
        @Override
        public void onStartListening() {
            // 录音器开始接收声音。
 }
        @Override
        public void onVoiceDataReceived(byte[] data) {
            // 返回给用户原始的PCM音频流和音频能量，该接口并非运行在主线程中，返回结果需要在子线程中处理。
        }
        @Override
        public void onRecognizingResults(Bundle partialResults) {
            // 从SIRecognitionListener接收到持续语音识别的文本。
            // RESULTS_RECOGNIZING:原始文本；RESULTS_TRANS_RECOGNIZING：tts文本；RESULTS_SN：原始序列号；RESULTS_TRANS_SN：tts序列号
        }
        @Override
        public void onResults(Bundle results) {
            // 从SIRecognitionListener接收到完整的句子
            // RESULTS_RECOGNIZED:原始结果；RESULTS_TRANS_RECOGNIZED：tts结果
        }
        @Override
        public void onError(int error, String errorMessage) {
            // 识别发生错误后调用该接口。
        }
        @Override
        public void onState(int state, Bundle params) {
            // 通知应用状态发生改变。
        }
    }
  1. 绑定同传识别器。
1
mlSimultaneousInterpretationRecognizer.setMLSimultaneousInterpretationListener(new SIRecognitionListener());
  1. 调用startRecognizing启动语音识别。
1
2
// 开始识别。
 mlSimultaneousInterpretationRecognizer.startRecognizing(config);
  1. 识别完成后，结束识别并释放资源。
1
2
3
if (mlSimultaneousInterpretationRecognizer!= null) {
  mlSimultaneousInterpretationRecognizer.destroy();
  }

了解更多详情>>

 

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee

 

关注我们，第一时间了解 HMS Core 最新技术资讯~

系统相关 技术 累积更新 源码分析 工具脚本
声明：该文观点仅代表作者本人，转载请注明来自看雪