iOS MachineLearning 系列（13）—— 语音与音频相关的AI能力

在语音分析方面，iOS中提供了原生的Speech框架，这个框架可以实时的将语音解析成文本。这个能力非常强大，使用它我们可以实现类似实时翻译的功能。对于非语音的音频，也有一些原生的AI能力可以使用，例如分析语音的类型。SoundAnalysis框架能够识别300多种声音，我们也可以使用自己训练的模型来处理定制化的音频识别需求。

1 - 进行语音识别

使用Speech框架来进行语音识别非常简单，并且其支持多种语言。使用此功能前，我们需要先请求用户授予权限。在Info.plist文件中新增如下key:

NSSpeechRecognitionUsageDescription

此key设置的值为字符串文案，会在使用Speech框架时弹窗展示。

需要注意，Speech框架提供的并非是完全依赖本地的AI能力，其需要连接Apple的服务器来实现功能，因此在使用时要确保网络的正常。

首先需要定义个识别器对象，如下：

let recognizer = SFSpeechRecognizer(locale: Locale(identifier: "zh-Hants"))

其中locale参数设置所识别为的语言。

之后需要创建一个语音识别请求，并发起识别任务，如下：

// 这里使用本地的语音文件
let path = Bundle.main.path(forResource: "12168", ofType: ".wav")
let url = URL(fileURLWithPath: path!)
// 创建请求对象
let request = SFSpeechURLRecognitionRequest(url: url)

let label = UILabel(frame: CGRect(x: 0, y: 100, width: view.frame.width, height: 400))
label.numberOfLines = 0
view.addSubview(label)
// 发起请求任务
recognizer?.recognitionTask(with: request, resultHandler: { result, error in
    print(result?.bestTranscription.formattedString, error)
    label.text = result?.bestTranscription.formattedString
})

运行上面的代码，如果提供的音频文件是正常的语音文件，即可看到识别效果。上面的结果回调会根据音频的长度来多次回调，每次都会根据上下文进行之前识别结果的矫正。

Speech框架不仅支持语音文件的识别，也支持实时进行语音数据流的识别。只需要创建不同的Request类即可。我们可以先来看下语音分析请求的父类SFSpeechRecognitionRequest：

open class SFSpeechRecognitionRequest : NSObject {
    // 设置语音识别的类型
    open var taskHint: SFSpeechRecognitionTaskHint
    // 设置是否在解析过程中返回中间值，默认true，如果设置false则只有当整个语音文件解析完成再返回结果
    open var shouldReportPartialResults: Bool
    // 设置一组自定义的短语，这些短语可能不在词汇表中，针对场景的加强识别的准确性
    open var contextualStrings: [String]
    // 是否进行纯本地的解析，这种场景下不会发送语音到apple服务器，但是会降低准确性，某些语言不可用
    open var requiresOnDeviceRecognition: Bool
    // 设置识别结果中是否增加标点，iOS16之后可用
    open var addsPunctuation: Bool
}

其中taskHint属性用来设置识别类型，此枚举定义如下：

public enum SFSpeechRecognitionTaskHint : Int, @unchecked Sendable {
    case unspecified = 0 // 未指定明确类型
    case dictation = 1 // 一般的听写风格
    case search = 2 // 搜索请求风格
    case confirmation = 3 // 短语
}

要对语音文件进行分析，使用SFSpeechURLRecognitionRequest子类，如果要实时识别语音流，则使用SFSpeechAudioBufferRecognitionRequest子类即可，SFSpeechAudioBufferRecognitionRequest定义如下：

open class SFSpeechAudioBufferRecognitionRequest : SFSpeechRecognitionRequest {
    // 利于识别的音频格式
    open var nativeAudioFormat: AVAudioFormat { get }
    // 添加AVAudioPCMBuffer数据
    open func append(_ audioPCMBuffer: AVAudioPCMBuffer)
    // 添加CMSampleBuffer数据
    open func appendAudioSampleBuffer(_ sampleBuffer: CMSampleBuffer)
    // 调用此方法标识语音流数据添加完成
    open func endAudio()
}

SFSpeechRecognizer类用来发起语音识别请求，定义如下：

open class SFSpeechRecognizer : NSObject {
    // 所支持的语言
    open class func supportedLocales() -> Set<Locale>
    // 用户授权状态
    open class func authorizationStatus() -> SFSpeechRecognizerAuthorizationStatus
    // 请求用户授权
    open class func requestAuthorization(_ handler: @escaping (SFSpeechRecognizerAuthorizationStatus) -> Void)
    // 构造方法，使用当前系统语言
    public convenience init?()
    // 构造方法，设置语言
    public init?(locale: Locale)
    // 功能是否可用
    open var isAvailable: Bool { get }
    // 使用的语言
    open var locale: Locale { get }
    // 获取是否支持纯本地的请求
    open var supportsOnDeviceRecognition: Bool
    // 代理
    weak open var delegate: SFSpeechRecognizerDelegate?
    // 设置发起请求默认的类型
    open var defaultTaskHint: SFSpeechRecognitionTaskHint
    // 发起请求任务
    open func recognitionTask(with request: SFSpeechRecognitionRequest, resultHandler: @escaping (SFSpeechRecognitionResult?, Error?) -> Void) -> SFSpeechRecognitionTask
    open func recognitionTask(with request: SFSpeechRecognitionRequest, delegate: SFSpeechRecognitionTaskDelegate) -> SFSpeechRecognitionTask
    // 回调所使用的队列
    open var queue: OperationQueue
}

// SFSpeechRecognizerDelegate协议
public protocol SFSpeechRecognizerDelegate : NSObjectProtocol {
    // 可用性变化时回调
    optional func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool)
}

如果使用闭包的方式来发起请求，则结果会在闭包回调中给到，如果采用代理的方式，则会通过代理回调返回。SFSpeechRecognitionTaskDelegate协议如下：

public protocol SFSpeechRecognitionTaskDelegate : NSObjectProtocol {
    // 首次检测到语音时调用
    optional func speechRecognitionDidDetectSpeech(_ task: SFSpeechRecognitionTask)
    // 每次有中间结果时调用
    optional func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didHypothesizeTranscription transcription: SFTranscription)
    // 最终识别完成时调用
    optional func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishRecognition recognitionResult: SFSpeechRecognitionResult)
    // 识别任务结束后调用
    optional func speechRecognitionTaskFinishedReadingAudio(_ task: SFSpeechRecognitionTask)
    // 识别任务取消时调用
    optional func speechRecognitionTaskWasCancelled(_ task: SFSpeechRecognitionTask)
    // 识别任务完整成功后调用
    optional func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishSuccessfully successfully: Bool)
}

其中SFTranscription类用来描述识别中间结果，如下：

open class SFTranscription : NSObject, NSCopying, NSSecureCoding {
    // 格式化后的字符串
    open var formattedString: String { get }
    // 片段数组
    open var segments: [SFTranscriptionSegment] { get }
    // 语音速度，每秒单词数
    open var speakingRate: Double { get }
    // 单词间的平均停顿
    open var averagePauseDuration: TimeInterval { get }
}

其中SFTranscriptionSegment是具体的词组，里面封装了更多详细的信息：

open class SFTranscriptionSegment : NSObject, NSCopying, NSSecureCoding {
    // 词组
    open var substring: String { get }
    // 在原字符串中的位置
    open var substringRange: NSRange { get }
    // 在原音频中的时间点
    open var timestamp: TimeInterval { get }
    // 在音频中的时长
    open var duration: TimeInterval { get }
    // 测量的可信度，0到1，越大表示越可信
    open var confidence: Float { get }
    // 对此音频片段的更多可能结果
    open var alternativeSubstrings: [String] { get }
    // 发声特性对象
    open var voiceAnalytics: SFVoiceAnalytics? { get }
}

SFSpeechRecognitionResult类描述了分析的结果，实际上是一组SFTranscription的聚合。定义如下：

open class SFSpeechRecognitionResult : NSObject, NSCopying, NSSecureCoding {
    // 最完美的结果片段（如果分析结果，此为完整的）
    @NSCopying open var bestTranscription: SFTranscription { get }
    // 所有分析结果（根据可信度来排序）
    open var transcriptions: [SFTranscription] { get }
    // 是否分析结束
    open var isFinal: Bool { get }
    // 音频元数据信息
    open var speechRecognitionMetadata: SFSpeechRecognitionMetadata? { get }
}

SFSpeechRecognitionMetadata中封装了语音的基础数据：

open class SFSpeechRecognitionMetadata : NSObject, NSCopying, NSSecureCoding {
    // 语音速度，每分钟单词数
    open var speakingRate: Double { get }
    // 平均语速，每个单词平均秒数
    open var averagePauseDuration: TimeInterval { get }
    // 语音在音频中的开始时间
    open var speechStartTimestamp: TimeInterval { get }
    // 语音的持续时间
    open var speechDuration: TimeInterval { get }
    // 音频分析数据
    open var voiceAnalytics: SFVoiceAnalytics? { get }
}

open class SFVoiceAnalytics : NSObject, NSCopying, NSSecureCoding {
    // 人声稳定性
    @NSCopying open var jitter: SFAcousticFeature { get }
    @NSCopying open var shimmer: SFAcousticFeature { get }
    // 人声高低
    @NSCopying open var pitch: SFAcousticFeature { get }
    // 语音概率
    @NSCopying open var voicing: SFAcousticFeature { get }
}

发起语音请求后，会返回一个SFSpeechRecognitionTask对象，此任务对象可以对当次分析过程进行控制，如下：

open class SFSpeechRecognitionTask : NSObject {
    // 当前任务状态
    open var state: SFSpeechRecognitionTaskState { get }
    // 是否完成
    open var isFinishing: Bool { get }
    // 手动完成任务
    open func finish()
    // 是否取消
    open var isCancelled: Bool { get }
    // 手动取消任务
    open func cancel()
    // 异常数据
    open var error: Error? { get }
}

// 任务状态枚举定义如下
public enum SFSpeechRecognitionTaskState : Int, @unchecked Sendable {
    case starting = 0 // 开始
    case running = 1  // 运行中
    case finishing = 2 // 结束
    case canceling = 3 // 取消
    case completed = 4 //完成
}

2 - 音频类别识别

iOS内置API的音频分析能力可以方便的对音频进行分类，例如人声，乐器声等等。内置的SoundAnalysis框架能够分析识别300余种音效，当然其也支持使用自定义的模型来进行分析，本篇文章将只涉及到API的使用。

SNAudioFileAnalyzer类是音频分析的处理类，例如：

let analyzer = try! SNAudioFileAnalyzer(url: URL(fileURLWithPath: Bundle.main.path(forResource: "12168", ofType: ".wav")!))

SNAudioFileAnalyzer在实例化时会包装一个音频文件地址，后续将对此音频进行分析。首先需要创建一个分析请求，如下：

let request = try! SNClassifySoundRequest(classifierIdentifier: .version1)

其参数设置使用的算法版本。

通过如下方法来向SNAudioFileAnalyzer实例中添加一个请求，并设置请求过程的监听：

try! analyzer.add(request, withObserver: self)

之后调用analyze方法来触发请求的执行：

analyzer.analyze()

对请求过程的监听对象需要实现SNResultsObserving协议，如下：

public protocol SNResultsObserving : NSObjectProtocol {
    // 分析到请求结果时调用的回调，一段音频分析中会持续调用
    func request(_ request: SNRequest, didProduce result: SNResult)
    // 请求失败
    optional func request(_ request: SNRequest, didFailWithError error: Error)
    // 请求完成
    optional func requestDidComplete(_ request: SNRequest)
}

请求的结果数据为SNResult，这个是基础协议，真正将返回的对象是SNClassificationResult类型的，定义如下：

open class SNClassificationResult : NSObject, SNResult {
    // 分析出的类别
    open var classifications: [SNClassification] { get }
    // 在音频中的时间范围
    open var timeRange: CMTimeRange { get }
    // 返回指定标识符的类别
    open func classification(forIdentifier identifier: String) -> SNClassification?
}

open class SNClassification : NSObject {
    // 当前类别的标识符
    open var identifier: String { get }
    // 可信度
    open var confidence: Double { get }
}

SoundAnalysis框架本身比较简单，我们再来看下分析请求类，SNRequest是请求类的基类，为了便于后续framework的升级，我们使用SNClassifySoundRequest类创建请求：

open class SNClassifySoundRequest : NSObject, SNRequest {
    // 模型对固定大小的音频块进行分析时的重叠量，影响分析准确性
    open var overlapFactor: Double
    // 缓冲窗口的持续时间
    open var windowDuration: CMTime
    // 设置一组类别，分析结果将从此组中选择
    open var knownClassifications: [String] { get }
    // 使用自定义的模型进行分析
    public init(mlModel: MLModel)
    // 使用内置模型进行分析
    public init(classifierIdentifier: SNClassifierIdentifier)
}

最后Analyzer相关的类主要用来对请求进行控制，并决定要分析的音频。SoundAnalysis框架支持直接对音频文件进行分析，也支持对音频数据流进行分析，使用的类如下：

// 分析音频文件
open class SNAudioFileAnalyzer : NSObject {
    // 构造方法
    public init(url: URL) throws
    // 添加一个请求和对应的监听实例
    open func add(_ request: SNRequest, withObserver observer: SNResultsObserving) throws
    // 移除一个请求
    open func remove(_ request: SNRequest)
    // 移除所有请求
    open func removeAllRequests()
    // 开启同步分析（会阻塞线程）
    open func analyze()
    // 异步进行分析
    open func analyze(completionHandler: @escaping (Bool) -> Void)
    // 异步分析
    open func analyze() async -> Bool
    // 取消分析任务
    open func cancelAnalysis()
}

// 分析音频流
open class SNAudioStreamAnalyzer : NSObject {
    // 构造方法
    public init(format: AVAudioFormat)
    open func add(_ request: SNRequest, withObserver observer: SNResultsObserving) throws
    // 请求控制方法
    open func remove(_ request: SNRequest)
    open func removeAllRequests()
    // 对数据流做分析
    open func analyze(_ audioBuffer: AVAudioBuffer, atAudioFramePosition audioFramePosition: AVAudioFramePosition)
    // 完成数据流分析
    open func completeAnalysis()
}

完整的示例代码可以在如下地址找到：

https://github.com/ZYHshao/MachineLearnDemo