Голос в текст, текст в перевод: строим десктопное приложение для распознавания речи с Azure Speech SDK и NAudio

• захватывать аудио с микрофона через NAudio;
  
• транскрибировать речь в реальном времени через Azure Cognitive Services Speech SDK;
  
• определять, кто из говорящих что сказал (speaker diarization);
  
• переводить на 9 языков;
  
• сохранять результат в .txt, .json или .srt.

.NET 9 + Avalonia 11 + NAudio + ReactiveUI + Microsoft.CognitiveServices.Speech

// TranscriptionViewModel.cs — свойства ViewModel без единой строки INotifyPropertyChanged
[Reactive] public string CurrentTranscript { get; private set; } = string.Empty;
[Reactive] public string CurrentTranslation { get; private set; } = string.Empty;
[Reactive] public bool IsRecording { get; set; }
[Reactive] public bool EnableTranslation { get; set; }
[Reactive] public string Status { get; set; } = "Ready to record";

• Заходим на portal.azure.com
  
• «Создать ресурс» → в поиске Marketplace пишем Speech → обязательно ставим галочку Azure services only — без неё поиск выдаёт сторонние SaaS-продукты, а не Microsoft-ресурс

• Выбираем Speech от Microsoft (Azure Service) → нажимаем Create

• Заполняем форму Create Speech Services:
  • Subscription — ваша подписка
    
  • Resource Group — создайте новую или выберите существующую
    
  • Region — выбирайте ближайший к пользователям регион (westeurope, eastus, eastasia и т.д.). Это и есть значение параметра Region в настройках приложения
    
  • Name — произвольное имя ресурса
    
  • Pricing tier — Free F0 для разработки: 5 часов распознавания и 5 часов перевода речи в месяц бесплатно. Standard S0 — для продакшена, оплата по факту использования

• «Review + create» → Create → ждём деплоя (обычно меньше минуты) → нажимаем Go to resource

• Нажимаем Show Keys → копируем KEY 1 — это значение параметра Key
  
• Location/Region — значение прямо под ключами, например eastus или westeurope — это значение параметра Region
  
• Endpoint — для справки: https://eastus.api.cognitive.microsoft.com/

[Microphone]
     |
     ▼
AudioCaptureService (NAudio WaveInEvent)
     |  event AudioCaptured(byte[])
     ├──────────────────────────┐
     ▼                          ▼
TranscriptionService      TranslationService
(PushAudioInputStream     (PushAudioInputStream
 → SpeechRecognizer /      → TranslationRecognizer)
   ConversationTranscriber)
     |                          |
     ▼                          ▼
event OnTranscriptionUpdated   event OnTranslationUpdated
     |                          |
     └──────────────────────────┘
                  |
                  ▼
         TranscriptionViewModel (ReactiveUI)
                  |
                  ▼
             TranscriptionView (Avalonia)

// TranscriptionService — подписывается при старте записи
_audioCapture.AudioCaptured += OnAudioCaptured;
// TranslationService — подписывается при старте перевода
_audioCaptureService.AudioCaptured += OnAudioCaptured;

public byte[] GetAudioDataArray()
{
    var copy = new byte[_audioData.Length];
    Array.Copy(_audioData, copy, _audioData.Length);
    return copy;
}

_waveIn = new WaveInEvent
{
    WaveFormat = new WaveFormat(settings.SampleRate, settings.BitsPerSample, settings.Channels),
    BufferMilliseconds = 50  // AudioConstants.BufferMilliseconds
};
_waveIn.DataAvailable += WaveIn_DataAvailable;
_waveIn.StartRecording();

• Sample Rate: 16000 Гц — рекомендуемое значение. Технически SDK принимает и 8000 Гц, и 24000, и 48000 Гц, однако именно 16k — оптимальный баланс между качеством распознавания и объёмом передаваемых данных. Модели Speech Service обучены преимущественно на 16 kHz-аудио, поэтому другие частоты дадут либо избыточную полосу (48k), либо заметную потерю точности (8k вне телефонного контекста).
  
• Bits Per Sample: 16-bit PCM — единственный официально поддерживаемый формат для raw PCM стриминга через PushAudioInputStream. Azure Speech SDK не принимает 32-bit float (IeeeFloat WaveFormat): если попытаться передать такой поток — получите ошибку конфигурации. При необходимости конвертируйте заранее. (SDK поддерживает сжатые форматы — MP3, FLAC, Opus — через AudioStreamFormat.GetCompressedFormat(), но это отдельный путь, не применимый к микрофонному захвату.)
  
• Channels: строго 1 (моно) для микрофонного ввода. Azure Speech SDK в стриминговом режиме рассчитан на моноканальный поток. Передача стерео-потока не определена стандартом: SDK может обработать только первый канал или вернуть ошибку. Конвертируйте в моно до отправки, а не надейтесь на «авось проглотит». (Исключение: ConversationTranscriber поддерживает multi-channel audio до 8 каналов с диаризацией по каналам, но это специализированный сценарий для готовых многоканальных записей, а не живого микрофона.)

private void WaveIn_DataAvailable(object? sender, WaveInEventArgs e)
{
    var audioData = new byte[e.BytesRecorded];
    Array.Copy(e.Buffer, audioData, e.BytesRecorded);
    Interlocked.Add(ref _totalBytesProcessed, e.BytesRecorded);
    AudioCaptured?.Invoke(this, new AudioCapturedEventArgs(audioData));
}

var audioFormat = AudioStreamFormat.GetWaveFormatPCM(
    (uint)settings.SampleRate,
    (byte)settings.BitsPerSample,
    (byte)settings.Channels);
_audioInputStream = AudioInputStream.CreatePushStream(audioFormat);
var audioConfig = AudioConfig.FromStreamInput(_audioInputStream);
// audioConfig передаётся в new SpeechRecognizer(speechConfig, audioConfig)

private void OnAudioCaptured(object? sender, AudioCapturedEventArgs e)
{
    if (_isTranscribing && _audioInputStream != null
        && _transcriptionCts?.Token.IsCancellationRequested != true)
    {
        var audioData = e.GetAudioDataArray();
        _audioInputStream.Write(audioData); // та же самая труба
    }
}

[Старт записи]
_audioInputStream = CreatePushStream(...)
SpeechRecognizer подключается к _audioInputStream и ждёт
[Каждые 50 мс, пока идёт запись]
микрофон → OnAudioCaptured → _audioInputStream.Write(байты)
                                         ↓
                               SpeechRecognizer читает
                                         ↓
                                  Azure, распознавание

var speechConfig = SpeechConfig.FromSubscription(settings.Key, settings.Region);
speechConfig.SpeechRecognitionLanguage = settings.SpeechLanguage;
speechConfig.SetProperty(
    PropertyId.SpeechServiceResponse_PostProcessingOption,
    "TrueText");
speechConfig.SetProfanity(
    options.EnableProfanityFilter
        ? ProfanityOption.Masked
        : ProfanityOption.Raw);
if (options.EnableWordLevelTimestamps)
    speechConfig.RequestWordLevelTimestamps();
_recognizer = new SpeechRecognizer(speechConfig, audioConfig);
_recognizer.Recognizing += OnRecognizing;   // промежуточные результаты
_recognizer.Recognized  += OnRecognized;    // финальный результат
_recognizer.Canceled    += OnCanceled;
await _recognizer.StartContinuousRecognitionAsync();

• Recognizing — промежуточное, «живое» распознавание. Идеально для отображения прогресса.
  
• Recognized — финальный результат после паузы в речи. Его и сохраняем.

private void OnRecognized(object? sender, SpeechRecognitionEventArgs e)
{
    if (e.Result.Reason == ResultReason.RecognizedSpeech
        && !string.IsNullOrWhiteSpace(e.Result.Text))
    {
        var segment = new TranscriptionSegment
        {
            Text      = e.Result.Text,
            Timestamp = DateTime.Now,
            Duration  = e.Result.Duration,
        };
        _transcriptionDocument.Segments.Add(segment);
        OnTranscriptionUpdated?.Invoke(this, new TranscriptionSegmentEventArgs(segment));
    }
}

// Включаем промежуточные результаты диаризации
speechConfig.SetProperty(
    PropertyId.SpeechServiceResponse_DiarizeIntermediateResults,
    "true");
_conversationTranscriber = new ConversationTranscriber(speechConfig, audioConfig);
_conversationTranscriber.Transcribing += OnConversationTranscribing;
_conversationTranscriber.Transcribed  += OnConversationTranscribed;
_conversationTranscriber.Canceled     += OnConversationCanceled;
await _conversationTranscriber.StartTranscribingAsync();

private void OnConversationTranscribed(object? sender, ConversationTranscriptionEventArgs e)
{
    if (e.Result.Reason == ResultReason.RecognizedSpeech
        && !string.IsNullOrWhiteSpace(e.Result.Text))
    {
        var segment = new TranscriptionSegment
        {
            Text      = e.Result.Text,
            Timestamp = DateTime.Now,
            Duration  = e.Result.Duration,
            SpeakerId = e.Result.SpeakerId   // <-- вот оно
        };
    }
}

var config = SpeechTranslationConfig.FromSubscription(settings.Key, settings.Region);
config.SpeechRecognitionLanguage = sourceLanguage;
config.AddTargetLanguage(targetLanguage);
_audioStream = AudioInputStream.CreatePushStream(audioFormat);
var audioConfig = AudioConfig.FromStreamInput(_audioStream);
_recognizer = new TranslationRecognizer(config, audioConfig);
_recognizer.Recognized += (s, e) =>
{
    if (e.Result.Reason == ResultReason.TranslatedSpeech
        && e.Result.Translations.ContainsKey(targetLanguage))
    {
        var translatedText = e.Result.Translations[targetLanguage];
        OnTranslationUpdated?.Invoke(this, new TranslationResultEventArgs(new TranslationResult
        {
            OriginalText   = e.Result.Text,
            TranslatedText = translatedText,
            TargetLanguage = targetLanguage,
            Timestamp      = DateTime.Now
        }));
    }
};
await _recognizer.StartContinuousRecognitionAsync();

• AddTargetLanguage() принимает код языка перевода, а не BCP-47 код для распознавания. Например, для русского это ru, для итальянского — it.
  
• e.Result.Translations — словарь, и Azure Speech SDK действительно поддерживает несколько целевых языков одновременно через несколько вызовов AddTargetLanguage(). Однако в данном проекте это ограничено намеренно:
  • Язык источника (SpeechRecognitionLanguage) жёстко зафиксирован — толькоen-US (см. SupportedLanguages.SpeechRecognitionLanguages). Говорить можно только по-английски.
    
  • Целевой язык — один, выбирается пользователем из 9 поддерживаемых (ru, fr…).
• Если ResultReason не TranslatedSpeech — значит, облако не смогло перевести этот фрагмент. Чаще всего это тишина или шум.

{ "es", "Spanish" }, { "fr", "French" }, { "de", "German" },
{ "it", "Italian" }, { "pt", "Portuguese" }, { "ja", "Japanese" },
{ "ko", "Korean" }, { "zh-Hans", "Chinese (Simplified)" }, { "ru", "Russian" }

// Шифрование при сохранении (SettingsService)
if (OperatingSystem.IsWindows() && !string.IsNullOrEmpty(settings.Key))
{
    var keyBytes = Encoding.UTF8.GetBytes(settings.Key);
    var encryptedBytes = ProtectedData.Protect(
        keyBytes,
        _entropy,                         // дополнительная entropy
        DataProtectionScope.CurrentUser); // только текущий пользователь
    settingsData.EncryptedKey = Convert.ToBase64String(encryptedBytes);
}

[14:32:05] Speaker Guest-1: Hello, how are you?
[14:32:07] Speaker Guest-2: Fine, thanks.

Observable.FromEventPattern<
    EventHandler<TranscriptionSegmentEventArgs>,
    TranscriptionSegmentEventArgs>(
        h => _transcriptionService.OnTranscriptionUpdated += h,
        h => _transcriptionService.OnTranscriptionUpdated -= h)
    .Select(e => e.EventArgs)
    .ObserveOn(RxApp.MainThreadScheduler)
    .Subscribe(
        HandleTranscriptionUpdated,
        ex => _logger.Log($"Error in transcription subscription: {ex.Message}"))
    .DisposeWith(disposables);

// Так выглядит полный контекст
this.WhenActivated(disposables =>
{
    // Все подписки внутри этого блока живут ровно столько,
    // сколько активна View. При деактивации — автоматически отписываются.
    Observable.FromEventPattern(...)
        .Subscribe(HandleTranscriptionUpdated)
        .DisposeWith(disposables); // <-- добавляем в список для автоотписки
});

// При включении перевода — автоматически выбрать язык по умолчанию
this.WhenAnyValue(x => x.EnableTranslation)
    .Subscribe(enabled =>
    {
        if (enabled && string.IsNullOrEmpty(SelectedTargetLanguage))
            SelectedTargetLanguage = "it";
    });
// При смене языка или переключении перевода — обновить заголовок колонки
this.WhenAnyValue(x => x.SelectedTargetLanguage, x => x.EnableTranslation)
    .Subscribe(tuple =>
    {
        var (lang, enabled) = tuple;
        TranslationHeader = !enabled
            ? "Translation (Disabled)"
            : $"Translation ({SupportedLanguages.LanguageNames.GetValueOrDefault(lang, lang)})";
    });

var canStart = this.WhenAnyValue(x => x.IsRecording, isRecording => !isRecording);
StartCommand = ReactiveCommand.CreateFromTask(StartRecordingAsync, canStart);

this.WhenAnyValue(x => x.IncludeTimestamps)
    .Skip(1)
    .Where(_ => !IsRecording)
    .Subscribe(_ => RefreshTranscriptDisplay());