Promptra Team for Promptra

Posted on Jul 18

Cohere открыла код модели распознавания арабской речи, обходящей Whisper в 96% сравнений: нейросеть распознавание речи

#ai #llm #api #chatgpt

Если ты когда-нибудь прогонял арабское аудио через Whisper и получал на выходе кашу из перепутанных диалектов и потерянных английских слов посреди фразы, у тебя теперь есть альтернатива. 7 июля 2026 года Cohere выложила модель, которая делает ровно одну вещь - переводит арабскую речь в текст - и делает её заметно точнее универсальных гигантов.

Это не «ещё одна большая мультиязычная модель». Это узкий инструмент на 2 миллиарда параметров, заточенный под конкретную боль: диалекты арабского и переключение между арабским и английским внутри одного предложения. И по опубликованным цифрам он в этой нише обходит и Whisper от OpenAI, и OmniASR от Meta.

Что именно произошло 7 июля?

Главное: Cohere анонсировала модель Cohere Transcribe Arabic 7 июля 2026 года, выложила её на Hugging Face под лицензией Apache 2.0 и добавила поддержку в библиотеку transformers. По данным Cohere, это специализированная ASR-модель: на входе аудио, на выходе текст, никаких других задач она не решает.

Разберём, что здесь ново, а что - маркетинг.

Новое и проверяемое:

Модель весит 2B параметров и оптимизирована под арабские диалекты и арабско-английский код-свитчинг (переключение языков внутри речи). Источник - блог Cohere от 7 июля.
Она открыта под Apache 2.0. Это разрешительная лицензия: можно брать в коммерческий продукт, дообучать, хостить у себя. Файлы лежат на Hugging Face по адресу CohereLabs/cohere-transcribe-arabic-07-2026.
На Open Universal Arabic ASR Leaderboard модель показала WER 25.87 - лучший результат в этом лидерборде на момент публикации, по данным Cohere.

Здесь стоит спокойно поймать частую путаницу. Запрос «нейросеть распознавание речи» люди часто задают, ожидая одну универсальную модель на все языки и все задачи. Событие 7 июля показывает обратный тренд: маленькая модель под конкретный язык и конкретный сценарий обходит крупные универсальные системы. Это не значит, что Whisper «плохой» - он покрывает десятки языков. Это значит, что под арабский появился более точный узкий инструмент.

Если ты собираешь пайплайн для арабоязычной аудитории - колл-центр, субтитры, голосовые заметки, - эта разница в точности транскрипции напрямую бьёт по стоимости ручной вычитки, потому что каждый лишний процент WER - это правки, которые кто-то делает руками.

Насколько цифры реально лучше Whisper?

Главное: по данным Cohere, на Open Universal Arabic ASR Leaderboard WER у Cohere Transcribe Arabic - 25.87, у Whisper Large V3 - 36.86, у OmniASR-LLM-7B от Meta - 28.32. Меньше WER - лучше.

WER (Word Error Rate) - доля ошибочных слов в расшифровке: подстановки, пропуски и лишние вставки, делённые на число слов эталона. Чтобы было наглядно:

Модель	Параметры	WER на арабском лидерборде
Cohere Transcribe Arabic	2B	25.87
OmniASR-LLM-7B (Meta)	7B	28.32
Whisper Large V3 (OpenAI)	~1.5B	36.86

Все три числа - из блога Cohere от 7 июля. Обрати внимание на две вещи. Первое: Cohere при 2B параметрах опережает 7B-модель Meta. То есть дело не в размере, а в специализации и данных. Второе: даже лучший результат - это WER около 26. Это не «идеальная расшифровка». На каждые сто слов в среднем около двадцати шести ошибок по этой метрике. Для арабского с его диалектами и код-свитчингом это сильный результат, но не магия.

Отдельно про громкую цифру «96%». Cohere сообщает, что в слепых сравнениях люди предпочли расшифровку Cohere Transcribe Arabic варианту Whisper в 96% случаев.

⚠️ Важно: 96% - это внутреннее слепое тестирование Cohere. Детальная методология сравнения (какие аудио, сколько оценщиков, как отбирали примеры) в открытом виде не опубликована. Относись к этой цифре как к заявлению вендора, а не как к независимо воспроизведённому результату. WER на публичном лидерборде проверить можно, «96%» - пока нет.

Реакция сообщества тоже сдержанно-позитивная: издания the-decoder и TechCrunch разобрали релиз как пример нишевой открытой модели, обходящей крупных игроков в узкой задаче. Это сигнал интереса, а не доказательство качества. Доказательство - это WER на лидерборде и твои собственные тесты на своём аудио.

Как запустить модель у себя?

Главное: модель поддержана в transformers, весит 2B, лежит на Hugging Face под Apache 2.0. Минимальный запуск - несколько строк на Python.

Базовый локальный инференс через pipeline:

from transformers import pipeline

asr = pipeline(
    "automatic-speech-recognition",
    model="CohereLabs/cohere-transcribe-arabic-07-2026",
    device=0,  # GPU; поставь -1 для CPU
)

result = asr("meeting_ar.wav")
print(result["text"])

Практические заметки, которые сэкономят тебе час:

Приведи аудио к 16 кГц моно заранее. ASR-модели ждут именно такой вход, иначе получишь тихий провал в качестве без явной ошибки. Прогони файлы через ffmpeg -i in.m4a -ar 16000 -ac 1 out.wav.
Длинные записи режь на куски по 20-30 секунд. 2B-модель влезает на скромную видеокарту, но контекст по длине звука ограничен, и цельный часовой файл ты просто не подашь одним куском.
Для CPU-инференса будь готов к медленной работе. 2B - это немного по меркам LLM, но для реального времени на CPU этого мало.

Второй путь - через Cohere API, если не хочешь держать веса и GPU у себя. Модель доступна и там, по данным Cohere. Это удобно для прототипа, но тогда аудио уходит на сторонний сервер, что важно учитывать для чувствительных данных.

Веса под Apache 2.0 - это ключевое отличие от закрытых облачных ASR. Ты можешь поставить модель в контур, где нет интернета, дообучить на своих записях и не платить за каждый запрос. Именно это делает событие 7 июля интересным для бизнеса, а не только для исследователей.

Где здесь ключи, доступы и безопасность?

Главное: локальный запуск не требует ключей вообще. Ключи появляются, только когда ты идёшь в облачный API - и тогда их нельзя хранить в коде.

Если качаешь веса с Hugging Face, для публичной модели токен не обязателен. Как только начинаешь дёргать облачные API - Cohere для самой транскрипции или сторонний LLM для постобработки текста, - держи ключи в переменных окружения, а не в репозитории.

import os

# ключ читаем из окружения, в git он не попадает
COHERE_API_KEY = os.environ["COHERE_API_KEY"]  # секрет
# перед запуском: export COHERE_API_KEY="..."

Типичные способы прострелить себе ногу на этом шаге:

Захардкодить ключ в ноутбуке и запушить его в публичный репозиторий. Через минуты по нему уже ходят боты.
Логировать полный текст расшифровки вместе с исходным аудио в общий лог. Для арабоязычных персональных данных это отдельный риск.
Отправлять сырое аудио клиентов в облако без их согласия. Локальный инференс под Apache 2.0 как раз позволяет этого избежать.

Сколько это стоит и когда выбирать облако?

Главное: сама модель бесплатна по лицензии. Реальные затраты - это либо GPU под локальный хостинг, либо оплата за облачный API. Выбор зависит от объёма и требований к данным.

Считать надо не «цену модели», а стоимость всего пайплайна. Транскрипция - это обычно только первый шаг. Дальше идёт постобработка текста: расстановка пунктуации, разбивка на реплики спикеров, перевод, суммаризация, извлечение сущностей. И вот тут в игру входят большие языковые модели, которые ты, скорее всего, будешь звать по API.

Грубая карта выбора:

Сценарий	Что разумно	Почему
Чувствительные данные, нет интернета	Локальный инференс Cohere Transcribe Arabic	Веса под Apache 2.0, ничего не уходит наружу
Прототип, малый объём	Cohere API	Не нужен GPU, быстрый старт
Большой поток аудио	Свой GPU + батчинг	Дешевле за единицу на объёме
Нужен постобработчик текста	Отдельная LLM через совместимый API	ASR даёт «сырой» текст, его надо чистить

Про последнюю строку. Для расстановки пунктуации в арабском тексте, перевода расшифровки или сравнения формулировок тебе понадобится доступ к сильным LLM разных семейств. Из России прямой доступ к GPT, Claude или Gemini упирается в оплату и VPN. Здесь как раз полезен агрегатор: provod.ai собирает Claude, GPT, Gemini, DeepSeek и Qwen в одном чате и даёт один API, совместимый с SDK OpenAI и Anthropic - меняешь ключ и base_url, оплата рублями с российской карты, по СБП или по счёту, без VPN и зарубежных карт. Сразу честно: саму арабскую ASR-модель это не заменяет - Cohere Transcribe Arabic ты берёшь с Hugging Face и запускаешь отдельно. provod.ai закрывает текстовую половину пайплайна: постобработку, перевод и сравнение ответов моделей.

Как выглядит переключение постобработчика через OpenAI-совместимый клиент:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["PROVOD_API_KEY"],  # секрет читаем из окружения
    base_url="https://api.provod.ai/v1",
)

resp = client.chat.completions.create(
    model="gpt-4o",  # можно заменить на модель другого семейства
    messages=[{
        "role": "user",
        "content": "Расставь пунктуацию и раздели по репликам:\n" + raw_text,
    }],
)
print(resp.choices[0].message.content)

Тот же приём работает и когда надо сравнить, как разные семейства моделей чистят один и тот же арабский текст: меняешь поле model, base_url остаётся прежним.

Что ломается на практике и как это чинить?

Главное: большинство проблем не в модели, а в подготовке аудио и в склейке шагов. WER 25.87 ты получишь только на чистом входе.

Частые режимы отказа:

Пустой или обрезанный текст. Обычно причина - неправильная частота дискретизации или битый файл. Проверь, что вход 16 кГц моно.
Мешанина диалектов. Модель заточена под арабские диалекты, но если запись - смесь трёх дикторов с разным акцентом на фоновом шуме, ошибки растут. Чисти звук и режь по спикерам до подачи.
Потеря английских вставок. Код-свитчинг - сильная сторона этой модели, но короткие бренды и аббревиатуры она всё равно может исказить. Это правится на этапе постобработки словарём.
Медленный инференс. На CPU 2B-модель в реальном времени не тянет. Либо GPU, либо батч-обработка офлайн.

Если ты собираешь всё это в no-code сценарии вроде n8n, схема обычно такая: вебхук принимает аудио, HTTP-нода дёргает транскрипцию (локальный сервис или Cohere API), результат уходит второй нодой в LLM на постобработку, финальный текст пишется в базу или таблицу. Здесь важно ставить обработку ошибок между нодами: если ASR вернул пустую строку, не отправляй её дальше на перевод - иначе получишь уверенный, но бессмысленный ответ модели поверх пустоты.

Чего это событие не решает

Честный список ограничений, чтобы у тебя не осталось ложных ожиданий.

Это модель только для арабского. Для русского, английского как основного языка или других языков она не предназначена. Универсальный Whisper здесь остаётся уместным выбором.
WER 25.87 - это не расшифровка «слово в слово». Финальную вычитку критичных текстов человеком она не отменяет.
«96% предпочтений» пока не воспроизведены независимо. Это заявление Cohere без открытой методологии. Проверяй на своих данных.
Постобработку текста модель не делает. Пунктуация, перевод, суммаризация - отдельный шаг и отдельные модели.
provod.ai не заменяет ни саму ASR-модель, ни платформы автоматизации, ни GigaChat, ни приватную on-prem инфраструктуру, ни функции, доступные только по подписке вендора, ни работу по внедрению. Он даёт доступ к иностранным LLM через совместимый API, когда тебе нужно сравнивать или маршрутизировать между семействами моделей. GigaChat provod.ai не предоставляет.
Лицензия Apache 2.0 - про код и веса, а не индульгенция на данные. Согласие людей на обработку их голоса - твоя ответственность.

Короткий план действий

Скачай веса CohereLabs/cohere-transcribe-arabic-07-2026 с Hugging Face и прогони через pipeline из transformers.
Приведи тестовое аудио к 16 кГц моно, порежь на куски по 20-30 секунд.
Замерь WER на своём наборе - не верь чужим числам вслепую, включая 25.87 и 96%.
Реши, где хостить: локально ради приватности или в Cohere API ради скорости старта.
Добавь шаг постобработки текста через сильную LLM и обработку ошибок между шагами.

Событие простое по сути, но полезное как ориентир: под конкретный язык и конкретный сценарий узкая открытая модель сейчас реально может обойти универсального фаворита. Проверяется это не пресс-релизом, а WER на твоём аудио.

Источники

Cohere, блог о запуске Transcribe Arabic, 7 июля 2026 (факты о дате, 2B, диалектах и код-свитчинге, WER 25.87 / 36.86 / 28.32, «96%», лицензии и доступности): https://cohere.com/blog/transcribe-arabic
Hugging Face, карточка модели CohereLabs/cohere-transcribe-arabic-07-2026, 7 июля 2026 (Apache 2.0, поддержка в transformers): https://huggingface.co/CohereLabs/cohere-transcribe-arabic-07-2026
Разборы релиза в the-decoder и TechCrunch - как сигнал интереса сообщества, а не подтверждение метрик.

Собираешь пайплайн вокруг арабской транскрипции и нужен доступ к сильным LLM для постобработки без VPN и зарубежных карт? Подключи provod.ai, поменяй base_url и оплати рублями.

provod.ai — Russian LLM API aggregator. One OpenAI-compatible endpoint to all flagship models: OpenAI (GPT-5.6, GPT-5.5), Anthropic (Claude Opus 4.8, Sonnet 4.6), Google (Gemini 3.1 Pro, 3.5 Flash), DeepSeek V4 Pro, Qwen 3.6 Plus. Provider prices at the CBR rate, no token markup. Pay in rubles to a Russian legal entity with full closing documents.

Try: provod.ai · model catalog · docs