Ещё десять лет назад «вытащить» чистый вокал из готового трека или получить инструментал без голоса можно было только одним способом — попросить студию, у которой сохранились оригинальные многодорожечные записи (стемы). Обычному пользователю такая возможность была попросту недоступна: вырезать частоты эквалайзером получалось криво, а голос всегда «просвечивал» сквозь инструментал.
Сегодня ситуация изменилась кардинально. Нейросети для Music Source Separation (разделения музыкального источника) научились буквально «расслаивать» готовый микс обратно на отдельные дорожки: вокал, бас, барабаны и всё остальное. Причём делают это с качеством, которое ещё недавно казалось фантастикой. Разберём, как это работает и какие модели сейчас считаются лучшими.
Зачем вообще разделять аудио на дорожки
Задача разделения источников звука (source separation) — это далеко не только создание караоке-версий. Вот основные сценарии, где эта технология реально экономит время:
- Караоке и кавер-версии. Убрать голос оригинального исполнителя, оставив чистый инструментал для перепевки.
- Сэмплирование и продакшн. Диджеи и битмейкеры вытаскивают отдельно бас или барабанную партию из старых пластинок для новых треков.
- Обучение музыке. Гитаристам и барабанщикам проще разучивать партию, когда она не «завалена» остальным миксом.
- Реставрация старых записей. Разделение помогает почистить и заново свести архивные записи с потерянными оригинальными дорожками.
- Анализ и субтитрирование. Отделив голос от музыки, гораздо проще прогнать чистую речь через распознавание и получить точный текст.
Как это работает изнутри
Современные модели разделения обучены на тысячах часов многодорожечных треков, где заранее известно, как звучит отдельно вокал, бас, барабаны и «остальное» (гитары, синтезаторы, духовые). Нейросеть учится предсказывать маску — по сути, вероятность того, какому источнику принадлежит каждый фрагмент звука в каждый момент времени.
Есть два основных подхода:
- Работа в частотной области (спектрограмма). Аудио превращается в изображение частот и времени, и модель, похожая на архитектуры компьютерного зрения, «раскрашивает», какие пиксели спектрограммы к какому источнику относятся.
- Работа напрямую с волной (waveform). Более новый подход, где сеть анализирует сырую звуковую волну целиком, что часто даёт более естественное и менее «металлическое» звучание на выходе.
Топ open-source нейросетей для разделения аудио
1. Demucs (Meta AI)
Разработка исследовательской команды Meta (бывший Facebook Research), одна из самых точных open-source моделей на рынке. Работает напрямую с аудиоволной, поэтому даёт очень чистое и естественное звучание отделённого вокала практически без металлического призвука, характерного для более старых алгоритмов. Последние версии (Hybrid Transformer Demucs) стабильно занимают верхние строчки в независимых бенчмарках по разделению на 4 и 6 дорожек.
2. Spleeter (Deezer)
Один из первых массово доступных инструментов для разделения треков, выпущенный музыкальным сервисом Deezer. Умеет делить трек на 2 дорожки (вокал/инструментал), 4 дорожки (вокал, бас, барабаны, остальное) или 5 дорожек (добавляя отдельно партию фортепиано). Модель заметно легче и быстрее аналогов, поэтому отлично подходит для слабых процессоров, хотя по чистоте разделения уступает более новым архитектурам.
3. MDX-Net и модели с MVSep / Ultimate Vocal Remover
MDX-Net — архитектура, победившая в открытом соревновании Sound Demixing Challenge, ориентирована именно на выделение сверхчистого вокала. Проще всего пользоваться этими моделями через открытый GUI-инструмент Ultimate Vocal Remover, где собраны десятки готовых чекпоинтов (в том числе популярные модели серии Kim Vocal и UVR-MDX), которые можно свободно скачивать и сравнивать между собой.
4. HTDemucs Fine-Tuned чекпоинты на Hugging Face
Сообщество продолжает дообучать базовый Demucs под конкретные задачи — отдельно под живые концертные записи, под электронную музыку или под старые записи с виниловым шумом. Готовые файлы весов чаще всего публикуются именно на Hugging Face, что удобно, если вы хотите протестировать несколько вариантов под свой конкретный тип аудио.
Все перечисленные модели — открытый код с лицензиями, позволяющими бесплатное использование. Веса моделей можно скачать и запустить полностью локально, без отправки аудио на сторонние сервера.
Почему это сложно запустить обычному человеку
Здесь кроется та же проблема, что и почти со всеми открытыми нейросетями: код есть, модели бесплатны, а вот запустить их «в один клик» не получится. Чтобы развернуть, например, Demucs на своём компьютере, придётся:
- Установить Python нужной версии и настроить виртуальное окружение.
- Через командную строку поставить PyTorch, FFmpeg и десяток зависимостей, часто конфликтующих друг с другом.
- Разобраться с ключами запуска и путями к файлам в терминале, а при ошибке — искать решение в issues на GitHub.
Для энтузиаста или разработчика это привычная рутина. Для музыканта, диджея или просто человека, который хочет за пять минут получить чистый инструментал, — это серьёзный барьер, из-за которого большинство так и не доходит до результата.
Похожая технология, но для другой задачи: голос без шума на созвонах
Разделение музыки на дорожки и очистка голоса от фонового шума — родственные технологии. И там, и там нейросеть учится отличать «нужный» источник звука (вокал) от «ненужного» (музыка или шум). Просто заточены они под разные сценарии: одни — под музыкальные треки, другие — под живую речь в микрофоне.
Если вам не нужно готовить многодорожечный релиз, а хочется по-простому — убрать гул и эхо на созвоне, а заодно быстро расшифровать запись встречи или лекции в текст, разворачивать отдельно Python и учиться работать с CLI совсем не обязательно. Для этого мы и сделали приложение DeepFilter: оно берёт похожие по духу нейросетевые технологии и упаковывает их в простой интерфейс для Windows.
Что умеет DeepFilter
Приложение очищает микрофон от шума и эха прямо во время звонка в реальном времени, а также умеет переводить любые аудио и видео файлы в текст — как и голосовой ввод с диктовкой прямо во время разговора. Всё считается локально на вашем ПК, без передачи файлов на сервера.
Хотите чистый звук и текст без лишней возни?
DeepFilter убирает шум из микрофона на созвонах и превращает аудио, видео и живую речь в текст — прямо на вашем компьютере, без установки Python и без загрузки файлов в облако.
Скачать DeepFilter бесплатноБесплатно. Работает локально, интернет не нужен.
Итог
Технологии разделения аудио на дорожки прошли путь от студийного волшебства до открытых моделей, которые бесплатно доступны на GitHub и Hugging Face. Demucs, Spleeter и модели на базе MDX-Net позволяют получить чистый вокал, бас или барабаны буквально за пару минут обработки — если вы готовы разобраться с установкой. А если задача проще — избавиться от шума на звонках и быстро получить текст из аудио, — для этого не нужен терминал: достаточно одного лёгкого приложения на компьютере.