Как устроен звук в приложениях Vocaberry

Настоящая страница описывает технический принцип формирования звука в приложениях экосистемы Vocaberry.

Аудиозаписи не используются

Приложения Vocaberry не содержат аудиозаписей и не воспроизводят их. Потоковая передача звука не применяется, воспроизведение чьих-либо исполнений не осуществляется: в приложениях отсутствуют плеер аудиозаписей и клиент потокового вещания.

Весь звук формируется непосредственно на устройстве пользователя в момент воспроизведения.

Формат хранения музыкального материала

Музыкальный материал хранится в формате MIDI. MIDI не является звуковым форматом: файл содержит последовательность событий — начало и окончание ноты, её высоту, силу извлечения, длительность и темп исполнения. Аудиоданные и звуковая волна в файле отсутствуют.

Без программной обработки такой файл беззвучен: для воспроизведения программа должна интерпретировать события и синтезировать звук.

Синтез звука на устройстве пользователя

Синтез выполняет программный модуль, входящий в состав приложения и работающий на устройстве пользователя. Модуль интерпретирует события партитуры и в реальном времени формирует тон требуемой высоты и длительности.

Передача звука по сети не осуществляется. С серверов Vocaberry загружается только партитура — файл нотных событий объёмом в несколько килобайт. Синтез полностью выполняется на устройстве.

Вследствие этого аккомпанемент имеет характерное синтезированное звучание и не является записью инструментального исполнения.

Возможности, обусловленные таким подходом

Хранение музыкального материала в виде партитуры обеспечивает функции, недостижимые при использовании аудиозаписи:

Транспонирование. Произведение может быть перенесено в тональность, соответствующую диапазону пользователя, путём сдвига всех нот. Искажения тембра, неизбежные при обработке готовой аудиозаписи, при этом не возникают.
Изменение темпа. Темп исполнения может быть снижен для разучивания сложных фрагментов без изменения высоты звучания.
Управление партиями. Отдельные партии, в том числе мелодическая, могут быть приглушены или оставлены в качестве ориентира.
Отображение нотной записи. Данные о высоте и длительности каждой ноты позволяют построить нотный стан, выделить текущую ноту и отобразить схему аппликатуры для блокфлейты.
Анализ исполнения пользователя. В ходе занятия приложение принимает сигнал с микрофона, определяет высоту извлекаемого пользователем звука и сопоставляет её с нотой партитуры, что позволяет оценить точность интонирования.

Аудиозапись является неделимой и не допускает подобной обработки. Партитура сохраняет гибкость и может быть адаптирована под конкретного пользователя и конкретную учебную задачу.

Сторонние сервисы не используются

Приложения Vocaberry не подключаются к музыкальным потоковым сервисам, не обращаются к каталогам третьих лиц и не используют сторонние сервисы поиска музыкальных произведений. Перечень произведений загружается с серверов Vocaberry.

Основные положения

Аудиозаписи в приложениях отсутствуют — как встроенные, так и передаваемые потоком.
Музыкальный материал хранится в формате MIDI: события высоты, длительности и темпа, без аудиоданных.
Звук синтезируется на устройстве пользователя в момент воспроизведения. По сети передаётся только партитура.
Такой подход обеспечивает транспонирование, изменение темпа, управление партиями и отображение нотной записи.
Сторонние музыкальные сервисы не используются.