Новости →
Музыку можно увидеть! Аудиовизуализация PIANOCHOCOLATE
Аудиовизуализация в музее оптики СПбГУ ИТМО
видео работы системы (рекоммендуется смотреть с самого youtube, там есть FullHD):
В СПбГУ ИТМО есть один довольно примечательный экспонат — каталог Аббе, представляющий из себя коллекцию оптических стекол различных марок и размеров. Руководство музея желало чтобы этот каталог подсвечивался под музыку и так появился проект аудиовизуализации, которым я собственно и занялся.
Аппаратная часть была разработана фирмой ЛМТ, а я занимался написанием программы-аудиоплеера, который бы выводил картинку соответствующую играющей в данный момент музыке. Вот краткое описание как именно происходит превращение музыки в изображение:
Во время проигрывания аудиофайла с определенной частотой (в данном случае это частота кадров) берутся небольшие кусочки с сэмплами и затем над ними выполняется быстрое преобразование Фурье.
Исходная часть аудиофайла
Результат выполнения преобразования Фурье
Благодаря БПФ из массива с данными звуковой волны получается массив с частотными данными. Далее из них выбираются значения амплитуд частот музыкальных нот.
Далее выполняется дополнительная обработка — отслеживание пиков, минимальный предел чувствительности, преобразование значения амплитуды в значение яркости. После этого можно переходить к формированию изображения. В одном варианте столбцы по три стекла объединяются и представляют собой одну ноту, внешне получается нечто отдаленно напоминающее клавиатуру фортепьяно. Во втором варианте одну ноту отображают два стекла стоящих рядом в одном ряду, это ближе к гитаре с тремя струнами и крайне необычной настройкой;)
Наконец, ноты разукрашиваются различными цветами. Один из методов визуализации звука был предложен еще Ньютоном, в нем одной октаве соответствует весь видимый спектр. Поэксперементировав данная идея была развита дальше — в различных режимах производится наложение всего видимого спектра или его части на разное количество октав. Другой метод формирования цвета был позаимствован у веб-дизайнеров. В нем цветовая палитра выбирается при помощи одного из шаблонов.
Формирование цвета по веб-шаблону
Формирование цвета по методу Ньютона
Музыка: PIANOCHOCOLATE — River Song
http://vk.com/club10383421
Автор: Михаил Авхименя
видео работы системы (рекоммендуется смотреть с самого youtube, там есть FullHD):
В СПбГУ ИТМО есть один довольно примечательный экспонат — каталог Аббе, представляющий из себя коллекцию оптических стекол различных марок и размеров. Руководство музея желало чтобы этот каталог подсвечивался под музыку и так появился проект аудиовизуализации, которым я собственно и занялся.
Аппаратная часть была разработана фирмой ЛМТ, а я занимался написанием программы-аудиоплеера, который бы выводил картинку соответствующую играющей в данный момент музыке. Вот краткое описание как именно происходит превращение музыки в изображение:
Во время проигрывания аудиофайла с определенной частотой (в данном случае это частота кадров) берутся небольшие кусочки с сэмплами и затем над ними выполняется быстрое преобразование Фурье.
Исходная часть аудиофайла
Результат выполнения преобразования Фурье
Благодаря БПФ из массива с данными звуковой волны получается массив с частотными данными. Далее из них выбираются значения амплитуд частот музыкальных нот.
Далее выполняется дополнительная обработка — отслеживание пиков, минимальный предел чувствительности, преобразование значения амплитуды в значение яркости. После этого можно переходить к формированию изображения. В одном варианте столбцы по три стекла объединяются и представляют собой одну ноту, внешне получается нечто отдаленно напоминающее клавиатуру фортепьяно. Во втором варианте одну ноту отображают два стекла стоящих рядом в одном ряду, это ближе к гитаре с тремя струнами и крайне необычной настройкой;)
Наконец, ноты разукрашиваются различными цветами. Один из методов визуализации звука был предложен еще Ньютоном, в нем одной октаве соответствует весь видимый спектр. Поэксперементировав данная идея была развита дальше — в различных режимах производится наложение всего видимого спектра или его части на разное количество октав. Другой метод формирования цвета был позаимствован у веб-дизайнеров. В нем цветовая палитра выбирается при помощи одного из шаблонов.
Формирование цвета по веб-шаблону
Формирование цвета по методу Ньютона
Музыка: PIANOCHOCOLATE — River Song
http://vk.com/club10383421
Автор: Михаил Авхименя
3 мая 2011, 10:48
|
рейтинг: |
|
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.