Рисованный звук: из прошлого в будущее. Имеет ли мягкий знак звук Перевести изображение в звук

Творческому человеку всегда интересны смелые эксперименты, открывающие новые горизонты и возможности. Фантастическая идея - рисовать музыку, создавать неповторимые картины, воплощающие графику и звук, уходит корнями в начало XX века. В этой статье я расскажу об истории вопроса, а также о двух своих разработках, позволяющих делать удивительное - записывать и воспроизводить звуки в графическом виде.

Предыстория

В 1904 году французский изобретатель Юджин Августин Ласт представил прототип системы оптической записи звука на кинопленку, а в 1911 устроил, возможно, первый в истории показ фильма с использованием новой техники. Началась эра заката немого кино и революционных открытий в области синтетического звука - впервые удалось получить простой, удобный и очень наглядный способ управления аудиоинформацией.

В конце 1920-х годов при работе над одним из первых советских звуковых фильмов преимущества подобной техники отметили композитор Арсений Авраамов, конструктор Евгений Шолпо и режиссер-аниматор Михаил Цехановский. Логическая цепочка выстраивалась следующая: если мы ясно видим дорожку с записанной звуковой волной - значит, мы можем эту же волну создать искусственно, просто нарисовав ее от руки. А что, если поместить туда орнамент, сложное сочетание узоров или примитивов евклидовой геометрии? Насколько фантастичным будет результат? Ведь таким образом можно нарисовать совершенно уникальный, не существующий в природе звук, а музыку можно писать без реальных инструментов, микрофонов и исполнителей.

Несколько лабораторий вскоре занялись изучением этих вопросов. И в результате появились синтезаторы оптической фонограммы: «Вариофон» Евгения Шолпо, «Виброэкспонатор» Бориса Янковского, машина Николая Воинова для разметки «гребенок» из бумаги - базовых фрагментов синтезируемого звука. На слух все это очень напоминало современную 8-битную музыку, но с большей степенью свободы: любые формы колебаний, неограниченная полифония, самые невообразимые ритмические рисунки. Вы только вдумайтесь - оптический синтезатор, музыкальный компьютер в тридцатые годы прошлого столетия! Но это только цветочки. Мысль советских инженеров пошла дальше.

В отличие от своих коллег акустик Борис Янковский одним из первых осознал, что для создания сложных, приближенных к живым звуков недостаточно описания одной только формы колебаний. Важнейшая часть акустической информации - это спектр, четко определяющий частотный состав звука, его окраску, по которой мы даем такие субъективные определения, как яркий, теплый, металлический, похожий на человеческий голос и так далее.

Янковский начал структурировать базовые графики спектра в своего рода «таблицу Менделеева» звуковых элементов, параллельно разрабатывая алгоритмы их обработки и гибридизации для получения новых звуков на базе «спектростандартов». К сожалению, перемены в стране и война не дали Янковскому довести работу до логического завершения.

Тему продолжил его знакомый, молодой изобретатель Евгений Мурзин, впечатленный наработками в области «графического звука» и задумавший грандиозный проект - универсальную фотоэлектронную машину, способную синтезировать любой звук, любой музыкальный строй методом рисования спектрограммы (зависимость спектра от времени) на специальном холсте без отвлекающих операций вроде проявки и сушки пленки. Это упростило бы кропотливую работу композитора, предоставив небывалую свободу для творчества.

Буквально на коленке, трудясь вечерами в комнате двухэтажного барака, Мурзин закончил рабочую модель аппарата в 1958 году. Аппарат весил больше тонны и внешне имел мало общего с музыкальным инструментом в классическом понимании. Изобретение было названо «АНС» в честь композитора Александра Николаевича Скрябина. Несмотря на внешний вид, АНС стал мировой сенсацией, опередив свое время на десятилетия и очень удачно вписавшись в период космической эйфории со своим неповторимым атмосферным звучанием.

АНС чем-то напоминает современный сканер, только двигается в нем не сканирующая полоска, а сама поверхность с изображением - большая стеклянная пластина (партитура), покрытая непрозрачной краской. Краска в нужных местах снимается тонким резцом, образуя рисунок спектрограммы музыкального произведения. Партитура плавно передвигается, проходя над отверстием, из которого идет прерывистый «модулированный» луч света от оптико-механического генератора чистых звуковых тонов на базе пяти специальных дисков оптической фонограммы. Часть света проходит через прозрачные области партитуры, после чего фокусируется на набор фотоэлементов, с которых выходит готовый к воспроизведению звук в форме колебаний электрического тока.

Сердце АНСа - это упомянутый диск с рисунком из 144 дорожек (как на грампластинке), прозрачность которых изменяется по синусоиде с определенной частотой. Разница по частоте между соседними дорожками - 1/72 октавы. Таким образом, один диск содержит две октавы, а октава делится на 72 чистых тона - Мурзин считал классическую 12-тоновую темперацию существенным ограничением. По сути, каждый диск - это оптическая реализация алгоритма преобразования Фурье, лежащего в основе многих современных программных синтезаторов и эффектов. Это в порядке вещей сейчас, во времена гигагерц и гигабайт, но 50 лет назад было просто невероятно - спектральный синтезатор, способный играть 720 чистых тонов одновременно! Недаром АНС считается первым в мире многоголосным музыкальным синтезатором.

Если ты думаешь, что никогда не слышал звуки АНСа раньше, то, скорее всего, ошибаешься. Вспомни хотя бы фильмы Андрея Тарковского «Солярис», «Зеркало», «Сталкер», завораживающие волшебной музыкой Эдуарда Артемьева. Или сцену ночного кошмара из комедии Леонида Гайдая «Бриллиантовая рука». Стоит отметить, что карьера самого Артемьева как композитора-электронщика началась именно со знакомства с АНСом и его создателем в 1960 году. Кроме Артемьева, с инструментом успели поработать Альфред Шнитке, Эдисон Денисов, София Губайдулина, Станислав Крейчи, а звуки АНСа в разное время использовали в своей музыке такие группы, как Coil и Bad Sector.

К сожалению, до наших дней дошел лишь один экземпляр синтезатора АНС, изготовленный промышленно в конце 1963 года. Находится он в Москве в Государственном музее музыкальной культуры имени Глинки. Несмотря на непростую судьбу, аппарат по сей день в рабочем состоянии и время от времени играет для посетителей музея под чутким присмотром Станислава Крейчи. Для тех же, кто далеко от Москвы или просто хотел бы поэкспериментировать со звучанием АНСа у себя дома, существует программный симулятор под названием Virtual ANS.

Virtual ANS: графический редактор

Разработка Virtual ANS ведется автором данной статьи с 2007 года. Цель программы - максимально воссоздать ключевые особенности, атмосферу железного АНСа, расширив при этом оригинальную идею с учетом богатых возможностей современных компьютеров. Из основных отличий:

• программа кросс-платформенная (Windows, Linux, OS X, iOS, Android), что позволяет наслаждаться работой с инструментом где угодно и на чем угодно: начиная от дешевого телефона и заканчивая мощным студийным компьютером;
• количество базовых генераторов чистых тонов теперь ограничено лишь фантазией пользователя и скоростью центрального процессора;
• появилась возможность обратного преобразования из звука в спектр.

Virtual ANS - графический редактор с классическим набором инструментов: примитивы, кисти, слои, эффекты, загрузка/сохранение PNG, GIF, JPEG. Но картина, которую ты увидишь на экране, есть на самом деле партитура музыкального произведения (она же сонограмма или спектрограмма), которую в любой момент можно послушать или слушать и рисовать одновременно. Партитура раскладывает композицию на «звуковые атомы» - неделимые кусочки чистых тонов (синусоидальных колебаний). По горизонтали - ось времени X (слева направо). По вертикали - высота тона Y (снизу вверх от басов к высоким частотам). Яркость отдельного пикселя - это громкость чистого тона с частотой Y в момент времени X. Изображение спектра по вертикали делится на октавы, октава - на 12 полутонов, полутон - на еще более маленькие еле уловимые на слух микротоны, для точного описания любого музыкального строя, любого самого немыслимого тембра. Если на партитуре АНС провести горизонтальную линию толщиной в один пиксель, то мы услышим единственную синусоиду с постоянной частотой. Чем толще линия - тем больше чистых тонов будет входить в ее состав, тем сложнее будет звук, и тем сильнее звучание будет приближаться к белому шуму, насыщенному обертонами всех частот слышимого диапазона. Сочетание таких линий с другими фигурами разной яркости дает неожиданные и интересные звуковые вариации.

В процессе работы над Virtual ANS появилась любопытная мысль. Фрагмент аудиофайла или, скажем, запись голоса с микрофона можно преобразовать в партитуру АНС, то есть в спектрограмму - картинку с закодированным в ней звуком. И звук этот можно с легкостью воспроизвести обратно при помощи той же самой программы. Возникает естественное желание распечатать картинку спектра на принтере и получить бумажную копию своего голоса или музыки.

Именно для этих целей был задуман PhonoPaper - еще один проект, наследующий идеи звуковых революционеров прошлого столетия. Что же такое PhonoPaper?

1. Формат изображения, в котором закодирован звук. От спектрограммы АНС этот код отличается только тем, что сверху и снизу появились специальные маркеры, по которым считывающее устройство точно определяет границы блока со спектром.
2. Приложение-сканер для чтения PhonoPaper-кодов в реальном времени при помощи камеры.
3. Приложение-рекордер для конвертации 10 секунд звука в PhonoPaper-код. Хотя для более точного управления преобразованием лучше всего использовать описанный выше Virtual ANS.

PhonoPaper-код можно назвать аналоговым, так как в его составе нет цифровой информации, а сам он может быть записан на любой доступной поверхности (бумага, пластик, дерево). По этой причине для него некритичны разного рода искажения: при плохом освещении и измятой бумаге ты как минимум услышишь «очертания» оригинального послания. Для прослушивания кода не требуется выход в сеть - вся необходимая информация хранится непосредственно на картинке, а проигрывание начинается мгновенно после попадания в поле зрения камеры. При этом, как и в синтезаторе АНС Мурзина, пользователь сам контролирует скорость и направление игры, сканируя звуковой код вручную (хотя имеется и автоматический режим).

Есть ли практический смысл? Представь себе: звуковые подсказки в детских книжках или учебниках; кусок новой песни на диске или рекламном плакате группы; аудиометки на товарах; секретные послания на стенах зданий; звуковые открытки и разного рода арт-эксперименты. Это имело бы смысл при наличии очень простого способа чтения таких изображений. Ведь его нужно сфотографировать, загрузить в программу и безошибочно указать границы спектра, базовую частоту и количество октав.

Инструкция по применению

1. Установи приложение PhonoPaper на iPhone или Android-смартфон.

1. Запусти приложение.
2. Наведи на каждую фонограмму.

Вместо заключения

Как видим, очередной виток спирали возвращает нас назад к истокам. И это естественно, ведь мир сегодня перенасыщен скрытыми от человека процессами обработки информации и все сильнее погружается в виртуальное пространство, оцифрованное, закодированное и упакованное. Музыкальные инструменты прячут свою природу, их нельзя потрогать или заглянуть под крышку, чтобы прикоснуться к волшебству рождения нового звука, ощутить его энергию. Рисование музыки на «атомарном» уровне и перенос этого процесса в реальный мир - несомненно, большой шаг к сокращению расстояния между композитором и воплощением его творческих замыслов. Одновременно с этим создание музыки становится доступным для любителей и представителей смежных видов искусств, мы больше не ограничены жесткими рамками и правилами, а нотная грамота отныне лишь дополнение. Берем ручку, бумагу и начинаем творить новый шедевр.

С речью человек сталкивается с самого рождения. Первоначальное знакомство происходит со звуками. Звуки речи - это то, что мы произносим, когда говорим. Их мы слышим, когда говорят другие люди.

Знакомство с буквами начинается позднее. Буквы мы пишем и видим, когда читаем написанный текст.

Звук невозможно написать и увидеть. А букву нельзя произнести. Но каждая буква имеет свое название: «А», «Бэ», «Эр», «Ша». И нужны они для того, чтобы обозначать звуки на письме.

Если мы попробуем произнести звук, который на письме обозначается знаком «Ь», то у нас ничего не получится. В лучшем случае прозвучит название буквы «Мягкий знак». Но никакого звук мягкий знак не обозначает. В русском языке у него совсем другая роль.

Для чего нужен мягкий знак?

Несмотря на то, что звука эта буква не обозначает, в русском языке у нее несколько функций.

Показатель мягкости согласного звука. Если в написанном слове мягкий знак стоит после буквы, обозначающей согласный, то этот звук при чтении произносится мягко. Примером, показывающим различие в произношении звуков, обозначаемых одной и той же буквой, при наличии мягкого знака и без него могут служить слова «дал» и «даль».

Разделительная функция. На письме мягкий знак разделяет букву, обозначающую согласный звук, и гласные Я, Е, Ё, Ю, И. При этом согласный звук читается мягко, а указанные гласные обозначают два звука: Я - [Й, А]; Е - [Й, Э]; Ё - [Й, О]; Ю - [Й, У]; И - [Й, И].

Обозначение грамматических форм слов. На конце существительных женского рода единственного числа (3 склонения) мягкий знак пишется.

Пишется он и в глаголах неопределенной формы, в т.ч. перед ТСЯ. Употребляется мягкий знак во всех глагольных формах после шипящих и в глаголах, стоящих в повелительном наклонении, а также в глаголах настоящего и будущего времени, стоящих во втором лице единственного числа.

Если основа наречия оканчивается на шипящую, тоже пишут эту букву.

И хоть сама буква «Мягкий знак» не обозначает никакого звука, она оказывает большое влияние на произношение звуков согласных.

В общем, недавно я решил заглянуть на Википедию (воистину неисчерпаемый кладезь знаний), и набрёл там на определение спектрограммы . Как выяснилось и там есть чего позаимствовать на тему рисования звуком. Во-первых, это список программ, позволяющих осуществлять синтез звука из картинок. В списке известная нам очень хорошо программа Coagula (кстати, она лежит в нашем подразделе с ПО), но есть и другие, а именно:

• MetaSynth for Macintosh ;
• Coagula for Windows ;
• FL Studio "s "BeepMap" additive synthesizer.

Открытый мультиплатформенный проект демонстрирует забавные, но очень познавательные опыты. ТПрограмма позволяет превращать звук в спектральную картинку (с указанным разрешением), и наоборот, синтезировать из картинки звук (с указанными параметрами).

Ещё одни шутники - группа Plaid. В песне "3recurring" содержит в своей спектрограмме логотип.

И ещё Nine Inch Nails применяют технику упрятывания картинок в спектре треков с альбома "Year Zero".

В общем, метод этот явно пришёлся по вкусу некоторым музыкантам. В принципе, этот же метод может быть запросто использован и в качестве инструмента стеганографии.

Тема эта очень интересная и, я думаю, обнаружатся ещё многие находки, связанные с рисованием в спектре и озвучанием картинок.