Son dessiné à la main : du passé au futur. Le signe mou a-t-il du son Convertir l'image en son

Une personne créative est toujours intéressée par des expériences audacieuses qui ouvrent de nouveaux horizons et opportunités. L'idée fantastique - dessiner de la musique, créer des images uniques qui incarnent des graphiques et du son, remonte au début du 20ème siècle. Dans cet article, je vais vous parler de l'historique du problème, ainsi que de deux de mes développements qui vous permettent de faire des choses incroyables - enregistrer et jouer des sons sous une forme graphique.

Fond

En 1904, l'inventeur français Eugène Augustine Last a présenté un prototype d'un système d'enregistrement optique du son sur film, et en 1911, il a mis en scène ce qui a peut-être été la toute première projection d'un film utilisant la nouvelle technique. L'ère du déclin du cinéma muet et des découvertes révolutionnaires dans le domaine du son de synthèse a commencé - pour la première fois, il était possible d'obtenir un moyen simple, pratique et très visuel de gérer les informations audio.

À la fin des années 1920, le compositeur Arseny Avraamov, le designer Yevgeny Sholpo et le réalisateur-animateur Mikhail Tsekhanovsky ont noté les avantages d'une telle technique en travaillant sur l'un des premiers films sonores soviétiques. La chaîne logique s'aligne comme suit : si nous voyons clairement une piste avec une onde sonore enregistrée, alors nous pouvons créer la même onde artificiellement, simplement en la dessinant à la main. Mais que se passe-t-il si vous y mettez un ornement, une combinaison complexe de motifs ou de primitives de la géométrie euclidienne ? À quel point le résultat sera-t-il fantastique ? En effet, de cette façon, vous pouvez dessiner un son complètement unique qui n'existe pas dans la nature, et vous pouvez écrire de la musique sans véritables instruments, microphones et interprètes.

Plusieurs laboratoires ont rapidement commencé à étudier ces questions. Et en conséquence, des synthétiseurs de phonogramme optique sont apparus: "Variophone" d'Evgeny Sholpo, "Vibroexponator" de Boris Yankovsky, la machine de Nikolay Voinov pour marquer le papier "peignes" - les fragments de base du son synthétisé. A l'oreille, tout cela rappelait beaucoup la musique 8 bits moderne, mais avec un degré de liberté plus grand : toute forme de vibration, polyphonie illimitée, les motifs rythmiques les plus inimaginables. Pensez-y - un synthétiseur optique, un ordinateur musical dans les années trente du siècle dernier ! Mais ce ne sont que des fleurs. La pensée des ingénieurs soviétiques est allée plus loin.

Contrairement à ses confrères, l'acousticien Boris Yankovsky a été l'un des premiers à se rendre compte que pour créer des sons complexes proches des sons vivants, il ne suffit pas de décrire un seul mode de vibration. La partie la plus importante de l'information acoustique est le spectre, qui définit clairement la composition fréquentielle du son, sa couleur, selon laquelle nous donnons des définitions subjectives telles que brillant, chaud, métallique, semblable à une voix humaine, etc.

Yankovsky a commencé à structurer les graphiques du spectre de base en une sorte de « tableau périodique » d'éléments sonores, tout en développant des algorithmes pour leur traitement et leur hybridation afin d'obtenir de nouveaux sons basés sur des « normes spectrométriques ». Malheureusement, les changements dans le pays et la guerre n'ont pas permis à Yankovsky de mener les travaux à leur conclusion logique.

Le sujet a été poursuivi par sa connaissance, un jeune inventeur Yevgeny Murzin, impressionné par les développements dans le domaine du "son graphique" et a conçu un projet grandiose - une machine photoélectronique universelle capable de synthétiser n'importe quel son, n'importe quel système musical en dessinant un spectrogramme (spectre dépendance au temps) sur une toile spéciale sans gêner les opérations comme le développement et le séchage du film. Cela simplifierait le travail minutieux du compositeur, offrant une liberté de créativité sans précédent.

Littéralement à genoux, travaillant le soir dans une pièce d'une caserne à deux étages, Murzin acheva un modèle fonctionnel de l'appareil en 1958. L'appareil pesait plus d'une tonne et avait peu de points communs avec un instrument de musique au sens classique du terme. L'invention a été nommée "ANS" en l'honneur du compositeur Alexandre Nikolaïevitch Scriabine. Malgré son apparence, ANS est devenu une sensation mondiale, en avance sur son temps de plusieurs décennies et s'est parfaitement intégré dans la période d'euphorie cosmique avec son son atmosphérique unique.

L'ANS rappelle un peu un scanner moderne, sauf que ce n'est pas la bande de numérisation qui s'y déplace, mais la surface avec l'image elle-même - une grande plaque de verre (score) recouverte d'une peinture opaque. La peinture aux bons endroits est enlevée avec un burin fin, formant un motif du spectrogramme de l'œuvre musicale. La partition se déplace en douceur, passant au-dessus du trou, à partir duquel un faisceau de lumière intermittent "modulé" provient d'un générateur optique-mécanique de sons purs basés sur cinq disques de phonogrammes optiques spéciaux. Une partie de la lumière traverse les zones transparentes de la partition, après quoi elle est focalisée sur un ensemble de photocellules, d'où émerge un son, prêt à être reproduit, sous forme d'oscillations de courant électrique.

Le cœur d'ANS est le disque susmentionné avec un motif de 144 pistes (comme sur un disque de phonographe), dont la transparence change de manière sinusoïdale à une certaine fréquence. La différence de fréquence entre les pistes adjacentes est de 1/72 octave. Ainsi, un disque contient deux octaves et l'octave est divisée en 72 tons purs - Murzin considérait le tempérament classique à 12 tons comme une limitation importante. En fait, chaque disque est une implémentation optique de l'algorithme de transformée de Fourier qui sous-tend de nombreux synthétiseurs et effets logiciels modernes. C'est l'ordre des choses maintenant, à l'époque du gigahertz et des gigaoctets, mais il y a 50 ans, c'était tout simplement incroyable - un synthétiseur spectral capable de jouer 720 sons purs en même temps ! Ce n'est pas sans raison qu'ANS est considéré comme le premier synthétiseur musical polyphonique au monde.

Si vous pensez n'avoir jamais entendu de sons ANS auparavant, vous vous trompez probablement. Rappelez-vous au moins les films d'Andrei Tarkovsky "Solaris", "Mirror", "Stalker", enchanteurs avec la musique magique d'Eduard Artemiev. Ou une scène de cauchemar de la comédie "The Diamond Arm" de Leonid Gaidai. Il convient de noter que la propre carrière d'Artemyev en tant que compositeur électronique a commencé précisément avec sa connaissance d'ANS et de son créateur en 1960. En plus d'Artemiev, Alfred Schnittke, Edison Denisov, Sofia Gubaidulina, Stanislav Kreichi ont réussi à travailler avec l'instrument, et les sons d'ANS à différents moments ont été utilisés dans leur musique par des groupes tels que Coil et Bad Sector.

Malheureusement, un seul exemplaire du synthétiseur ANS, fabriqué industriellement fin 1963, a survécu à ce jour. Il est situé à Moscou au Musée d'État de la culture musicale de Glinka. Malgré le sort difficile, l'appareil est toujours en état de marche et joue de temps en temps pour les visiteurs du musée sous la surveillance attentive de Stanislav Krejci. Pour ceux qui sont loin de Moscou ou qui souhaitent simplement expérimenter le son du SNA à la maison, il existe un simulateur logiciel appelé Virtual ANS.

ANS virtuel : éditeur graphique

Le développement de Virtual ANS a été réalisé par l'auteur de cet article depuis 2007. L'objectif du programme est de recréer autant que possible les caractéristiques clés, l'atmosphère d'un fer à repasser ANS, tout en élargissant l'idée originale, en tenant compte des riches capacités des ordinateurs modernes. Les principales différences :

• le programme est multiplateforme (Windows, Linux, OS X, iOS, Android), ce qui vous permet de travailler avec l'instrument n'importe où et sur n'importe quoi : d'un téléphone bon marché à un ordinateur de studio puissant ;
• le nombre de générateurs de sons purs de base n'est désormais limité que par l'imagination de l'utilisateur et la vitesse du processeur central ;
• il est devenu possible d'inverser la conversion du son au spectre.

Virtual ANS est un éditeur graphique avec un ensemble d'outils classique : primitives, pinceaux, calques, effets, chargement/sauvegarde PNG, GIF, JPEG. Mais l'image que vous voyez à l'écran est en fait la partition d'un morceau de musique (c'est un sonagramme ou un spectrogramme), qui à tout moment peut être écouté ou écouté et dessiné simultanément. La partition décompose la composition en "atomes sonores" - morceaux indivisibles de tons purs (vibrations sinusoïdales). Horizontal - axe temporel X (de gauche à droite). Vertical - Pitch Y (de bas en haut des graves aux aigus). La luminosité d'un seul pixel est l'intensité d'un ton pur avec une fréquence Y au temps X. L'image du spectre est divisée verticalement en octaves, une octave en 12 demi-tons, un demi-ton en microtons encore plus petits, à peine audibles, pour un description précise de tout système musical, de tout timbre le plus impensable. Si nous traçons une ligne horizontale d'une épaisseur d'un pixel sur le score ANS, nous entendrons une seule sinusoïde avec une fréquence constante. Plus la ligne est épaisse, plus les tons purs seront inclus dans sa composition, plus le son sera complexe et plus le son se rapprochera du bruit blanc saturé d'harmoniques de toutes les fréquences de la gamme audible. La combinaison de ces lignes avec d'autres formes de luminosité variable entraîne des variations sonores inattendues et intéressantes.

Pendant que je travaillais sur Virtual ANS, une idée intéressante est apparue. Un fragment d'un fichier audio ou, disons, un enregistrement vocal d'un microphone peut être converti en un score ANS, c'est-à-dire en un spectrogramme - une image avec du son encodé. Et ce son peut être facilement reproduit en utilisant le même programme. Il existe un désir naturel d'imprimer une image du spectre sur une imprimante et d'obtenir une copie papier de votre voix ou de votre musique.

C'est à ces fins que PhonoPaper a été conçu - un autre projet qui hérite des idées des révolutionnaires du son du siècle dernier. Qu'est-ce que PhonoPaper ?

1. Le rapport hauteur/largeur dans lequel l'audio est codé. Ce code ne diffère du spectrogramme ANS que par le fait que des marqueurs spéciaux sont apparus au-dessus et au-dessous, grâce auxquels le lecteur détermine avec précision les limites du bloc avec le spectre.
2. Une application scanner pour lire les codes PhonoPaper en temps réel à l'aide d'un appareil photo.
3. Application d'enregistrement pour convertir 10 secondes de son en code PhonoPaper. Bien que, pour un contrôle plus fin de la transformation, il soit préférable d'utiliser le Virtual ANS décrit ci-dessus.

Le code PhonoPaper peut être appelé analogique, car il ne contient pas d'informations numériques et il peut lui-même être écrit sur n'importe quelle surface accessible (papier, plastique, bois). Pour cette raison, toutes sortes de déformations sont pour lui sans critique : dans un mauvais éclairage et du papier froissé, vous entendrez au moins les « contours » du message d'origine. Pour écouter le code, vous n'avez pas besoin d'aller en ligne - toutes les informations nécessaires sont stockées directement dans l'image et la lecture commence instantanément après être entré dans le champ de vision de la caméra. Dans le même temps, comme dans le synthétiseur ANS Murzin, l'utilisateur contrôle lui-même la vitesse et la direction du jeu en scannant le code audio manuellement (bien qu'il existe également un mode automatique).

Y a-t-il un sens pratique? Imaginez : des invites sonores dans des livres pour enfants ou des manuels scolaires ; un morceau d'une nouvelle chanson sur un disque ou une affiche publicitaire pour le groupe ; étiquettes audio sur les produits; messages secrets sur les murs des bâtiments ; cartes son et toutes sortes d'expériences artistiques. Cela aurait du sens s'il existait un moyen très simple de lire de telles images. Après tout, vous devez le photographier, le charger dans le programme et indiquer avec précision les limites du spectre, la fréquence de base et le nombre d'octaves.

Mode d'emploi

1. Installez l'application PhonoPaper sur votre iPhone ou smartphone Android.

1. Lancez l'application.
2. Pointez sur chaque piste.

Au lieu d'une conclusion

Comme vous pouvez le voir, le prochain tour de la spirale nous ramène aux origines. Et cela est naturel, car le monde d'aujourd'hui est sursaturé de processus de traitement de l'information cachés aux humains et est de plus en plus immergé dans l'espace virtuel, numérisé, encodé et emballé. Les instruments de musique cachent leur nature, ils ne peuvent pas être touchés ou regardés sous le couvercle afin de toucher la magie de la naissance d'un nouveau son, d'en ressentir l'énergie. Dessiner la musique au niveau "atomique" et transférer ce processus dans le monde réel est sans aucun doute un grand pas vers la réduction de la distance entre le compositeur et l'incarnation de ses idées créatives. Dans le même temps, la création musicale devient accessible aux amateurs et aux représentants des arts connexes, nous ne sommes plus limités par des cadres et des règles rigides, et la notation musicale n'est plus qu'un ajout. Nous prenons un stylo, du papier et commençons à créer un nouveau chef-d'œuvre.

L'homme est confronté à la parole depuis sa naissance. La première connaissance se produit avec les sons. Les sons de la parole sont ce que nous disons lorsque nous parlons. Nous les entendons quand d'autres personnes parlent.

La connaissance des lettres commence plus tard. Nous écrivons des lettres et voyons quand nous lisons le texte écrit.

Le son ne peut pas être écrit ou vu. Et la lettre ne peut pas être prononcée. Mais chaque lettre a son propre nom : "A", "Be", "Er", "Sha". Et ils sont nécessaires pour désigner les sons par écrit.

Si nous essayons de prononcer le son, qui dans la lettre est indiqué par le signe "b", nous n'y arriverons pas. Dans le meilleur des cas, le nom de la lettre "Soft sign" sonnera. Mais le signe doux ne désigne aucun son. Dans la langue russe, il a un rôle complètement différent.

A quoi sert un signe doux ?

Malgré le fait que cette lettre ne désigne pas un son, en russe elle a plusieurs fonctions.

Un indicateur de la douceur d'un son de consonne. Si un mot écrit a un signe mou après la lettre désignant une consonne, alors ce son est prononcé doucement lors de la lecture. Un exemple montrant la différence dans la prononciation des sons désignés par la même lettre, avec et sans signe mou, peut servir de mots "dal" et "dal".

Fonction de séparation. En écriture, un signe mou sépare la lettre désignant un son de consonne et les voyelles I, E, E, Yu, I. En même temps, le son de la consonne est lu doucement et les voyelles indiquées dénotent deux sons : I - [ Y, A] ; ŒIL]; Yo - [O, O] ; Yu - [O, U] ; Et - [O, Et].

Désignation des formes grammaticales des mots. A la fin des noms féminins singuliers (3 déclinaisons), un signe doux est écrit.

Il est également écrit en verbes de forme indéfinie, incl. avant TSYa. Le signe mou est utilisé dans toutes les formes verbales après les sifflantes et dans les verbes à l'impératif, ainsi que dans les verbes du présent et du futur à la deuxième personne du singulier.

Si la base de l'adverbe se termine par un sifflement, ils écrivent également cette lettre.

Et bien que la lettre "Soft Sign" elle-même ne signifie aucun son, elle a une grande influence sur la prononciation des consonnes.

En général, récemment, j'ai décidé de regarder Wikipédia (un réservoir de connaissances vraiment inépuisable), et j'y suis tombé sur la définition d'un spectrogramme. Il s'est avéré qu'il y a quelque chose à emprunter sur le thème du dessin avec le son. Tout d'abord, il s'agit d'une liste de programmes qui vous permettent de synthétiser le son à partir d'images. La liste comprend le programme Coagula que nous connaissons très bien (d'ailleurs, il se trouve dans notre sous-section avec les logiciels), mais il y en a d'autres, à savoir :

• MetaSynth pour Macintosh ;
• Coagula pour Windows;
• Synthétiseur additif FL Studio "s" BeepMap ".

Le projet multiplateforme open source présente des expériences amusantes mais hautement éducatives. Le programme TP permet de convertir le son en une image spectrale (avec la résolution spécifiée), et vice versa, de synthétiser le son à partir de l'image (avec les paramètres spécifiés).

Un autre farceur est le groupe Plaid. Dans la chanson "3recurring" contient un logo dans son spectrogramme.

Et Nine Inch Nails utilise également la technique du masquage des images dans le spectre des morceaux de l'album "Year Zero".

En général, cette méthode est clairement du goût de certains musiciens. En principe, la même méthode peut être facilement utilisée comme outil de stéganographie.

Ce sujet est très intéressant et, je pense, il y aura beaucoup plus de découvertes liées au dessin dans le spectre et aux images sonores.