Cinémathèque de Toulouse

Kenji Kojima, Techno Synesthesia: Withering Tulips Three Scales
7min 54 | Etats-Unis

Ressentir pleinement, retrouver le sens premier d'esthétique/aïsthesis qui concernent tous les sens en ce plaisir alors du beau - aujourd'hui de l'art, est l'invitation de la Synesthésie et celle de Kenji Kojima qui compose sa Techno Synesthesia à partir des données visuelles, par l'algorithme informatique. Cela puisque l'ordinateur transforme toutes les données sensorielles en binaire.
Cependant le poète des synesthésies exaltait la réunion de la lettre dite et de l'odeur et de la couleur : ainsi se réciter à soi-même l'emblématique Fleurs du Mal IV : « Correspondances », « La nature est un temple où de vivants piliers/ [...] Comme de longs échos qui de loin se confondent/ Dans une ténébreuse et profonde unité/ Vaste comme la nuit et comme la clarté/ Les parfums, les couleurs et les sons se répondent. »

Ou le plus érotique baudelairien Parfum exotique « Quand, les deux yeux fermés, en un soir chaud d'automne/ Je respire l'odeur de ton sein chaleureux/ Je vois se dérouler des rivages heureux/ Qu'éblouissent les feux d'un soleil monotone. »
L'hypallage y est triomphante dans cette contamination des sensations des hommes aux éléments qui les provoquent. Sans recourir davantage à sa bibliothèque, entendre aussi Voyelles rimbaldien qui fait vibrer ces lettres, chacune en la couleur qu'il leur découvre.
En un bond par technologie informatique, cette approche-ci explicite son rapprochement en « Techno Synesthésie » de fleurs particulières : les tulipes comme d'autres partitions-images-sons de l'artiste se dévouent aux saisons, aux paysages urbains architecture du MoMA ou rues new yorkaises avec joggeurs.
Très loin des propositions transhumanistes, le projet fusionne ce que ressent l'humain, son désir du beau par une composition algorithmique de la musique. Les couleurs des fleurs d'un massif si fourni qu'il égrène les tulipes fermées, ouvertes voire trop ouvertes ou fanées, deviennent notes d'une partition musicale. L'artiste a créé son propre logiciel le RGB MusicLab afin de convertir une image en musique

par l'algorithme informatique or, sachant combien sont nombreuses les données de ces images à reconnaître, il a, dans sa constante recherche, développé un second logiciel de filtrage auquel il a donné le nom de la lumière en italien, Luce parce qu'il a opté sur la luminosité comme critère. Luce travaille avec une caméra en direct et un fichier vidéo en RVB, afin de comparer la lumière et l'ombre des 84 grilles apposées à l'image vidéo dont il retient des nuances ce que le programme transforme en notes de musique. Luce s' entendrait aussi comme un rappel de cette annotation de Scriabine sur sa partition de sa symphonie Prométhée en 1910.
L'oeuvre de Kenji Kojima transpose l'invisible sonore en visible entendu... les deux pris dans le temps de sa création en trois mouvements.
Le massif des tulipes, corolles émergeant au-dessus des longues feuilles vertes, varie du rose thé au rose poudré, du mauve foncé au fuchsia brillant. L'approche est haptique, les pétales sont « touchés » du regard entraîné dans le mouvement et la musique... le piano-forte, marqué ou plus envolé, scande les propositions binaires encadrées, surgissant là sur telle ou telle fleur sur fonds de sons de la nature comme les cris d'oiseaux. L'image numérique, le 0/1, s'explicite avec la position des notes dans des carrés de lignes blanches ténues. Un organigramme de lignes brisées s'en dessine, se multiplie, rhizomique ; il zigzague, s'étale avant d'être encadré en un parallélépipède rectangle, sculpture filiforme et mouvante sur elle-même avant le filage des fleurs libérées de cette numérotation désormais sous-jacente. La partition à jouer distinguent trois moments désignés et trois variations rythmiques : Withering Tulips Three Scales / Flétrissement des Tulips Trois Gammes / Échelles : Accord Mystique / Échelle de Tous les Entiers / Gamme de Douze Tons.

De telles appellations rassemblent les temps historiques de la musique du sacré aux musiques sérielles, qui préfèrent affichant leur projet pris dans le matériau musical, être retenues dans la sphère expérimentale. Nam june Paik venu de sa lointaine Corée en Europe pour une thèse sur Cage, fréquenta assidûment les studios de musique électronique de Stockhausen. Il appelait souvent les téléviseurs de ses installations « pianos à lumières » puisque boîte à sons autant qu'à images, et expliquait composer ses bandes-vidéos comme des partitions. Quant au précurseur Nicolas Schöffer, il saisit combien la — nouvelle science — cybernétique changerait la vie des humains et il en distingue les potentialités pour l'art et ses sculptures de métal avec filtres colorés, lumières vibrent en prémices à la musique concrète des années 1950, quand il intègre la machine dans son œuvre.
Techno Synesthesia: Withering Tulips Three Sales pense sa création en une alliance binaire au carré comme on dit formule au carré, puisqu'elle implique le 0/1 et unit les sens de la vue et de l'ouïe voire une telle union provoque un envahissement sensoriel du corps, le bonhcur des sens oublieux de la machine — pourtant sous-jacente, et si c'était là, la clef du rapport homme-machine.

L'artiste explique le fonctionnement de son logiciel «Le logiciel RGB MusicLab convertit la valeur de couleur RVB (rouge, vert et bleu) d'une image fixe en musique à échelle chromatique (atonalité). Le programme lit la valeur RVB des pixels. Un pixel fait une harmonie de trois notes de la valeur RVB, et la longueur de la note est déterminée par la luminosité du pixel. La valeur RVB 120 ou 121 est le C du milieu, et la valeur RVB 122 ou 123 est ajoutée un demi pas de la gamme qui sont C#, et ainsi de suite. Le noir pur qui est R=0, G=0, B=0 n'est pas un son.
RGB MusicLab convertit une image en musique par l'algorithme informatique. Le programme lit les données de couleur RVB à partir de 84 grilles divisées d'une image vidéo [...] et choisit les trois ou quatre premières différences de la valeur qu'une seconde auparavant (il peut contrôler la séquence des intervalles). Ensuite, le programme convertit les valeurs de couleur en notes musicales qui sont les mêmes méthodes que RGB MusicLab. »

Simone Dompeyre