show links

Show Japanese | 日本語「テクノ共感覚概要・小島健治略歴」をここに開く
Hide Japanese | 日本語を隠す

テクノ共感覚(Techno Synesthesia)概要:
あなたは色彩の音を聞く事ができるでしょうか。テクノ共感覚は、小島健治が2007年から進めている視覚と聴覚の境界を越えようとするアートのシリーズです。視覚と聴覚は私たちの感覚器官では別ですが、私にはどこかに繋がりがあるように感じられます。共感覚(Synesthesia)と言われる、ある色を見るとある特定の音が聞こえる知覚を持っている人達がいるそうです。しかし私はそのような人間ではないので、色の音は聞くことができず、音には色が見えません。 最近ビジュアル・ミュージックと言う名前で、共感覚と銘打ったメディアアートの作品を見ることがよくあります。しかしそれらの作品は、視覚と聴覚との繋がりを作者の感情に委ねているので、視覚と聴覚との関係の提示があまりに曖昧すぎて私はいつも不満を感じています。人の感情で視覚と聴覚とをつなぎ合わせるには、その時々の気分に左右され過ぎる気がします。ビジュアル・ミュージックを共感覚と宣言するには、ある一定の結果が導き出せる合理的な理論か納得できるシステムを要求したいです。「テクノ共感覚」はコンピュータ・テクノロジーを使い、感情によらない確かなデータの扱いで、視覚から聴覚に踏み込んでみようとするアートのささやかな試みです。コンピュータ・テクノロジーが違う感覚の領域に踏み込める重要な理由は、コンピュータのデータは視覚でも聴覚でも共にバイナリー(0と1)で扱えることです。21世紀のコンピュータ・テクノロジーでバイナリーは、伝統的な絵画の顔料のようにアートワークを構築する基礎的な材料です。テクノ共感覚シリーズの始めは、静止画の色彩データをアルゴリズムで音階に変換して演奏し、その音楽データを再び画像にも戻せるアプリの「RGB MusicLab」が作り出すソフトウエア作品でした。このサイトのビデオ作品はその発展上にあります。ビデオ素材の膨大なデータは始めフレームをグリッドに分け、約1秒ごとの明暗の差上位3位の色彩データに整理して音楽を作りだしています。 19世紀末から20世紀初頭の作曲家アレクサンドル・スクリャービンが、交響曲「プロメテウス」の楽譜にLuce(イタリア語で光)のパートを書いた要因や、20世紀初期のマルセル・デュシャンの「網膜的でない絵画」は、21世紀にはテクノロジーに結びついて実現される方向に向かっています。「Techno Synesthesia」シリーズは、ニューヨーク市で撮影したビデオ動画に、その画像データから作られた音楽とビデオ撮影時に録音された環境音で構成した共感覚へのアプローチを、ビデオ媒体で表現した作品です。テクノ共感覚のビデオ作品は小島の開発したアプリ「Luce」シリーズで作られました。アプリ「Luce」の配布はしていません。このページ英文トップにある「PLAY Video "Luce12"」でアプリの基本的な動作を見ることができます。 『シネステージア(共感覚)とテクノロジーによる拡張感覚のアートについて』 日本語で詳しく書きました。

テクノ共感覚(Techno Synesthesia)のアート史的背景:
アート史で知られている共感覚を扱ったアーチストに、詩人のランボー、小説家のナボコフ、作曲家のスクリャービン、絵画のカンディンスキーなどの名前が挙げられます。彼ら自身が共感覚の持ち主だったとも言われていますが確かではありません。19世紀から20世紀のこれらのアーチストの作品に見られる特徴は、情緒的な直感ではなくある一定の法則に基づいた制作がなされていることです。アート史上これらは「テクノ・シネステージア」の先例と言えます。20世紀初めにスクリャービンの作曲した「プロメテウス」という交響曲の楽譜には、オーケストラで使われる楽器の他に「Luce(イタリア語で光)」というパートが最上段に書かれていて、彼の作ったシステムで音符による光の色が指示されています。スクリャービンの生きていた時代ではLuceのパートの演奏は非常に困難でしたが、近年のテクノロジーの発達で「Luce」を含めた交響曲の演奏ができるようになりました。初めて抽象絵画を描いたと言われるカンディンスキーは、スクリャービンの作品に感銘を受け共感覚に興味を持って作品に取り入れる試みをしたそうです。Wikipediaによると、カンディンスキー達の編纂した芸術季刊誌の青騎士に、カンディンスキーは絵画制作で黄色はピアノまたはトランペットの中央のド(C)に該当し、黒は終止符など、ある特定の音と特定の色彩との結びつきの記述があるそうです。また詩人のランボーの言葉の音(母音)と色彩との関連をうたった詩も例として挙げることができます。あるいは言葉の持つ音ではなく、文字という形態の認識も伴った色彩との関連だったかもしれません。「ロリータ」を書いた小説家のナボコフは「m」という文字がピンクに見えたそうで、「ロリータ」の書き出しで多くの「m」の言葉が使われています。これ以外にも多くの試みがなされているでしょう。私は実践するアーティストでアート史家ではないので、今後のリサーチに期待しています。

小島健治略歴:
小島健治はコンピューターを使用した、知覚・認識・時間の関連を探求するアートを、1990年代始めからニューヨーク市で続けています。ニューヨークに住み始めた1980年からほぼ10年間は、ビザンチンから初期ルネッサンスの技法エッグ・テンペラで現代絵画を描き、シティバンク、ヘス石油等のコレクションになりました。その頃コンピュータは急速な発展を遂げ、90年代始めからデジタルにアートの可能性をより感じてスイッチしました。20世紀の主なデジタル作品は、ニューヨーク市ニューミュージアム Rhizome にアーカイブとして保存されています。「RGBミュージック」は2007年にスタートした、イメージのカラーデータをアルゴリズムで音楽に変換するプロジェクトです。これは感覚で作られたビジュアル・ミュージックではなく、コンピュータを使った確実なデータに基づいた視覚と聴覚の境界を越えるテクノロジーで共感覚を実現しようとするアートです。RGB Music が初めての方はこの日本語略歴の下にリンクを作った、モナリザのピアノ曲「RGB values into Music (Mona Lisa)」、2008年のエキジビションの作品を纏めた「RGB MusicLab Subway Synesthesia Video」、球体の座標から作った音楽「String Trio Sphere Random Points」をご覧ください。「RGB MusicLab」は、静止画像の音楽変換プログラミングを纏めたMacOSとWindowsのアプリケーションで、左リスト「RGB Music」のページからダウンロードできます。2014年からはプロジェクト・タイトルを「Techno Synesthesia(テクノ共感覚)」と改め、ビデオの時間軸からの音楽変換を始めました。RGBミュージック・テクノ共感覚シリーズは、ニューヨーク市での個展、ヨーロッパ(ベルリン、ブールジェ、カナリア諸島、ケルン、コペンハーゲン、ユバスキュラ)・ブラジル(ベラ・ホリゾンテ、リオ・デ・ジャネイロ、サン・パウロ)・アジア(メーガーラヤ、武漢)のメディア・フェスティバルや、ACMシーグラフ2015(米国コンピュータ学会CG部会)、FILE(電子言語国際フェスティバル)のオンライン・エキジビション等で展示され、福島原発事故を扱った「Composition FUKUSHIMA 2011」はアートビデオ・ケルンのトラウマフィルム・コレクションに保存されました。
RGB MusicLab: 出てきたページのトップにある「アプリケーション「RGB MusicLab」ダウンロードを開く」をクリックします。
小島健治が書いた「LiveCode 6 プログラミング初心者開発入門」


Hide Japanese | 日本語を隠す


Artist statement in Japanese "The Art of Synesthesia and The Extended Senses by Technology" by Kenji Kojima

About Techno Synesthesia:
Can you listen to colors? "Techno Synesthesia" proposes the art of synesthesia by computer technology. Synesthesia is the perception phenomenon that can feel a certain sense of other senses. My art mind feels audio and visual are no boundaries between them. Some people with synesthesia can listen a color. But I am not that kind of persons. I cannot listen to colors and cannot see to sounds. My sensory organs catch them separately. I always feel dissatisfaction when I see and listen to a multi-media visual music which the creator mentions it is synesthesia. I raise doubt about the relation of their visuals and sounds. I am not persuaded that an emotion can be the agent between different senses. I would like to require reasonable theory or system that I can convince relations between visuals and sounds. I would rather realize the art of synesthesia by computer technology. Because a computer reduces all sensory data to binary. It is an experimental art. Technically it uses computer science, but it is not a science. It might be closer to an alchemy, or the fundamental studies of aware of our surrounding which is the savage mind of the 21st-century in the digital environment, or the modest art trial of our tedious and troublesome life. My recent project "Techno Synesthesia: The Sound of Archway (total artworks 18 videos)“ caught a music of archways in Central Park, New York City where places of the dwelling of sprites. I have worked this concept of artwork for 10 years. I used the project name "Techno Synesthesia" since 2014.

Historical Background:
"Synesthesia" and "Algorithmic Composition" are the main backgrounds of "Techno Synesthesia". Techno Synesthesia is not a physical extension of technology like a cyborg. It is a small step for expanding or merging of human sensitivity and aesthetics by computer technology. Algorithmic Composition is the technique of using algorithms to create a music. It is an old composition method. Ancient Greece philosopher Pythagoras, 10th-century Italian Guido d'Arezzo who made a notation similar to a modern music notation, and 18th-century Austrian composer Wolfgang Amadeus Mozart were known. Mozart's "Musical Dice Game" was unknown whether really he made it. Using a computer is the most popular way in 21st-century. It was possible cave artists might create the art of synesthesia. But I do not know the history of them. I would like to refer to some synesthesia artists in the modern period. A composer Alexander Scriabin was a synesthesia media artist. He wrote the Luce (light in Italian) part on his score of the symphony "Prometheus" in 1910. The Luce was the color lighting part of the symphony. He connected with musical keys to colors according to his color system. The whole score of the symphony was hard to play by an old time orchestra. But you can experience the symphony including the Luce by a contemporary orchestra with computer technologies. A painter Wassily Kandinsky expressed and theorized hearing tones and chords as he painted abstraction. According to Wikipedia, He theorized yellow is the color of middle C on a brassy trumpet, etc.. A poet Arthur Rimbaud wrote "Vowels" relations about vowels and colors. These artists had their own theories or systems between different senses. In the middle of 20th-century, many graphic notations were written for avant-garde musical compositions. However, in my opinion, an emotion or a spiritual mind could not be an agent between different perceptions. A graphic notation was the too vague method for the art of synesthesia. A color or pattern theory and sound system were important for persuading my aesthetics. The input of color or figure data should be output the same musical note always. Also, I am unsatisfactory for the same reason to most of the multi-media visual music. The art of 21st-century synesthesia should disclose theory and system. We shall discover and build the new art of synesthesia by contemporary technologies. One of the reasons for taking scientific methods is to not fall into mysticism. The algorithm of my project "Techno Synesthesia" takes RGB color value 120 is always the middle C. This system is based on my programming "RGB MusicLab". The edition "Public 1280x720" of my Techno Synesthesia videos are under Creative Commons License (CC BY-NC-ND 4.0).

Technical Description:
"Techno Synesthesia" creates an artwork of visual and music. But the music of "Techno Synesthesia" is not a composer's impression. The music is composed of the visual data by the computer algorithm. The technology of "Techno Synesthesia" is based on the software RGB MusicLab programmed by the artist Kenji Kojima. I developed it about 10 years ago. Submitted video documentation of artworks is on the progress of technology of RGB MusicLab. The software RGB MusicLab converts RGB (Red, Green, and Blue) color value of a still image to chromatic scale (atonality) music. The program reads the RGB value of pixels. One pixel makes a harmony of three note of the RGB value, and the length of the note is determined by the brightness of the pixel. RGB value 120 or 121 is the middle C, and RGB value 122 or 123 is added a half steps of the scale that are C#, and so on. The pure black that is R=0, G=0, B=0 is no sounds. RGB MusicLab converts an image to a music by the computer algorithm. Therefore the converted music can be returned to the original image. However, video frames have a huge amount of visual data. I can not use all the data of the video images to musical notes. I developed a new software for moving images named "Luce". It works for a video file and a live video cam. Our sensibilities select instinctively appropriate data from an enormous amount of information on the passing time. The visual data have to be suppressed and arranged by the algorithm. It is a kind of filter function. Probably there were many methods for this purpose, but I took the comparing brightness on the timeline. The program reads RGB color data from divided 84 grids of a video frame and compares the brightness of each grid and chooses three largest different values than a second before (it can control the interval sequence). Then the program converts the color values to musical notes that are the same methods as RGB MusicLab. Finally, the artwork video plays the music by the piano of midi instruments with the environmental sounds of the archway video. You can see the binary and the positions of musical notes in white line squares on the video. I am expecting that artists will find other methods or systems and make a music. Recent my video works are created by my program "Luce". Kenji Kojima’s RGB MusicLab.

Kenji Kojima's Biography:
I have been experimenting with the relationships between perception and cognition, technology, music and visual art since early 90’s. My main exhibition is on this website. All this website artworks are under Creative Commons License (CC BY-NC-ND 4.0). I was born in Japan and moved to New York City in 1980. I studied medieval art materials and techniques by myself and painted egg tempera paintings in the 80’s. My paintings were collected by Citibank, Hess Oil, and others. A personal computer was improved rapidly during the 80's. I felt more comfortable with the computer art than paintings. Also, I was tired handling materials and making garbages for the name of art. Computer work was clean and less contaminated on the Earth. I switched my artwork to digital in early 90’s. I studied computer programming by myself. My early digital works were archived in the New Museum - Rhizome, New York. I programmed computer software "RGB MusicLab" that converted color data to musical notes in 2007. The software created an interdisciplinary work exploring the relation between images and music. I developed the technology of RGB Music, and it would be the fundamental technology of the project "Techno Synesthesia". I created anti-nuclear video art “Composition FUKUSHIMA 2011” in 2012. Project "Techno Synesthesia" series are "The sound of Archway", "The sound of Fountain", "Media Performance Noh [I-MY]" and others.
My digital art "Techno Synesthesia" series has exhibited in New York City, media art festivals worldwide, including Europe (Berlin, Bourges, Canary Islands, Cologne, Copenhagen, Jyväskylä), Brazil (Belo Horizonte, Rio de Janeiro, Sao Paulo), India (Meghalaya), China (Wuhan), and the online exhibitions by ACM SIGGRAPH (Association for Computing Machinery's Special Interest Group on Computer Graphics and Interactive Techniques) and FILE (Festival Internacional de Linguagem Eletrônica). “Composition FUKUSHIMA 2011” was collected in CTF Collective Trauma Film Collections / ArtvideoKoeln in 2015.


Kenji Kojima Resume