Donation Rewards
      show links     Share on Twitter     Online Exhibition: Lumière / Four Seasons    

Show Japanese | 日本語「テクノ共感覚概要・小島健治略歴」をここに開く
Hide Japanese | 日本語を隠す

テクノ共感覚(Techno Synesthesia)概要:
あなたは色彩の音を聞く事ができるでしょうか。テクノ共感覚は、小島健治が2007年から進めている視覚と聴覚の境界を越えようとするアート・プロジェクトです。視覚と聴覚は私たちの感覚器官では別ですが、私にはどこかに繋がりがあるように感じられます。共感覚(Synesthesia)と言われる、ある色を見るとある特定の音が聞こえる知覚を持っている人達がいるそうです。しかし私はそのような人間ではないので、色の音は聞くことができず、音には色が見えません。 最近ビジュアル・ミュージックと言う名前で、共感覚と銘打ったメディアアートの作品を見ることがよくあります。しかしそれらの作品は、視覚と聴覚との繋がりを作者の感情に委ねているので、視覚と聴覚との関係の提示があまりに曖昧すぎて私はいつも不満を感じています。人の感情で視覚と聴覚とをつなぎ合わせるには、その時々の気分に左右され過ぎる気がします。ビジュアル・ミュージックを共感覚と宣言するには、ある一定の結果が導き出せる合理的な理論か納得できるシステムを要求したいです。「テクノ共感覚」はコンピュータ・テクノロジーを使い、感情によらない確かなデータの扱いで、視覚から聴覚に踏み込んでみようとするアートのささやかな試みです。コンピュータ・テクノロジーが違う感覚の領域に踏み込める重要な理由は、コンピュータのデータは視覚でも聴覚でも共にバイナリー(0と1)で扱えることです。21世紀のコンピュータ・テクノロジーでバイナリーは、伝統的な絵画の顔料のようにアートワークを構築する基礎的な材料と考えられます。テクノ共感覚は、これまで人間が培って来た文化的・言語的文脈を受け継ぎません。テクノ共感覚シリーズの始めは、静止画の色彩データをアルゴリズムで音階に変換して演奏し、その音楽データを再び画像にも戻せるアプリの「RGB MusicLab」が作り出すソフトウエア作品でした。このサイトのビデオ作品はその発展上にあります。ビデオ素材の膨大なデータは始めフレームをグリッドに分け、約1秒ごとの明暗の差上位3位の色彩データに整理して音楽を作りだしています。 19世紀末から20世紀初頭の作曲家アレクサンドル・スクリャービンが、交響曲「プロメテウス」の楽譜にLuce(イタリア語で光)のパートを書いた要因や、20世紀初期のマルセル・デュシャンの「網膜的でない絵画」は、21世紀にはテクノロジーに結びついて実現される方向に向かっています。「Techno Synesthesia」シリーズは、ニューヨーク市で撮影したビデオ動画に、その画像データから作られた音楽とビデオ撮影時に録音された環境音で構成した共感覚へのアプローチを、ビデオ媒体で表現した作品です。テクノ共感覚のビデオ作品は小島の開発したアプリ「Luce」シリーズで作られました。アプリ「Luce」の配布はしていません。このページ英文トップにある「PLAY Video "Luce12"」でアプリの基本的な動作を見ることができます。 『シナステージア(共感覚)とテクノロジーによる拡張感覚のアートについて』 日本語で詳しく書きました。

テクノ共感覚(Techno Synesthesia)のアート史的背景概要:
アート史で知られている共感覚を扱ったアーチストに、詩人のランボー、小説家のナボコフ、作曲家のスクリャービン、絵画のカンディンスキーなどの名前が挙げられます。彼ら自身が共感覚の持ち主だったとも言われていますが確かではありません。19世紀から20世紀のこれらのアーチストの作品に見られる特徴は、情緒的な直感ではなくある一定の法則に基づいた制作がなされていることです。アート史上これらは「テクノ・シナステージア」の先例と言えます。20世紀初めにスクリャービンの作曲した「プロメテウス」という交響曲の楽譜には、オーケストラで使われる楽器の他に「Luce(イタリア語で光)」というパートが最上段に書かれていて、彼の作ったシステムで音符による光の色が指示されています。スクリャービンの生きていた時代ではLuceのパートの演奏は非常に困難でしたが、近年のテクノロジーの発達で「Luce」を含めた交響曲の演奏ができるようになりました。初めて抽象絵画を描いたと言われるカンディンスキーは、スクリャービンの作品に感銘を受け共感覚に興味を持って作品に取り入れる試みをしたそうです。Wikipediaによると、カンディンスキー達の編纂した芸術季刊誌の青騎士に、カンディンスキーは絵画制作で黄色はピアノまたはトランペットの中央のド(C)に該当し、黒は終止符など、ある特定の音と特定の色彩との結びつきの記述があるそうです。また詩人のランボーの言葉の音(母音)と色彩との関連をうたった詩も例として挙げることができます。あるいは言葉の持つ音ではなく、文字という形態の認識も伴った色彩との関連だったかもしれません。「ロリータ」を書いた小説家のナボコフは「m」という文字がピンクに見えたそうで、「ロリータ」の書き出しで多くの「m」の言葉が使われています。これ以外にも多くの試みがなされているでしょう。私は実践するアーティストでアート史家ではないので、今後のリサーチに期待しています。 『シナステージア(共感覚)とテクノロジーによる拡張感覚のアートについて』 日本語で詳しく書きました。

小島健治略歴:
日本生まれ。小島健治はコンピューターを使用した、知覚・認識・時間の関連を探求するアートを、90年代始めからニューヨーク市で続けています。日本にいた頃から、近代から続く現在の文明は近々大きな変革をするように感じていてました。たぶんビートルズがライブコンサートをやめて音楽制作をスタジオに切り替えたことや、バクミンスター・フラーやマーシャル・マクルーハンの考えに影響を受けたのが理由かと思っています。そんな考えが根底にあり、現代アートを発展させる強い土台の探索に、近代が始まる以前の中世絵画の技法材料の研究・調査を始めていました。ニューヨークに住み始めた1980年からほぼ10年間は、ビザンチンから初期ルネッサンスの技法エッグ・テンペラで現代絵画を描き、シティバンク、ヘス石油等のコレクションになっています。その頃コンピュータは急速な発展を遂げ、90年代始めからデジタルにアートの可能性をより感じてスイッチしました。20世紀の主なデジタル作品は、ニューヨーク市ニューミュージアム Rhizome にアーカイブとして保存されています。「RGBミュージック」は2007年にスタートした、イメージのカラーデータをアルゴリズムで音楽に変換するプロジェクトです。これは感覚で作られたビジュアル・ミュージックではなく、コンピュータを使った確実なデータに基づいた視覚と聴覚の境界を越えるテクノロジーで共感覚を実現しようとするアートです。RGB Music が初めての方はこの日本語略歴の下にリンクを作った、モナリザのピアノ曲「RGB values into Music (Mona Lisa)」、2008年のエキジビションの作品を纏めた「RGB MusicLab Subway Synesthesia Video」、球体の座標から作った音楽「String Trio Sphere Random Points」をご覧ください。「RGB MusicLab」は、静止画像の音楽変換プログラミングを纏めたMacOSとWindowsのアプリケーションで、左リスト「RGB Music」のページからダウンロードできます。ソフトウエアのアートは、OSやブラウザーがアップデートすると動かなくなるトラブルが発生することがあり、最終的にモニター上で動いているアートワークを、ビデオキャプチャーする方式を採るようになります。2014年からはプロジェクト・タイトルを「Techno Synesthesia(テクノ共感覚)」と改め、ビデオの時間軸からの音楽変換を始めました。RGBミュージック&テクノ共感覚シリーズは、ニューヨーク市での個展、世界各地のメディア・フェスティバル ヨーロッパ(ベルリン、ブールジェ、カナリア諸島、ケルン、コペンハーゲン、ティミショアラ、ユバスキュラ、アテネ)・ブラジル(ベラ・ホリゾンテ、リオ・デ・ジャネイロ、サン・パウロ)・アジア(メーガーラヤ、武漢)や、オンライン・エキジビション ACMシーグラフ2015(米国コンピュータ学会CG部会)、FILE(電子言語国際フェスティバル)等で展示され、福島原発事故を扱った「Composition FUKUSHIMA 2011」はアートビデオ・ケルンのトラウマフィルム・コレクションに保存されています。
RGB MusicLab: 出てきたページのトップにある「アプリケーション「RGB MusicLab」ダウンロードを開く」をクリックします。
小島健治が書いた「LiveCode プログラミング初心者開発入門」


Hide Japanese | 日本語を隠す


詳しいコンセプト・歴史的・技術的な背景等 『共感覚とテクノロジーによる拡張感覚のアート 小島健治』

About Techno Synesthesia:     Historical Background
"Techno Synesthesia" proposes the art of synesthesia by computer technology. The project has attempted to extract music from visual data by computer technology. This concept implies the evolution of sensory functions by science and technology. However, it is not practical studies at all. It is just an artist's idea.

Synesthesia is the perception phenomenon that can feel a certain sense of other senses. My art mind feels audio and visual are no boundaries between them. Some people who have an ability of synesthesia can listen a color. But I am not that kind of people. I cannot listen to colors and cannot see sounds. My sensory organs catch them separately. You may say this project is a kind of visual music. However, it is not an ordinary visual music. It based on the logical concept of synesthesia. I always feel dissatisfaction when I see and listen to a multi-media visual music which the creator mentions it is synesthesia. I raise doubt about the relation of their visuals and sounds. I am not persuaded that an emotion can be the agent between different senses. I would like to require reasonable theory or system that I can convince relations between visuals and sounds. I would rather realize the art of synesthesia by computer technology. Because a computer reduces all sensory data to binary. And the binary can be converted to other sensory formats. "Techno Synesthesia" does not inherit the cultural and linguistic contexts.

We have evolved to recognize surrounding environment by sensory organs such as visual, auditory, tactile, and others, and recognized them as reality. However, we have not known that how we perceived our environment and boundaries of sensory information, and how we handled them and chose our actions. What was the difference between how human beings and deep-sea creatures have evolved distinguishing information from the outside world? The science of the 21st-century will make a difference and create tools for new evolution. You may think that extension of human ability by technology is similar to "Cyborg". Biologically a human being has evolved extremely slowly until the 21st-century. But we shall have new evolutions not only physical extensions but senses too by computer technology. This abstract idea is an experimental art field. Technically it uses computer science, but it is not a science. It is the basic research of aware of our surrounding or might be closer to an alchemy. Alchemy is on the medieval idea. However, it formed the foundation of modern chemistry.

My recent project "Techno Synesthesia" captures a music from ordinary sceneries in New York City. I have worked this concept of artwork since 2007. In the beginning, RGB color values of visual data were converted to musical notes, then incorporated with cipher techniques such as a bitwise operation and blowfish algorithm for the conversion. I have tried to capture audio data on the visible timeline of a video since 2014. My video shooting purposes are neither delusion nor illusion of visibility. I named the project "Techno Synesthesia".

Historical Background:
"Synesthesia" and "Algorithmic Composition" are the main backgrounds of "Techno Synesthesia". Techno Synesthesia is not a physical extension of technology like a cyborg. It is a small step for expanding or merging of human sensitivity and aesthetics by computer technology. Algorithmic Composition is the technique of using algorithms to create a music. It is an old composition method. Ancient Greece philosopher Pythagoras, 10th-century Italian Guido d'Arezzo who made a notation similar to a modern music notation, and 18th-century Austrian composer Wolfgang Amadeus Mozart were known. Mozart's "Musical Dice Game" was unknown whether really he made it. Using a computer is the most popular way in 21st-century. It was possible cave artists might create the art of synesthesia. But I do not know the history of them. I would like to refer to some synesthesia artists in the modern period. A composer Alexander Scriabin was a synesthesia media artist. He wrote the Luce (light in Italian) part on his score of the symphony "Prometheus" in 1910. The Luce was the color lighting part of the symphony. He connected with musical keys to colors according to his color system. The whole score of the symphony was hard to play by an old time orchestra. But you can experience the symphony including the Luce by a contemporary orchestra with computer technologies. A painter Wassily Kandinsky expressed and theorized hearing tones and chords as he painted abstraction. According to Wikipedia, He theorized yellow is the color of middle C on a brassy trumpet, etc.. A poet Arthur Rimbaud wrote "Vowels" relations about vowels and colors. These artists had their own theories or systems between different senses. You may also recall George Seurat's pointillism. Seurat did not mention about synesthesia. But he believed that colors created harmony and emotion in art. It was same as a musician used counterpoint and variation to create harmony in music. He thought that the knowledge of perception and optical laws could be used to create a new language of art.

In the middle of 20th-century, many graphic notations were written for avant-garde musical compositions. However, in my opinion, an emotion or a spiritual mind could not be an agent between different perceptions. A graphic notation was the too vague method for the art of synesthesia. A color or pattern theory and sound system were important for persuading my aesthetics. The input of color or figure data should be output the same musical note always. Also, I am unsatisfactory for the same reason to most of the multi-media visual music. The art of 21st-century synesthesia should disclose theory and system. We shall discover and build the new art of synesthesia by contemporary technologies. One of the reasons for taking scientific methods is to not fall into mysticism. The algorithm of my project "Techno Synesthesia" takes RGB color value 120 is always the middle C. This system is based on my programming "RGB MusicLab". The edition "Public 1280x720" of my Techno Synesthesia videos are under Creative Commons License (CC BY-NC-ND 4.0).

Technical Description:
"Techno Synesthesia" creates an artwork of visual and music. But the music of "Techno Synesthesia" is not a composer's impression. The music is composed of the visual data by the computer algorithm. The technology of "Techno Synesthesia" is based on the software RGB MusicLab programmed by the artist Kenji Kojima. I developed it about 10 years ago. Submitted video documentation of artworks is on the progress of technology of RGB MusicLab. The software RGB MusicLab converts RGB (Red, Green, and Blue) color value of a still image to chromatic scale (atonality) music. The program reads the RGB value of pixels. One pixel makes a harmony of three note of the RGB value, and the length of the note is determined by the brightness of the pixel. RGB value 120 or 121 is the middle C, and RGB value 122 or 123 is added a half steps of the scale that are C#, and so on. The pure black that is R=0, G=0, B=0 is no sounds. RGB MusicLab converts an image to a music by the computer algorithm. Therefore the converted music can be returned to the original image. However, video frames have a huge amount of visual data. I can not use all the data of the video images to musical notes. I developed a new software for moving images named "Luce". It works for a video file and a live video cam. Our sensibilities select instinctively appropriate data from an enormous amount of information on the passing time. The visual data have to be suppressed and arranged by the algorithm. It is a kind of filter function. Probably there were many methods for this purpose, but I took the comparing brightness on the timeline. The program reads RGB color data from divided 84 grids of a video frame and compares the light and shade of each grid and chooses top three or four differences of the value than a second before (it can control the interval sequence). Then the program converts the color values to musical notes that are the same methods as RGB MusicLab. Finally, the artwork video plays the music by the piano of midi instruments with the environmental sounds of the archway video. You can see the binary and the positions of musical notes in white line squares on the video. I am expecting that artists will find other methods or systems and make a music. Recent my video works are created by my program "Luce". Kenji Kojima’s RGB MusicLab.

Kenji Kojima's Biography:
I have been experimenting with the relationships between perception and cognition, technology, music and visual art since early 90’s. My main exhibition is on this website. I was born in Japan and moved to New York City in 1980. I was very interested in art, but I doubted the direction of modern civilization. I thought the modern civilization would change greatly in near future since the Beatles stopped their live concert and influenced by the idea of Buckminster Fuller and Marshall McLuhan. I was interested in before modern civilization and studied medieval art materials and techniques by myself, and painted egg tempera paintings. My paintings were collected by Citibank, Hess Oil, and others. A personal computer was improved rapidly during the 80's. I felt more comfortable with the computer art than paintings. Also, I was tired handling materials and making garbages for the name of art. Computer work was clean and less contaminated on the Earth. I switched my artwork to digital in early 90’s. I studied computer programming by myself. My early digital works were archived in the New Museum - Rhizome, New York. I programmed computer software "RGB MusicLab" that converted color data to musical notes in 2007. The software created an interdisciplinary work exploring the relationship between images and music. I developed the technology of RGB Music, and it would be the fundamental technology of the project "Techno Synesthesia". I created anti-nuclear video art “Composition FUKUSHIMA 2011” in 2012. Project "Techno Synesthesia" series is "The sound of Archway", "The sound of Fountain", "Media Performance Noh [I-MY]" and others.

My digital art "Techno Synesthesia" series has exhibited in New York City, media art festivals worldwide, including Europe (Berlin, Bourges, Canary Islands, Cologne, Copenhagen, Timișoara, Jyväskylä), Brazil (Belo Horizonte, Rio de Janeiro, Sao Paulo), India (Meghalaya), China (Wuhan), and the online exhibitions by ACM SIGGRAPH (Association for Computing Machinery's Special Interest Group on Computer Graphics and Interactive Techniques) and FILE (Festival Internacional de Linguagem Eletrônica). “Composition FUKUSHIMA 2011” was collected in CTF Collective Trauma Film Collections / ArtvideoKoeln in 2015.
1, Archives the New Museum - Rhizome, New York 2, 3

Kenji Kojima Resume