シナステージア（共感覚）と
テクノロジーによる相互拡張感覚のアートについて
小島健治 Kenji Kojima Email: index@kenjikojima.com

テクノ・シナステージアと名付けた小島健治の作品シリーズは、画像の色彩値を解析して創り出す音楽と映像のマルチメディア・アートです。これは「視覚、聴覚という異なる認知方法を、 共通のデータで表現したものに感性は備わるのか」と言うアートの問いでもあります。テクノロジー＆アートで扱える「シナステージア（共感覚）」は、 視覚と聴覚の共通値の解析だけではありません。今後バイナリーと言う素材を使用したプログラミングがアートワークでさらに取り入れられ、 多くの可能性・データ収集から異なる感覚を扱ったアートが生み出されることを期待しています。
小島健治ウェブ：オンライン・エキジビション / テクノ共感覚・アルゴリズミック・アート

視覚と聴覚の切れ目のない世界の探求

私の現在のアート・ワークは「テクノ・シナステージア（Techno Synesthesia）」と言う言葉で、主要な考え方の説明ができるかと思います。「テクノ・シナステージア（テクノ共感覚）」のテクノはコンピュータ・テクノロジーを意味しています。そのテクノロジーの中身は２つあって、コンピュータを使った作曲法の「アルゴリズミック・コンポジション」と、もうひとつはコンピュータで取得した多量のデータから、目的のデータを検出して整理するセンサー装置です。これは人間に置き換えると感覚器官の入り口の機能です。厳密に言えば、視覚データと聴覚データを再生させるコンピュータの装置も含まれるでしょう。「アルゴリズミック・コンポジション（Algorithmic Composition）」は目的に沿って選り分けたデータを、「常に同じ手続き処理の連続（アルゴリズム）」で作曲する方法です。「アルゴリズミック・コンポジション」は古くからある作曲法で、コンピュータの作曲だけを指すものではありません。例えばピタゴラスや、近代楽譜に近い表記法を作ったイタリアの僧侶グイード・ダレッツォや、作曲家のモーツアルトなどが知られています。モーツアルトの「ミュージカル・ダイス・ゲーム」は楽譜の出版元が売り出していたというだけで、本当にモーツアルトが作ったかは不明です。私のビデオ作品では、自身でプログラムしたセンサー機能を通して捉えた画像の視覚データの数値を、アルゴリズムで12音階の音つまり聴覚データに変換してコンピュータに演奏させます。コンピュータでは視覚データと聴覚データはともにバイナリー（0と1で情報を記憶・処理する）ですから、同じデータを他のアウトプットのフォルムへの変換が可能になります。これは洞窟のアーチストが土性顔料を見つけてイメージを壁画に具体化したように、バイナリーをアートの新しい基礎的な素材として未知のアートを切り開こうとする試みでもあります。

もうひとつその背景には「トランスヒューマニズム（Transhumanism）」に近い考えがあります。しかし一般的な意味での「トランスヒューマニズム」ではありません。「トランスヒューマニズム」は、科学技術を用いて人間の身体や認知能力を拡張させ、人間があたかも生物学的に進化したように発展させようという思想です。具体的には20世紀後半からの急激な科学技術の発展で、人間の身体能力を拡張するサイボーグはサイエンス・フィクションではなく現実となっています。これは何10億年もかけて海洋生物から陸に上がり、生存のため身体的変化を緩やかに続けてきた人類が、21世紀に急速に推し進める新しい進化とも考えられます。しかし「テクノ・シナステージア（テクノ共感覚）」は、一般的なサイボーグのような肉体の延長や、テレコミュニケーションのような視覚や聴覚の拡張を目指すものではありません。それは現在の人間の感覚や能力の延長・拡張ではない、感覚器官のクロスオーバーをテクノロジーを用いたアートで実現できないかと模索しています。人間は普通五感と言われる感覚を持っています。私たちは進化の過程で、ゆっくりとゆっくりと何代もの世代を重ねて、生存のための環境を把握する機能として五感を発達させて来ました。人間は目を使って外界の形や色を把握しています。目をもたない深海などにいる生物は、どう外界を把握しているのでしょう。あるいは皮膚がその役割を兼ねているかもしれません。私たちは五感によって振り分けられた情報を信頼しているので、他の感覚器官の能力を無視しているかもしれません。あるいは身体能力を拡張のように、科学技術が感覚を補う役割をするかもしれません。

「シナステージア（Synesthesia）」は日本語で「共感覚」と訳される、ある感覚を別な他の感覚で感じ取れる知覚現象を言います。しかし科学的に証明されている事象ではないので、科学（Science）と言うより錬金術（Alchemy）に近いのかもしれません。世界には「ある色を見ると、ある特定の音が聞こえる」等の知覚を持っている人達がいるそうです。漠然と思考の上ではそう思えるのですが、残念ながら私にはない感覚なので、それを現代のコンピュータ・テクノロジーを使って、アートの思索の拡張として表現してみようと言うが、私の「テクノ・シナステージア」です。現在私の作品はビデオという形態を採っていますが、所謂ビデオアート的なイリュージョン（錯覚）やビジョン（幻影）を通したメタフィジカルな表現を狙うものではありません。視覚と聴覚は私たちの感覚器官では別なものですが、私はどこかで繋がりのあるもののように思っています。例えそれが科学的ではなく錬金術的だとしても、私はサイエンティストではないので、さして問題にすることではありません。感覚の融合または拡張は今後アートの重要なテーマとなるでしょう。「テクノ・シナステージア」では「ある特定」というのが重要なキーワードで、ある視覚データのインプットは、必ずいつでも同じ聴覚のアウトプットになる事が条件です。ですからコンピュータ・アルゴリズムによる、いつも一定のデータ処理が重要な手続きとなります。 例えば私の「テクノ・シナステージア」アートでは、視覚データが120の場合はいつでも音階の中央のド（ミドル C）が割り当てられています。もうひとつ大事なことはコンピュータ・サイエンスの方法をとることで、神秘主義に堕ち入らない冷静な視点を保ちたいと考えています。20世紀後半に流行った図形楽譜のような、演奏者のその場の気分で毎回違う音楽が作られるアート（音楽）の方法も、私の言葉ではシナステージアのアートには含まれません。また一般的に言われるビジュアル・ミュージックでも、視覚と聴覚の間にテクノロジーを使った一定の繋がりの法則がなくては「テクノ・シナステージア」とは言いません。コンピュータ・テクノロジーが違う感覚の領域に踏み込める重要な理由は、コンピュータのデータは視覚でも聴覚でも共にバイナリーで扱えることです。

アート史で知られている共感覚を扱ったアーチストに、詩人のランボー、小説家のナボコフ、作曲家のスクリャービン、絵画のカンディンスキーなどの名前が挙げられます。彼ら自身が共感覚の持ち主だったとも言われますが、真偽は定かではありません。スクリャービンはニーチェの超人という考えに興味を持ち、カンディンスキーはスクリャービンに影響を受けたとも言われています。これらのアーチストの作品に見られる特徴は、直感ではなくある一定の法則に基づいた制作がなされていることです。アート史上これらは「テクノ・シナステージア」の先例と言えます。20世紀初めにスクリャービンの作曲した「プロメテウス」という交響曲の楽譜には、オーケストラで使われる楽器の他に「Luce（イタリア語で光）」というパートが最上段に書かれていて、彼の作ったシステムで音符による光の色が指示されています。スクリャービンの生きていた時代の実際の演奏ではLuceのパートの演奏は困難でしたが、近年のテクノロジーの発達で「Luce」を含めた交響曲全楽譜の演奏ができるようになりました。初めて抽象絵画を創作したと言われるカンディンスキーは、スクリャービンの作品に感銘を受け共感覚に興味を持って作品に取り入れる試みをしたと、何かで読んだ記憶があります。Wikipediaによると、カンディンスキー達の編纂した芸術季刊誌の青騎士に、カンディンスキーは絵画制作で黄色はトランペットの中央のCの音、黒は終止符等の、ある特定の音と特定の色彩との結びつきを持った表現を採ったとあるそうです。また詩人のランボーの言葉の音（母音）と色彩との関連をうたった詩も例として挙げることができます。あるいは言葉の持つ音ではなく、文字という形態の認識も伴った色彩との関連だったかもしれません。「ロリータ」を書いた小説家のナボコフは「m」という文字がピンクに見えたそうで、「ロリータ」の書き出しで多くの「m」の言葉が使われています。ランボーの母音もナボコフのロリータも、スクリャービンの「プロメテウス」のように、現代テクノロジーで詩または小説の朗読（文字も伴って）と光の色とのパフォーマンスにもできるでしょう。 実はもう一人、共感覚を追求したアーチストとは考えられていないのですが、新印象派のジョルジュ・スーラを加えておきます。彼は科学性を重視し、印象派の色彩分割をさらに理論化した点描法によって、光を捉えようと試みています。今の処、科学技術というより、科学的思考を取り込もうとしたアーチストという評価に留めておきます。

19世紀から20世紀初めにあった幾つかの共感覚に関連するアートも、20世紀後半には特出できるような作品も見られなくなってゆきます。20世紀後半は近代物質文明を謳歌するようなアートがさらに主流に押し出され、それと対極するようにダダから発するコンセプチュアルなアートが、地下水脈のように流れて現在に引き継がれてきました。シナステージアのアートのひとつが、「視覚として捉えられる現象」が「視覚では捉えられない音」という表現形態を取る「網膜的でない絵画」とも考えられ、マルセル・デュシャンの系譜を継ぐアートと見ることもできます。あるいは20世紀後半のコンセプチュアルな作品に、シナステージア的なものがあったのかもしれませんが、アートシーンの表面に現れるほど時代の要請がなく、私の目には触れていないだけかもしれません。アートにはいろいろな考えがありますが、アートを物質や光（色彩という意味も含めて）や音や言語（文字も含む）という人間が作り出すことができる手段をステップとして、感覚的経験を超えたものを表現すると捉えれば、シナステージアのアートは、同じ情報を持つ複数の感覚を足場として、感覚的経験を超えたものを表現しようとするアートです。これに似た現代の表現形式ではマルチメディアと言う言葉になるのでしょう。しかし普通マルチメディアは「複数の感覚の異なる情報」を組み合わせているので、シナステージアのアートの「複数の感覚の同じ情報」を持つ表現とは違っています。

20世紀後半に共感覚がアート史の表面に現れなくなった原因のひとつに、共感覚は非常に個人的な感覚に頼る処が大きいので、その人がこれは共感覚だと言っても、他の人には果たして共感覚であるかの確認ができない事にあるでしょう。平坦な言い方をすれば素振りを演じているだけで、共感覚者とは信じられない胡散臭さを感じることがしばしばあります。これと同様に21世紀に入ってテクノロジーの発達で、視覚・聴覚を同時に扱うマルチメディアが現れて、そのいくつかが「シナステージア」と言っていますが、それらへも全く同じ不満・不信感を感じています。同じデータが違う感覚としての表現になるという意味合いでは、視覚と聴覚との関連を抽象的に結びつけない表現、つまり確実な違う感覚同士の「橋渡しをした方法の提示」をしなくてはいけません。違う感覚を抽象的に結びつけたアートは、「シナステージアのアート」とは認め難いです。「シナステージアのアート」と宣言するには、コンピュータ・サイエンスなどの手法を使った、きちんとした足がかりを求めます。次に続くアーチスト・開発者のためにも、方法を開示する必要があります。私は「シナステージアのアート」は、科学としては行き先不明の錬金術や野生の思考のような提示方法でも許容の範囲と考えていますが、現代の「シナステージアのアート」は、違う感覚の採取方法や橋渡しの処理方法（あるいはアルゴリズム）の提示が必要です。

このアートの方法を約10年進めて「テクノ・シナステージア」で何を求めて来たのか、または何を実践しようとしているのか最近考えています。始めに言えることは、求めているもの、あるいは創り上げようとしている事柄は、神秘的または超能力的な感覚の融合や感覚の行き来、または混乱させた感覚間で起こるような目眩ではありません。結論を言ってしまうと、膨大な情報量の視覚データから必要なデータだけを、アルゴリズムで規則的に取り出して変換した音に、自分が音楽として納得できるものにできるかと言うことです。この事をもう一段階整理してみると「視覚から聴覚に橋渡しする方法がエレガントであれば、結果として自分にとって美しく感じられる音の連なりになるのではないか」とも言えるでしょう。更に付け加えると「私たちにとっての視覚、聴覚という異なる認知方法を、共通のデータで表現したものに感性は備わるのか」と言う設問への答えを作っているのかもしれません。美しさは人によって時代によって違ってきます。私はノイズは美しいとは思えないけれど、いわゆる不協和音でも12音階には美しさを感じられます。たぶん20世紀に作られた多くの実験的な12音階で、耳が慣れているからなのでしょう。また私と同じように、12音階に違和感を覚えない人たちが21世紀には多くいます。

2016年10月以下２段落追加。
これまで「テクノ・シナステージア」をアートという観点から書いてきましたが、ある感覚を他の感覚に置き換える、障害者のための補助デバイスとして発展している例について追加しておきます。デザインという視点から捉えればアートに近いとも言えますが、今後違いを追求することで、アートとしての「テクノ・シナステージア」がより明確になるかもしれません。ひとつはニール・ハービソン（Neil Harbisson）というアーチストが使っている、色彩を音に変換するデバイスがあります。1982年生まれのニール・ハービソンは生まれた時からの色盲で、完全にグレーの世界で生きてきました。その後コンピュータ・エンジニアとの共同で、頭につけるアンテナのようなデバイスを開発して、音から色彩を感じてアートの制作をし、サイボーグ・アーチストとして知られています。2012年にTEDトークでスピーチを行っているので、その様子を動画で見ることができます。しかし彼は作品としてその道具を使っているわけではなく、彼のアート制作の補助として色彩の世界を感じる道具としています。もう一つはこのパラグラフを追加させる動機となった、日本の「2016年グッドデザイン・ベスト100」に選ばれた「Ontenna」という髪の毛で音を感じるデバイスがあります。こちらは音を振動に変えて完全に音の聞こえない人に音を感じさせるデバイスです。髪の毛につけるアクセサリーのような形ですが、手などの他の箇所に装着しても良いようです。右上のリンクリストに書いた「Ontenna」のウェブサイトに動画があるので、どんなものかすぐにわかります。実はもうひとつ私が「テクノ・シナステージア」のアートを始めた頃、視覚障害者のためのデバイスを開発しているという記事をウェブで読んだことがあります。はっきりとは覚えてないのですが、確か音波か電波かを発して障害物に跳ね返ってきたものを、音に変換して障害物を感知するというデバイスでした。このような障害者のための補助として考案されているデバイスの考え方や技術に、アートとして発展させる「テクノ・シナステージア」の今後のヒントがあるかもしれません。

20世紀末から21世紀のマルチメディアやコンピュータ・アートの実験を見てきて、今後に展開されるだろう「テクノ・シナステージアのアート」という方向を漠然と感じていましたが、具体的な動きに出会うことがありませんでした。昨日(10/27/2016）共感覚について検索していた中に偶然見つけたサイトが「ある感覚のデータから別な感覚のデータにコンピュータ・テクノロジーで変換するアートワーク」と言う、私の考えている「テクノ・シナステージア」とまったく同じコンセプトのプロジェクトに出会いました。ウィーン応用美術大学（University of Applied Arts Vienna）がオーガナイズしているプロジェクトの名前は「デジタル・シナステージア（Digital Synesthesia）」です。右のリンクリストに付け加えています。

2017年4月 メモ：「聞光・観音」浄土和讃（親鸞）通常の五感では捉えられない世界

「テクノ・シナステージア」のアートワーク
「物を扱うアート」には飽き飽きしている

「シナステージア」という言葉を私のアートで使い始めたのは、2008年ニューヨークのACインスティチュートで行ったソロショーのタイトルを、ギャラリー・ディレクターが「Subway Synesthesia（地下鉄の共感覚）」としたのが最初でした。その前年の2007年から「RGBミュージック・ラボ」と言う、静止画像を音楽に変換するコンピュータ・ソフトウエアを独自に開発していて、開発を始めた時は「シナステージア（共感覚）」という言葉すら知らないで、ただ視覚と聴覚の共通点を探っている状態でした。2008年のソロショーは、そのプログラムを使って作ったライブ動画をプロジェクターで投影したサウンド・インスタレーションです。エキジビションは、コンピュータ・プログラムからの映像を直接投影したもので、ビデオ画像に編集したものではありません。その後ウェブ・ブラウザーでの表現が可能なように、「RGBミュージック・ラボ」をビデオ・キャプチャーした表現方法を採るようになっています。2007年にソフトウエアの「RGBミュージック・ラボ」を MacUpdateという英語サイトで公開した直後に「まったく役に立たないひどいソフトウエア」という酷評をもらいました。その頃はコンピュータ・アプリは人の役に立つ道具でなくてはならないという思想が一般的だった時代です。しかしすぐ後に沢山の人達からそれを打ち消す賞賛（5スター）をもらって、いつの間にか始めの投稿は削除されました。最盛期には、私のサイトへのビジター数は1日に1000を超えることも度々あって、私自身「ソフトウエア・アーチスト」と名刺のタイトルに書いていた時期もあります。その頃「RGBミュージック・ラボ」の評を書いた人の文章に「Synesthesia」という言葉が時折使われています。2010年頃には数多くの「RGBミュージック・ラボ」の、プログラム・レビューや論文・書籍での引用がされています。その後年月の経過と共に、多くはウェブ上から消えてしまっていますが、残っているいくつかを右上のリストに上げておきます。

ソフトウエア「RGBミュージック・ラボ」は、私のアートワークで使えそうなプログラミングのスタディを、ひとつのアプリケーションにまとめたものです。アートワークに使われているプログラミングも、使われていない機能も「RGBミュージック・ラボ」に含まれています。私はコンピュータ・アート以前には中世の絵画技法や材料に興味を持っていて、顔料から絵の具を作って描く絵画を制作していたので、絵画を成りたたせている原材料に強い関心を持っていました。コンピュータの画像も、1と0のバイナリー（2進数）から作られるピクセルの成り立ちや、バイナリーを並べて画像とする、プログラミングでは機械に近いレベルのテクノロジーを学ぶ事で、画像データと音のデータとを結びつける「テクノ・シナステージア」に到達しました。ニューヨークに来る前はかなりヘビーな音楽リスナー＆コレクターだったのですが、すべてのレコードを処分してビジュアル・アートを目的としてニューヨークに来たので、その後長い間、意識して音楽から遠ざかっていました。バイナリーの次元でピクセルを成立させているデータと、コンピュータ音楽を成立させているデータに共通のものを見出したのも、抑えていた音楽への思いが視覚と聴覚とを結びつけた動機だったかもしれません。もう一つは絵画からコンピュータのアートにスイッチした当初から、感覚や時間に強い興味を持ってコンピュータの可能性を探索していたという事があるかもしれません。例えばデジタルの初期の作品に、スクリーン上にある同じオブジェクトのイメージが、マウス操作で重さの違いを感じる「Heavy Materials / Light Materials」という作品などがあります。 「RGBミュージック・ラボ」を開発していた頃は、モナリザなどの絵画から作る音楽が中心でしたが、2001年の911以降禁止されていた、ニューヨークの地下鉄写真撮影がその頃解禁になって、撮り始めた写真シリーズ「New York CIty Subway Spring 2005 - Fall 2007」を音楽にしたのが、シナステージアのアートとしては最初の作品「Subway Synesthesia（地下鉄の共感覚）」です。

その後定点観測写真シリーズ「999 View of Skyscrapers from Graet Lawn in Central Park」のように、自分の撮った写真をモチーフとする「RGBミュージック」のバリエーションを制作して行きます。写真の連作を短な音楽にする形式だったことから「RGBミュージック連歌」と名付けて、プログラミングした作品をインターネット・ブラウザーで閲覧できる形式にしていました。しかし残念ながらOSやブラウザーの変化で、現在ではそれらを正しい状態で見る事ができません。もう一つこの頃から、視覚と聴覚のデータを暗号化して再び複合するプログラムを開発しています。ひとつは「暗号音楽サイファチューン」と名付けた画像をブロウフィッシュ256ビットの暗号アルゴリズムで暗号化し、さらにその暗号データを音楽に変換するというものです。いわゆる普通の暗号文ではない音楽ファイルをEメールにアタッチして送れば、受け取った方で再び元の画像に戻せるというものです。もうひとつは絶対に破ることができないと言われる、ワンタイムパッドという論理演算の暗号を使って、画像から音楽を作り再び音楽を画像に戻すプログラムです。これらはシナステージアのアートと関連する内容に感じられ、シナステージアのアートとデータの暗号化は相性が良い様に思われましたが、今ここでそれに深く触れる事はしません。暗号アートの詳細は右にあるリストのウェブページをご覧ください。

作品を作るために自分自身で写真を撮る作業をして行くに従って、「シナステージア」や「アルゴリズミック」を主眼とした作品より、ビジュアルを目的とした写真としてのアートの方向に向かってしまう危険を次第に感じ始めて、現在流布されているビジュアル・アートの価値観から離れた写真を探し始めました。そして2011年1月1日から12月31日までインターネット上に掲載された報道写真を音楽にする、プロジェクト「RGBミュージック・ニュース」を始めます。このプロジェクトでは1年間で5000曲以上の曲を作っています。2011年はいろいろな事件のあった年でしたが、私にとって最大の衝撃は「福島原発事故」です。プロジェクトを終えた2012年になって、「RGBミュージック・ニュース」から「福島原発事故」に関連した報道写真から作った曲を、時系列に並べたビデオ作品が「コンポジション福島2011（Composition FUKUSHIMA 2011）」です。始めはビデオ作品ではなく、私のプログラムしたソフトウエアがインターネットで直接オリジナルの報道写真をリンクして、データを見せながら音楽を演奏する形式でした。その後「コンポジション福島2011」はビデオ・アートとして、ニューヨークでのエキジビション、ブラジル、ヨーロッパ各地のメディア・アート・フェスティバルで公開され、ビデオアート・ケルンのCTFトラウマフィルム・コレクションに加えられました。

「テクノ・シナステージア」という言葉を使い出したのは、2014年にニューヨークのメディア・ノチェでのソロショー「コンポジション福島2011」のプレス・リリースからです。それまで技術的な用語「アルゴリズミック・コンポジション」を打ち出した説明をすることが多かったのは、「シナステージア」というあまり一般的ではない用語と私の作品との直接の結びつきを、短く言い表わせる言葉にたどり着けなかったのが理由だったかもしれません。たぶん「テクノ・シナステージア」は、私の開発しているアートワークにぴったりの言葉と言えます。メディア・ノチェでのショーは、３面のマルチプロジェクションと6機のディスプレイを使ったインスタレーションだったので、すべての画面を同期させて同じ音楽を演奏させる必要から、完全にビデオでの作品に作り変えました。編集も加えたビデオ・アートに踏み込んだのも、この辺りの経過からです。もう一つには2011年の「RGBミュージック・ニュース」のように、自分で撮影した写真から「シナステージア」の作品を作らなくなったのも、あるいは切っ掛けだったかもしれません。

やはりその頃ライブ・ビデオカムを使って画像から音楽を取り出す、コンピュータ・プログラムの開発を始めます。始めに考えていたのはライブ・パフォーマンス、またはインスタレーションの場所に設置できるビデオカムです。「RGBミュージック・ビデオカメラ」とした、初期のテスト映像を幾つかVimeoにアップしてあります。ソフトウエア「RGBミュージック・ラボ」では静止画像の何万というピクセルを処理するのに、始め画面をモザイクにしてピクセル数を処理可能な数まで減らす作業をして、それをアルゴリズムで色彩から音階への変換をします。しかしビデオ画像では、さらに膨大な情報をどう処理するかが始めの大きな課題でした。静止画像のデータがミリ秒単位で画面に現れるので、すべてのデータを音に変換するのは不可能です。ですからプログラムは始めに、何ミリ秒毎に画像データを採取するかを設定します。採取した画像は静止画像ですから、モザイクのように画面をグリッドに分割してグリッドの明暗の数値を測定します。次に採取する画像も同じようにグリッド毎に明暗の数値を測定して、前の画像とそれぞれのグリッドを比較して、明暗の差が最大のグリッドの色彩データを音階に変換して演奏させます。その際差ががどれくらいなら音階に変換するかの、センサー機能のパラメータを設定しておけば、人間の目には感じられないくらいな微細な変化を音階にすることもできますし、ハッキリと目に感じられる明暗の差だけを演奏することもできます。使っている基本的なアルゴリズムは、静止画像を音階に変換するソフトウエア「RGBミュージック・ラボ」と同じです。

ライブ・ビデオカムはその場の状況が不安定なので、ビデオ・ファイルから上記と同じ条件で音楽を作り出せるソフトウエアを開発して、現在作品は始めそのソフトウエアを使ってコアの部分を作り、それをビデオ・キャプチャーしてさらに編集するという形をとることが多いです。特に最近はビデオ画像を使うので、編集は欠かせない作業となっています。ビデオファイルから作ったニューヨークの噴水のシリーズ「The Sound of Fountain」、地下鉄「The Sound of New York City Subway」。能の舞いの明暗から作ったメディア・パフォーマンス「相舞 [I-MY]」。最新作のセントラルパークのアーチのシリーズ「The Sound of Archway」を右のリストに上げておきます。最近の作品がピアノを使う事がほとんどなのは、視覚から変換した広い領域をカバーできる広い音域を持つ楽器がピアノであるという理由によるものです。パラメータを変えて音域を狭めた変換も可能ですが、現在はまだ耳で聞く事ができる音域を保ちたいと考えています。いずれ何もないホールのような空間で、光の変化や人の動きから音楽を作り出す、ライブ・ビデオカムを使ったインスタレーションができればと思っています。

---

2016年5月初稿、2016年8月10月2017年1月追加修正　小島健治 / Kenji Kojima