日本語 / English / Google Translate
ビデオ：Techno Synesthesia: Four Seasons / Withering Tulips Twelve Tone Scale / 02:18 / 2018
クリックで開きます
小島健治 略歴を隠す
小島健治 略歴
1947年日本生まれ。コンピューターを使用した、知覚・認識・時間の関連を探求するアートをニューヨーク市で続けています。日本に大きな違和感を感じ、1980年からニューヨークに住み始めました。それからほぼ10年間は、ビザンチンから初期ルネッサンスの技法エッグ・テンペラで現代絵画を描き、シティバンク、ヘス石油等のコレクションになっています。その頃コンピュータは急速な発展を遂げ、90年代始めからデジタルにアートの可能性をより感じてスイッチしました。20世紀の主なデジタル作品は、ニューヨーク市ニューミュージアム（Rhizome）にアーカイブされています。2007年コンピュータ・アプリケーション「RGB MusicLab」を開発。RGBミュージックは、画像のカラーデータをアルゴリズムで音楽に変換するプロジェクトです。これは直感から作られたビジュアル・ミュージックではなく、コンピュータ・テクノロジーを使ったデータ収集で、一定の法則に基づいた制作を行う、視覚と聴覚の境界を越える共感覚を探求するアートです。2014年にプロジェクト・タイトルを「Techno Synesthesia（テクノ共感覚）」と改め、ビデオの時間軸からの音楽変換を始めました。RGBミュージック＆テクノ共感覚シリーズは、ニューヨーク市の個展、世界各地のメディア・フェスティバル（ヨーロッパ・ブラジル・中東・アジア）、オンライン・エキジビション （ACMシーグラフ2015：米国コンピュータ学会CG部会、FILE：電子言語国際フェスティバル）等で展示されました。福島原発事故の報道写真を音楽に変換して時間軸に並べビデオに編集した「コンポジション福島2011」は、アートビデオ・ケルンのトラウマフィルム・コレクションに保存されています。プロジェクトを開発したプログラミング言語「LiveCode初心者開発入門 (日本語)」。 http://kenjikojima.com/
小島健治 略歴を隠す
バイナリをアートマテリアルとする
バイナリ (binary) は、コンピュータが電気信号として直接処理できる、
上の図の数字のような「0」と「1」だけの２進数表記のことです。
目次：English
・概要
・RGB Music RGBミュージック
・CipherArt 暗号アート
・Techno Synesthesia テクノ共感覚
・Work Concept 作品コンセプト
概要：
バイナリをアートマテリアルとした、３つのプロジェクトについて書いています。
プロジェクトは、コンピュータ・サイエンスの考えと方法を取り入れたアートです。サイエンスを目的とはしていません。バイナリの操作は、論理的な積み重ねが必要です。論理的でエレガントな構築は、内面にある美しさを持っています。しかしこの積み重ねた美しさは、何かを証明したり、科学的な成果を求めるものではありません。無目的な美しさの中にある無意味さという破れ目が、アートである所以かもしれません。プロジェクトはプログラミング言語「LiveCode」 を使っています。
私はコンピュータ・アートを始める前から、絵画の最も基本となって構築している材料に、常に興味を持って来ました。「バイナリ」というデータの最小単位を、アートマテリアルとする考えに達したのは、中世画家が色の粉を、自らメデュームと調合して絵の具を作った技法に影響されています。さらに追求してゆくと、絵画の最も基礎の構築物が、岩や土の粉にたどり着きます。それは有史以前の洞窟絵画のアーチストが、色の土を石灰質の洞窟に擦り付けた衝動と、共通のものを感じるからです。
現代では顔料と溶剤が調合されチューブに詰められた「絵の具」が、原材料も作成行程も意識しないまま、簡単に絵画材料店で手に入れることができます。市販の絵の具は通常、絵画の最終形態を決定します。油絵、水彩画、ハウスペイント、スプレーペイント等々、用途別に分類され目的にさえ合致すれば、それはそれで手軽で便利です。
同じように、ほとんどの現在のデジタル・アートも、ビジュアル的には、絵画、写真、映画等、過去の視覚芸術の表面的な形式を踏襲する、用意されたアプリケーションのショートカットや、フォーマットに沿ったプログラミング、場合によっては多少のインタラクティブを加えて、アートワークを完成させます。新しいと思われるインタラクティブも、鑑賞者が困惑しない（または鑑賞者を困惑させる）情報に限られます。しかし将来的には全くこれまでになかった、形式も感覚もクロスオーバーする、または現在の私たちには考えつかない、全く新しいアート・フォルムを作り出す可能性があります。
バイナリを発想とするこのプロジェクトは、すべてのコンピュータ・データがバイナリから構成されているので、同じデータを他の形態に「変換」できるというのが重要な概念です。ある目的のために集められたデータも、バイナリにして他の形式のファイルに変換して出力すれば、見かけ上はその出力形式のファイルとなります。それは視覚や聴覚の表面上の変形で、イリュージョン等を追求するアートとの決定的な違いです。
始めに取り上げる「RGB Music」は、画像の最小単位ピクセルをmidi音楽の形式に変換して出力します。１つのカラー・ピクセルは４つのバイナリで構成されています。ピクセルを音楽の形式に整えるには、バイナリに一旦還元してmidiファイルに変換します。出来上がった音楽は、一般的な音楽の美意識はともかく、形式上12音階の音楽が作られます。同じように他の目的や感覚のために作られたファイルを、バイナリに還元して全く違う形式のファイルとすることが可能です。そのファイルが有用であるか無用であるかは、違った次元の価値の事柄です。後の2つのプロジェクトは、音楽変換は「RGB Music」のテクノロジーを使用して、他のアプローチをしています。
私の興味が視覚と聴覚の共通項を探ることから、画像の音楽への変換に取り組んでいますが、別の感覚のデータを変換することも可能でしょう。もちろん画像と音楽であっても、私の方法とは違ったアルゴリズムも無数に見つけられるでしょう。しかしバイナリからアートを組み立てるという事は、「アートの思想を実現する開発環境を、アーチスト自身が作り上げる」という意味でもあります。デジタル・アートはまだ始まったばかりで、今は過去の方法に捕らわれない、基礎的な可能性を試しています。 私たちはこれからどこに向かっているのか、全く予測がつきません。
もうひとつ私がデジタルにこだわるのは、他のアートマテリアルで制作するより、多少は地球にクリーンで少しは気持ちを軽く、より未来に向かって思考できるアートの方法と考えているからです（将来的に全クリーン・エネルギーが前提です）。作ったアートワークが100年後に、地球を汚染しているゴミとなるのは、アーチストには耐えられないことです。その可能性を誰が否定できるでしょう。21世紀のアーチストは、この惑星の未来に責任を持つ倫理が必要です。物質を使ったアートという思考表現をやめる事、これは過去のアートワークを否定することではありません。デジタルによるクリエイティブなコモンズとしてのアートは、欲望の質を変えてゆきます。
追記 1：
この文章を書いて少したった2021年3月、デジタル・アートがオークションで約7000万ドルの値で落札されました。NFT（非代替性トークン）という、ブロック・チェーンで唯一無二を証明できる方式を組み入れたデジタル・アートです。これについて少し私の意見を書いておきます。まず始めに「アートの意味は唯一無二」ということなのだろうかという疑問。コレクションという立場で考えれば意味のあることなのでしょう。ここではコレクションについての歴史を書き出す余裕がないので、手短に結論を書いてしまうと「アートの意味は唯一無二ではない」と考えています。NFTデジタル・アートは、金貨や紙幣の歴史を経て帳簿に記述するだけになっている、貨幣という価値の新しい代替物であるというのが私の結論で、デジタル・アートの意味とは関係のないマネーゲームの社会の動きと捉えています。さらに膨大な電力消費は環境を破壊します。また近い将来、量子コンピュータでブロック・チェーンは解読されるでしょう。
追記 2：
2021年5月「メディアの終わりの人類史：『哲学と人類』を読む」（哲学者：岡本裕一朗 著『哲学と人類』を、音声で解説する全11回のポッドキャストシリーズ。聞き手：若林恵）という、非常に興味あるポッドキャストを見つけました。私が書いている『すべてのコンピュータ・データがバイナリから構成されているので、同じデータを他の形態に「変換」できるというのが重要な概念です。』と密接な関係があります。特に「第10講｜デジタルメディアとメディアの終焉」では、音や映像といった異なるメディア全てを「0,1」というデジタル情報にして、再現できる時代に入っているという内容。
追記 3：
2022年8月 日本語『NFTアートに違和感を感じています / ビデオ・アート「One Dollar」』を note.comに書きました。書き出し部分「NFTアートが登場してから、どうもモヤモヤと違和感を感じ続けてきました。デジタル・アートをやってきて、最近は画像データを音楽に変換するプログラミングに、ビデオをミックスした作品を作っています。そろそろこのNFTアートの違和感にもピリオドを打ちたいと考えて、プロジェクト「One Dollar」を完成させました。 」
写真の画像は無数と言って良いくらいのピクセルが使われますから、始めに画像をモザイクにして一つ一つのグリッドを、その平均の色彩と考えます。細かなモザイクは長い時間の音楽に、荒いモザイクは短い時間の音楽に変換されます。変換された音符はmidi楽器で演奏されます。以上がプログラムの概略です。
アプリケーション「RGB MusicLab」はここからダウンロードできます。
macOS 11 Big Sur では動きません。Mac版は古いOSを使ってください。
アプリケーション「RGB MusicLab」の基本的な動作説明と、実際のメディア・アート・インスタレーション「Subway Synesthesia」のファイル作成をビデオにしています。「Subway Synesthesia」は、2008年ニューヨーク市のノンプロフィット・アート・ギャラリー「AC Institute」で展示された際、ギャラリー・ディレクターが付けたエキジビション・タイトルです。エキジビションはビデオ・ファイルの投影ではなく、エキジビションのために制作したデスクトップ・アプリケーションを使用しました。
ビデオ：アプリケーション RGB MusicLab &
サウンド・インスタレーション Subway Synesthesia / 06:36 / 2008
通常のコンピュータ画像の、ピクセルとバイナリの基本的な関係を表にしました。表の最上部：左から「赤（Red）」と「緑（Green）」と「青（Blue）」の、3つだけのピクセルの画像がここにあります。表の2段目：1つのピクセルは、4つのバイナリで構成されています。ピクセル内の始めにある「アルファ（Alpha）」は画像の透明度で、「赤（Red）」「緑（Green）」「青（Blue）」と数値が並んでいます。3つ並んだピクセル画像には 3 x 4 = 12のバイナリが含まれています。表の3段目：バイナリが並んでいる順に番号を振っています。表の4段目：2進数のバイナリを、0から255までの10進数で表記しています。表の5段目：上記の内容を2進数（バイナリ）で表記しています。1ピクセル内の4つのバイナリで他の色彩値がゼロの場合、最も大きな数字（10進数だったら255）が、赤（Red）、緑（Green）、青（Blue）の光学的な純色になります。アルファ（Alpha）の255は不透明です。
アプリケーション「RGB MusicLab」で作った、いくつかの試作で話を進めましょう。
これ以前にも小さな試作はいくつかしていましたが、2007年カンデンスキーの絵画から音楽を作成したのが、RGB Musicのファイルとしては初めです。カンデンスキーは抽象絵画と音楽との関係を考えていたというのが、第一の理由でした。このころのプロジェクトでは、直接デスクトップ・アプリでファイルを動かす方法を取っていたので、ビデオとしての記録は残してなく、2021年にこのファイルを探し出してビデオにしました。「RGB MusicLab」は開発の最後のバージョン41を使っています。コンピュータ環境が変わって来ているので、たぶん動いている記録として残せる最後のチャンスかもしれません。
ビデオ：RGB Music: Wassily Kandinsky Composition VII / 04:20 / 2007
RGB Musicファイルは2007年に作成。このビデオは2021年です。
レオナルド・ダ・ヴィンチのモナ・リザ画像の部分のRGB値から、ピアノ曲を作り出しています。演奏しているピアノの音と、画像のモザイクを移動しながら指し示すターゲット・アイコンと、バックグラウンドの色彩は同期します。中央にある3DワイアフレームはRGBカラー・キューブと言って、XYZ軸に0から255までの値が割り振られていて、現在演奏している音階が、カラー・キューブの空間ではどこかを点で示し、曲の進行に沿って点は線で繋がれて行きます。アプリケーション「RGB MusicLab」で作ったファイルでは、キューブの視点をマウスで変えられるのですが、これはビデオ・ファイルにしているのでその機能はありません。
ビデオ：Leonardo da Vinci’s Mona Lisa Smile Variations Harmonic Minor / 04:02 / 2007
受賞：Pixelstorm Award "RGB into Music" Honorary Mention, Basel, Switzerland, 2009
モナリザから作ったバリエーションの、８スタディのウェブ・サイトがあります。
クリックで「MonaLisa Smile Variations: Scale Studies」が開きます。
上から２つ目のモナリザは、該当するスケールに半音階色を移動させて「Harmonic Minor Scale」にしています。聴覚では明らかに音の質が判別できますが、通常の人間の視覚では違いがわかりません。その他の下のモナリザは該当しないスケールの色彩を「0」にして無音にしています。オリジナル作成時に、ブラウザーで使えたQuickTime7のmidi楽器が、何年か前から使えなくなっているので、このウェブでは、JavaScriptのmidi楽器を鳴らしています。音質がだいぶ落ちています。
次にシンプルな色彩のパターンから曲を取り出してみます。RGBそれぞれに違う楽器を割り当てました。ブラウンのダイアモンド形の連続模様の雰囲気と曲の感じから、「北アフリカの褐色のダイアモンド」というタイトルにしました。これは色のパターンですが、楽譜と同じ機能を表しています。
ビデオ：RGBMusic / Brown Diamond in North Africa / 3:11 / 2007
RGBカラー・キューブから派生した考えで、RGB値をXYZ値に置き換えて立体の表面の座標から、音楽を作り出すことができます。球体の中心をカラー・キューブの中心として、すべての音階が等距離を取っているからか、古典音楽のようなの独特なハーモニーを形成しています（私は音楽的な理論は追求していません）。弦楽三重奏の楽器バイオリン、ビオラ、チェロを、XYZに割り当てています。旋律の進むスピードに合わせて、RGBカラー・キューブの視点を変えて回転させています。バックグラウンドの色彩は演奏されている3音です。
ビデオ：XYZ Music: String Trio Sphere Random Points / 05:12 / 2008
楽譜: Violin (X, Red) PDF, Viola (Y,Green) PDF, Cello (Z, Blue) PDF
「XYZ Music: Spiral Cylinder」では、音のグラデーション、2次元平面の色彩と、RGBカラーキューブの中に描かれる、螺旋状の3次元円筒との関連が視覚化されます。
ビデオ：XYZ Music: Spiral Cylinder / 02:36 / 2008
2011年3月のインタネット上の福島原発事故関連の報道写真とそのヘッドラインを、この目的のために開発したアプリケーションに取り込み、写真データを音楽に変換して時間軸で展示するプロジェクト「Composition Fukushima 2011」です。作品の音楽はその報道写真がニュースサイトに載せられた日に作成しています。本編は約１時間の作品ですが、10分に編集したビデオを、ACMSIGGRAPH（アメリカコンピュータ学会CG分科会）2015年のオンライン・エキジビションのアーカイブでご覧ください。別ウインドウが開きます。この10分版の作品は、アートビデオ・ケルン（ドイツ）のトラウマフィルム・コレクションにアーカイブされています。
ACMSIGGRAPH（アメリカコンピュータ学会CG分科会）のサイトが開きます。
ビデオ：Composition FUKUSHIMA 2011 / Digest 10:00
・その他のRGB Music試作
マルセル・デュシャンの現代絵画「大ガラス」が、色彩的にどのようなRGB音楽を含んでいるのか興味ある方もいるかもしれません。2008年の作品で約20分です。
ビデオ：Marcel Duchamp's The Bride Stripped Bare by Her Bachelors, Even The Large Glass
/ 20.09 / 2008
下に引用した作例のビデオは、画像を暗号化したモザイクと、暗号を解く鍵として作成された音楽から、元の画像に復号している工程を見せています。暗号化したモザイクも暗号鍵の音楽も作者小島のウェブサイトにあって、復号化アプリMergeAudioVisual（macOSバージョン10.15以下で動きます）で、暗号鍵の音楽を聴きながら、元の画像に復号している経過を見ることができます。
ビデオは始めmidi音声ファイルから音符を取り出します。取り出された音符（記号と数値）は、2進数のバイナリに変換され、ビジュアル・データの2進数と同じ位置を１つづつ論理演算（排他的論理和）で、暗号化される前の数値に戻します。元の数値はオリジナル写真のピクセル値です。
ビデオ：Audio and Visual files merged into an image. Bee 1380418994 / 11:28 / 2013
暗号化：開発したアプリケーション「SplitAudioVisual」のアルゴリズムは、ワンタイムパッドと呼ばれる暗号作成方法で、写真データのビットごとのXOR演算（排他的論理和）を行い、同じ長さのデータを2つ作成します。アルゴリズムはさらに写真から作られた２つの暗号ファイルの１つの暗号データは視覚（カラー・モザイク）に、もう１つ暗号鍵データは聴覚（音楽）に変換します（この場合どちらが暗号で、どちらが暗号鍵という考えではなのですが、便宜上そう呼びます）。
復号化：プロジェクトは、元の写真に戻すための視覚の経過を見せながら、音楽を演奏するプレイヤーを用意しています（上のビデオを参照）。暗号の作成はアーチスト自身の領域（制作）で、プレイヤーで見せる状態（復号化）がアートワークと言えます。プレイヤーは小島のサーバーに置かれた暗号と、暗号鍵のファイルを専用のプレイヤーでダウンロードして、音楽を聴きながら元のイメージに戻る経過を見ることができます。つまりインターネットを通して地球上のどこででも、オリジナル・アートワークを見ることができます。
ダウンロード無料：macOS版 復号化アプリ MergeAudioVisual_Mac06.zip (20140723)
macOS Big Sur では動きません。V.10.15以下のOSで動きます。
ビデオ：German Unity Day / 02:00 / 2016 "Brave New World 2016 – Beyond the wall".
上の作例は、二つの異なるファイルがひとつのドイツ国旗に融合する様を「Split / Merge AudioVisual」の復号化で見せています。 この作品は、2016年ベルリンで行われた「German Unity Day」のエキジビション「Beyond The Wall」で公開されました。
ビデオ： Bee and Bird / 08:17 / 2014
暗号と暗号鍵ファイルは必ずしも、モザイク・ファイルと音声ファイルである必要はありません。上のビデオは２つの音声（midi）ファイルを使って元の蜂の画像にしています。
上に取り上げた暗号アート「Split/Merge AudioVisual 」は、暗号作成に「ワンタイムパッド」を使いますが、もう一つ別な暗号アルゴリズム「ブロゥフィッシュ」を使ったプロジェクト「CipherTune」も制作しています。「CipherTune」は、アルフレッド・ヒッチコックの映画 「バルカン超特急 The Lady Vanishes」からヒントを得て開発しました。第二次大戦直前老婦人がメロディに仕込んだ暗号を、アルプス山中からロンドンの諜報部に届けると言うストーリーです。暗号化、復号化、音楽変換でバイナリ操作を行いますが、ここでは2013年に作ったビデオの紹介だけにとどめます。「CipherTune」は、2013年スペイン領カナリー諸島テネリフェで開かれた、サイエンス・デジタルのフェスティバル「ESPACIO ENTER 2013」に選出されました。
ビデオ： CipherTune Concert / 06:10 / 2013
・その他の Cipher Art 試作
プロジェクト開発の初期は、ビデオカムの映像をライブで微妙な光の変化を音楽に変換する、インスタレーションを考えていました。
左 ビデオ：微かな光の揺らぎ 習作#12 メディア・パフォーマンス 05:40 / 2014
右：ビデオカムを楽器にするアプリ Luce Dp.10
下のアートワーク作成アプリは2018年のもので、上の「微かな光の揺らぎ 習作、2014年」から大きく改良されています。データを採取した画面の箇所は、線でつながれて２次元ドローイングを描き、最終的にそれぞれの取得時間をZ軸とするポイントを加え、３次元ワイアフレームにして回転させます。このドローイングの意味については、自分でもまだわからないのですが、時間を伴った4次元空間に何かしら描きたい欲求があったのか、ビデオの時間空間にそれを試しています。
ビデオ： Luce 17 Autumn Leaves Test / 01:00 / 2018
このビデオのアートワーク作成アプリ「Luce」は、パラメータのテストと、ナビゲーションのためのウインドウを兼ねています。最終作品は、このウインドウ（ナビゲーション）から、セカンド・ディスプレイで動かされ、フルスクリーンをビデオ・キャプチャーします。
最終的な作品形態をビデオにしていますが、所謂ビデオアート的な、ストーリー展開を時間経過で見せたり、視覚的なイリュージョンを見せているものでもありません。作品をビデオにしている最大の理由は、作ったプログラムが何年か経つと、動かなくなってしまうので、ある時からプログラムが動いている内に、記録として残しておこうというのが動機でした。またその頃から、ビデオ自体のクオリティが改良されたというのもあります。ですから作品はビデオですが、プログラム（アルゴリズム）が進行している経過を、キャプチャーしたものと考えてください。
2011年に前段階の試作から始めた、ビデオから音楽を取り出すこのシリーズも、多くのトライアルを重ね、少しづつ形を変えて現在の形態になっています。 経過は1〜5でご覧になれます。大量の試作なので、ここではリストの所在だけを載せておきます。
全ての経過を説明すると長くなるので、2016年制作した18作品「The Sound of Archway」シリーズから、3作品を3分間ダイジェストにしたビデオ。2018年制作の9作品「Four Seasons / Ecosystem goes around on Spaceship Earth」シリーズから、3作紹介します。2016年シリーズは、データを採取した瞬間の画像フレームを残していますが、タイムライン上に3Dワイア・フレームを作り出していません。
「The Sound of Archway」シリーズは、2016-2018年ギリシャ、ルーマニア、スペインのメディア・フェスティバルに参加しました。「Techno Synesthesia: Playmates Arch」は、ルーマニア・ティミショア SUMULTAN MEDIAの公共アーカイブとなっています。
ビデオ：Techno Synesthesia: The Sound of 3 Archways Digest / 03:00 / 2016
「Four Seasons」は、他のプロジェクトで始めていた、エコロジーのビジュアルをテーマとしています。このシリーズは、2018年〜2020年アメリカ、フランス、スペイン、インドネシア、中国、イランのメディア・フェスティバルに各１作品づつ、トルコのイスタンブール現代美術館のウェブ・ビエンナーレでは、シリーズ全9作品が参加しています。さらにサンパウロ（ブラジル）で2020年6〜8月開催予定だった、FILE2020に3作参加予定でしたが、Covid-19のためフェスティバルは無期延期となっています（2020年12月現在）。
ビデオ：「枯れたチューリップ 神秘音階 / テクノ共感覚：四季 から」02:30 / 2018
オンラインカタログ：The Rencontres Traverse Vidéo XIII p58-59 （フランス語）
ビデオ：「宇宙船地球号で春の散歩 / テクノ共感覚：四季 から」02:30 / 2018
11th Annual International Sustainability Short Film Competition - ノースカロライナ大学
ビデオ：「初雪 2018年11月１5日 神秘音階 / テクノ共感覚：四季 から」03:20 / 2018
ウェブ・ビエンナーレ APEIRON 2020 イスタンブール現代美術館、トルコ
オンライン・エキジビション「テクノ共感覚：四季」ウェブ・サイト：9作品
「Online Exhibition 2019 / Four Seasons / Ecosystem goes around on Spaceship Earth」
最後に、2020年コロナ禍をテーマに、アートビデオ・ケルンの呼びかけに応じて制作した作品。 Corona! Shut down? / Corona Film Collection 2020 / Number 46. Kenji Kojima
ビデオ：Techno Synesthesia: Corona! Shutdown? Open Mailbox / 03:15 / 2020
「テクノ・シナステージア（テクノ共感覚）」のテクノは、コンピュータ・テクノロジーです。テクノロジーの中身は２つあって、ひとつは作曲法の「アルゴリズミック・コンポジション」と、もうひとつはコンピュータで取得した多量のデータから、目的のデータを検出して整理する「センサー装置とデータの変換」です。どちらもバイナリ（0と1で情報を記憶・処理する）を操作する技術です。これは人間に置き換えると、感覚器官の入り口の機能と、情報の処理器官です（神経細胞とも言えます）。さらに厳密に言えば、視覚データと聴覚データを再生させる、コンピュータの装置も含まれるでしょう。
「アルゴリズミック・コンポジション（Algorithmic Composition）」は目的に沿って選り分けたデータを、「常に同じ手続き処理の連続（アルゴリズム）」で作曲する方法です。「アルゴリズミック・コンポジション」は古くからある作曲法で、コンピュータの作曲だけを指すものではありません。
「シナステージア（Synesthesia）」は日本語で「共感覚」と訳される、ある感覚を別な他の感覚で感じ取れる知覚現象を言います。世界には「ある色を見ると、ある特定の音が聞こえる」等の知覚を持っている人達がいるそうです。漠然と思考の上では理解できるのですが、残念ながら私のような普通の人間にはない感覚なので、個人の直感ではなく現代のコンピュータ・テクノロジーを使って、アートの思索の拡張として表現してみようと言うが、「テクノ・シナステージア（Techno Synesthesia）」です。「シナステージア（Synesthesia）」は、科学的に証明されている事象ではないので、科学（Science）とアートの結合と言うより、コンピュータ・テクノロジーを使った「ホモルーデンスの遊び」位に考えた方が良いでしょう。
「サイボーグ」は、科学技術を用いて人間の身体や認知能力を拡張させ、人間があたかも生物学的に進化したように発展させようという発想の技術です。具体的には20世紀後半からの急激な科学技術の発展で、人間の身体能力を拡張するサイボーグはサイエンス・フィクションではなく現実となっています。これは何10億年もかけて海洋生物から陸に上がり、生存のため身体的変化を緩やかに続けてきた人類が、21世紀に急速に推し進める新しい進化とも考えられます。
しかし「テクノ・シナステージア（テクノ共感覚）」は、サイボーグのような肉体の延長や、テレコミュニケーションのような視覚や聴覚の拡張を目指すものではありません。それは現在の人間の感覚や能力の延長・拡張ではない、感覚器官のクロスオーバーをテクノロジーを用いたアートで模索しています。人間は普通五感と言われる感覚を持っています。私たちは進化の過程で、ゆっくりとゆっくりと何代もの世代を重ねて、生存のための環境を把握する機能として五感を発達させて来ました。人間は目を使って外界の形や色を把握しています。目をもたない深海にいる生物は、どう外界を把握しているのでしょう。あるいは皮膚がその役割を兼ねているかもしれません。コウモリは音波で、立体空間を把握すると言われています。私たちは五感によって振り分けられた情報を信頼しているので、他の感覚器官の能力を無視しているかもしれません。あるいは身体能力の拡張のように、科学技術が感覚を補う役割をするかもしれません。
20世紀初めロシアの作曲家「スクリャービン」が書いた、「プロメテウス」という交響曲の楽譜には、オーケストラで使われる楽器の他に「Luce（イタリア語で光）」というパートが最上段に書かれていて、彼の作ったシステムで音符による一定の法則に基づいた、光の色が指示されています（交響曲『プロメテウス』の楽譜部分）。スクリャービンの生きていた時代の実際の演奏ではLuceのパートの演奏は困難でした。しかし近年のテクノロジーの発達で「Luce」を含めた交響曲全楽譜の演奏ができるようになりました（交響曲『プロメテウス』ビデオ ドキュメント＆演奏エールシンフォニー 2010年）。
初めて抽象絵画を創作したと言われる「カンディンスキー」は、スクリャービンの作品に感銘を受け共感覚に興味を持って、作品に取り入れる試みをしたそうです。芸術季刊誌の青騎士にカンディンスキーは、絵画制作で黄色はトランペットの中央のCの音、黒は終止符等の、ある特定の音と特定の色彩との結びつきを持った表現を採った、とあるそうです。つまり直感で毎回色を選ぶのではなく、ある一定の法則に基づいた制作がなされていることです。
前世代の人力による効率の悪いデータ処理から、現在のコンピュータによるデータ処理の時代に入って、多くのアーチスティックな感覚の融合の試みが、なされることを期待しています。中世絵画で地上から浮いて描かれていた人物が、初期ルネサンスで地上に立つことができたような、時代の変化点に現在はあります。
ページトップに移動
2021年1月小島健治（2月25日修正、4月2日追記） http://kenjikojima.com/ Email: index@kenjikojima.com
ビデオ：Techno Synesthesia: Four Seasons / Withering Tulips Twelve Tone Scale / 02:18 / 2018
クリックで開きます
小島健治 略歴を隠す
小島健治 略歴
1947年日本生まれ。コンピューターを使用した、知覚・認識・時間の関連を探求するアートをニューヨーク市で続けています。日本に大きな違和感を感じ、1980年からニューヨークに住み始めました。それからほぼ10年間は、ビザンチンから初期ルネッサンスの技法エッグ・テンペラで現代絵画を描き、シティバンク、ヘス石油等のコレクションになっています。その頃コンピュータは急速な発展を遂げ、90年代始めからデジタルにアートの可能性をより感じてスイッチしました。20世紀の主なデジタル作品は、ニューヨーク市ニューミュージアム（Rhizome）にアーカイブされています。2007年コンピュータ・アプリケーション「RGB MusicLab」を開発。RGBミュージックは、画像のカラーデータをアルゴリズムで音楽に変換するプロジェクトです。これは直感から作られたビジュアル・ミュージックではなく、コンピュータ・テクノロジーを使ったデータ収集で、一定の法則に基づいた制作を行う、視覚と聴覚の境界を越える共感覚を探求するアートです。2014年にプロジェクト・タイトルを「Techno Synesthesia（テクノ共感覚）」と改め、ビデオの時間軸からの音楽変換を始めました。RGBミュージック＆テクノ共感覚シリーズは、ニューヨーク市の個展、世界各地のメディア・フェスティバル（ヨーロッパ・ブラジル・中東・アジア）、オンライン・エキジビション （ACMシーグラフ2015：米国コンピュータ学会CG部会、FILE：電子言語国際フェスティバル）等で展示されました。福島原発事故の報道写真を音楽に変換して時間軸に並べビデオに編集した「コンポジション福島2011」は、アートビデオ・ケルンのトラウマフィルム・コレクションに保存されています。プロジェクトを開発したプログラミング言語「LiveCode初心者開発入門 (日本語)」。 http://kenjikojima.com/
小島健治 略歴を隠す
バイナリをアートマテリアルとする
小島健治 Kenji Kojima
小島健治 略歴を表示
バイナリ (binary) は、コンピュータが電気信号として直接処理できる、
上の図の数字のような「0」と「1」だけの２進数表記のことです。
目次：English
・概要
・RGB Music RGBミュージック
・CipherArt 暗号アート
・Techno Synesthesia テクノ共感覚
・Work Concept 作品コンセプト
概要：
バイナリをアートマテリアルとした、３つのプロジェクトについて書いています。
- RGB Music（2007年 - ）：静止画像のピクセルの色彩を構成するRGB値を、バイナリ・レベルから音楽ファイルに変換して自動作曲します。
- CipherArt（2013年 - 2016年）： RGB Musicを音楽作成の基礎技術として、バイナリの論理演算で、写真から暗号画像と音楽鍵を作成。復号の経過を視覚化します。
- Techno Synesthesia（2014年 - ）：ビデオの時間軸から「RGB Music」を作成。データの平面採取位置（X,Y）に、採取時間（Z）を追加して3Dワイアフレームを作ります。
プロジェクトは、コンピュータ・サイエンスの考えと方法を取り入れたアートです。サイエンスを目的とはしていません。バイナリの操作は、論理的な積み重ねが必要です。論理的でエレガントな構築は、内面にある美しさを持っています。しかしこの積み重ねた美しさは、何かを証明したり、科学的な成果を求めるものではありません。無目的な美しさの中にある無意味さという破れ目が、アートである所以かもしれません。プロジェクトはプログラミング言語「LiveCode」 を使っています。
私はコンピュータ・アートを始める前から、絵画の最も基本となって構築している材料に、常に興味を持って来ました。「バイナリ」というデータの最小単位を、アートマテリアルとする考えに達したのは、中世画家が色の粉を、自らメデュームと調合して絵の具を作った技法に影響されています。さらに追求してゆくと、絵画の最も基礎の構築物が、岩や土の粉にたどり着きます。それは有史以前の洞窟絵画のアーチストが、色の土を石灰質の洞窟に擦り付けた衝動と、共通のものを感じるからです。
現代では顔料と溶剤が調合されチューブに詰められた「絵の具」が、原材料も作成行程も意識しないまま、簡単に絵画材料店で手に入れることができます。市販の絵の具は通常、絵画の最終形態を決定します。油絵、水彩画、ハウスペイント、スプレーペイント等々、用途別に分類され目的にさえ合致すれば、それはそれで手軽で便利です。
同じように、ほとんどの現在のデジタル・アートも、ビジュアル的には、絵画、写真、映画等、過去の視覚芸術の表面的な形式を踏襲する、用意されたアプリケーションのショートカットや、フォーマットに沿ったプログラミング、場合によっては多少のインタラクティブを加えて、アートワークを完成させます。新しいと思われるインタラクティブも、鑑賞者が困惑しない（または鑑賞者を困惑させる）情報に限られます。しかし将来的には全くこれまでになかった、形式も感覚もクロスオーバーする、または現在の私たちには考えつかない、全く新しいアート・フォルムを作り出す可能性があります。
バイナリを発想とするこのプロジェクトは、すべてのコンピュータ・データがバイナリから構成されているので、同じデータを他の形態に「変換」できるというのが重要な概念です。ある目的のために集められたデータも、バイナリにして他の形式のファイルに変換して出力すれば、見かけ上はその出力形式のファイルとなります。それは視覚や聴覚の表面上の変形で、イリュージョン等を追求するアートとの決定的な違いです。
始めに取り上げる「RGB Music」は、画像の最小単位ピクセルをmidi音楽の形式に変換して出力します。１つのカラー・ピクセルは４つのバイナリで構成されています。ピクセルを音楽の形式に整えるには、バイナリに一旦還元してmidiファイルに変換します。出来上がった音楽は、一般的な音楽の美意識はともかく、形式上12音階の音楽が作られます。同じように他の目的や感覚のために作られたファイルを、バイナリに還元して全く違う形式のファイルとすることが可能です。そのファイルが有用であるか無用であるかは、違った次元の価値の事柄です。後の2つのプロジェクトは、音楽変換は「RGB Music」のテクノロジーを使用して、他のアプローチをしています。
私の興味が視覚と聴覚の共通項を探ることから、画像の音楽への変換に取り組んでいますが、別の感覚のデータを変換することも可能でしょう。もちろん画像と音楽であっても、私の方法とは違ったアルゴリズムも無数に見つけられるでしょう。しかしバイナリからアートを組み立てるという事は、「アートの思想を実現する開発環境を、アーチスト自身が作り上げる」という意味でもあります。デジタル・アートはまだ始まったばかりで、今は過去の方法に捕らわれない、基礎的な可能性を試しています。 私たちはこれからどこに向かっているのか、全く予測がつきません。
もうひとつ私がデジタルにこだわるのは、他のアートマテリアルで制作するより、多少は地球にクリーンで少しは気持ちを軽く、より未来に向かって思考できるアートの方法と考えているからです（将来的に全クリーン・エネルギーが前提です）。作ったアートワークが100年後に、地球を汚染しているゴミとなるのは、アーチストには耐えられないことです。その可能性を誰が否定できるでしょう。21世紀のアーチストは、この惑星の未来に責任を持つ倫理が必要です。物質を使ったアートという思考表現をやめる事、これは過去のアートワークを否定することではありません。デジタルによるクリエイティブなコモンズとしてのアートは、欲望の質を変えてゆきます。
追記 1：
この文章を書いて少したった2021年3月、デジタル・アートがオークションで約7000万ドルの値で落札されました。NFT（非代替性トークン）という、ブロック・チェーンで唯一無二を証明できる方式を組み入れたデジタル・アートです。これについて少し私の意見を書いておきます。まず始めに「アートの意味は唯一無二」ということなのだろうかという疑問。コレクションという立場で考えれば意味のあることなのでしょう。ここではコレクションについての歴史を書き出す余裕がないので、手短に結論を書いてしまうと「アートの意味は唯一無二ではない」と考えています。NFTデジタル・アートは、金貨や紙幣の歴史を経て帳簿に記述するだけになっている、貨幣という価値の新しい代替物であるというのが私の結論で、デジタル・アートの意味とは関係のないマネーゲームの社会の動きと捉えています。さらに膨大な電力消費は環境を破壊します。また近い将来、量子コンピュータでブロック・チェーンは解読されるでしょう。
追記 2：
2021年5月「メディアの終わりの人類史：『哲学と人類』を読む」（哲学者：岡本裕一朗 著『哲学と人類』を、音声で解説する全11回のポッドキャストシリーズ。聞き手：若林恵）という、非常に興味あるポッドキャストを見つけました。私が書いている『すべてのコンピュータ・データがバイナリから構成されているので、同じデータを他の形態に「変換」できるというのが重要な概念です。』と密接な関係があります。特に「第10講｜デジタルメディアとメディアの終焉」では、音や映像といった異なるメディア全てを「0,1」というデジタル情報にして、再現できる時代に入っているという内容。
追記 3：
2022年8月 日本語『NFTアートに違和感を感じています / ビデオ・アート「One Dollar」』を note.comに書きました。書き出し部分「NFTアートが登場してから、どうもモヤモヤと違和感を感じ続けてきました。デジタル・アートをやってきて、最近は画像データを音楽に変換するプログラミングに、ビデオをミックスした作品を作っています。そろそろこのNFTアートの違和感にもピリオドを打ちたいと考えて、プロジェクト「One Dollar」を完成させました。 」
画像のピクセル・データを音楽に変換「RGB Music」
「RGB Music」は、2007年に私自身が開発したコンピュータ・アプリケーション「RGB MusicLab」から作られます。アプリケーション「RGB MusicLab」は、ピクセルの３つの色彩値（Red, Green, Blue）0から255を、静止画像の左上から横に右下まで読み込んで、12音階の音符に自動変換します（12音階は基本形で、調整のフィルターを通してスケールを変えられます）。ピクセルの色彩値120を中央のド（C）として、上下の数値に機械的に振り分けます。0,0,0 は無音、音の長さは数値によって決まります。大きな数値を長音とするか、逆にするかの選択は操作する人に任されます。写真の画像は無数と言って良いくらいのピクセルが使われますから、始めに画像をモザイクにして一つ一つのグリッドを、その平均の色彩と考えます。細かなモザイクは長い時間の音楽に、荒いモザイクは短い時間の音楽に変換されます。変換された音符はmidi楽器で演奏されます。以上がプログラムの概略です。
アプリケーション「RGB MusicLab」はここからダウンロードできます。
macOS 11 Big Sur では動きません。Mac版は古いOSを使ってください。
アプリケーション「RGB MusicLab」の基本的な動作説明と、実際のメディア・アート・インスタレーション「Subway Synesthesia」のファイル作成をビデオにしています。「Subway Synesthesia」は、2008年ニューヨーク市のノンプロフィット・アート・ギャラリー「AC Institute」で展示された際、ギャラリー・ディレクターが付けたエキジビション・タイトルです。エキジビションはビデオ・ファイルの投影ではなく、エキジビションのために制作したデスクトップ・アプリケーションを使用しました。
ビデオ：アプリケーション RGB MusicLab &
サウンド・インスタレーション Subway Synesthesia / 06:36 / 2008
通常のコンピュータ画像の、ピクセルとバイナリの基本的な関係を表にしました。表の最上部：左から「赤（Red）」と「緑（Green）」と「青（Blue）」の、3つだけのピクセルの画像がここにあります。表の2段目：1つのピクセルは、4つのバイナリで構成されています。ピクセル内の始めにある「アルファ（Alpha）」は画像の透明度で、「赤（Red）」「緑（Green）」「青（Blue）」と数値が並んでいます。3つ並んだピクセル画像には 3 x 4 = 12のバイナリが含まれています。表の3段目：バイナリが並んでいる順に番号を振っています。表の4段目：2進数のバイナリを、0から255までの10進数で表記しています。表の5段目：上記の内容を2進数（バイナリ）で表記しています。1ピクセル内の4つのバイナリで他の色彩値がゼロの場合、最も大きな数字（10進数だったら255）が、赤（Red）、緑（Green）、青（Blue）の光学的な純色になります。アルファ（Alpha）の255は不透明です。
| Red Pixel | Green Pixel | Blue Pixel | ||||||||||
| Alpha | Red | Green | Blue | Alpha | Red | Green | Blue | Alpha | Red | Green | Blue | |
| Number | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| Decimal | 255 | 255 | 0 | 0 | 255 | 0 | 255 | 0 | 255 | 0 | 0 | 255 |
| Binary | 11111111 | 11111111 | 00000000 | 00000000 | 11111111 | 00000000 | 11111111 | 00000000 | 11111111 | 00000000 | 00000000 | 11111111 |
アプリケーション「RGB MusicLab」で作った、いくつかの試作で話を進めましょう。
これ以前にも小さな試作はいくつかしていましたが、2007年カンデンスキーの絵画から音楽を作成したのが、RGB Musicのファイルとしては初めです。カンデンスキーは抽象絵画と音楽との関係を考えていたというのが、第一の理由でした。このころのプロジェクトでは、直接デスクトップ・アプリでファイルを動かす方法を取っていたので、ビデオとしての記録は残してなく、2021年にこのファイルを探し出してビデオにしました。「RGB MusicLab」は開発の最後のバージョン41を使っています。コンピュータ環境が変わって来ているので、たぶん動いている記録として残せる最後のチャンスかもしれません。
ビデオ：RGB Music: Wassily Kandinsky Composition VII / 04:20 / 2007
RGB Musicファイルは2007年に作成。このビデオは2021年です。
レオナルド・ダ・ヴィンチのモナ・リザ画像の部分のRGB値から、ピアノ曲を作り出しています。演奏しているピアノの音と、画像のモザイクを移動しながら指し示すターゲット・アイコンと、バックグラウンドの色彩は同期します。中央にある3DワイアフレームはRGBカラー・キューブと言って、XYZ軸に0から255までの値が割り振られていて、現在演奏している音階が、カラー・キューブの空間ではどこかを点で示し、曲の進行に沿って点は線で繋がれて行きます。アプリケーション「RGB MusicLab」で作ったファイルでは、キューブの視点をマウスで変えられるのですが、これはビデオ・ファイルにしているのでその機能はありません。
ビデオ：Leonardo da Vinci’s Mona Lisa Smile Variations Harmonic Minor / 04:02 / 2007
受賞：Pixelstorm Award "RGB into Music" Honorary Mention, Basel, Switzerland, 2009
モナリザから作ったバリエーションの、８スタディのウェブ・サイトがあります。
クリックで「MonaLisa Smile Variations: Scale Studies」が開きます。
上から２つ目のモナリザは、該当するスケールに半音階色を移動させて「Harmonic Minor Scale」にしています。聴覚では明らかに音の質が判別できますが、通常の人間の視覚では違いがわかりません。その他の下のモナリザは該当しないスケールの色彩を「0」にして無音にしています。オリジナル作成時に、ブラウザーで使えたQuickTime7のmidi楽器が、何年か前から使えなくなっているので、このウェブでは、JavaScriptのmidi楽器を鳴らしています。音質がだいぶ落ちています。
次にシンプルな色彩のパターンから曲を取り出してみます。RGBそれぞれに違う楽器を割り当てました。ブラウンのダイアモンド形の連続模様の雰囲気と曲の感じから、「北アフリカの褐色のダイアモンド」というタイトルにしました。これは色のパターンですが、楽譜と同じ機能を表しています。
ビデオ：RGBMusic / Brown Diamond in North Africa / 3:11 / 2007
RGBカラー・キューブから派生した考えで、RGB値をXYZ値に置き換えて立体の表面の座標から、音楽を作り出すことができます。球体の中心をカラー・キューブの中心として、すべての音階が等距離を取っているからか、古典音楽のようなの独特なハーモニーを形成しています（私は音楽的な理論は追求していません）。弦楽三重奏の楽器バイオリン、ビオラ、チェロを、XYZに割り当てています。旋律の進むスピードに合わせて、RGBカラー・キューブの視点を変えて回転させています。バックグラウンドの色彩は演奏されている3音です。
ビデオ：XYZ Music: String Trio Sphere Random Points / 05:12 / 2008
楽譜: Violin (X, Red) PDF, Viola (Y,Green) PDF, Cello (Z, Blue) PDF
「XYZ Music: Spiral Cylinder」では、音のグラデーション、2次元平面の色彩と、RGBカラーキューブの中に描かれる、螺旋状の3次元円筒との関連が視覚化されます。
ビデオ：XYZ Music: Spiral Cylinder / 02:36 / 2008
2011年3月のインタネット上の福島原発事故関連の報道写真とそのヘッドラインを、この目的のために開発したアプリケーションに取り込み、写真データを音楽に変換して時間軸で展示するプロジェクト「Composition Fukushima 2011」です。作品の音楽はその報道写真がニュースサイトに載せられた日に作成しています。本編は約１時間の作品ですが、10分に編集したビデオを、ACMSIGGRAPH（アメリカコンピュータ学会CG分科会）2015年のオンライン・エキジビションのアーカイブでご覧ください。別ウインドウが開きます。この10分版の作品は、アートビデオ・ケルン（ドイツ）のトラウマフィルム・コレクションにアーカイブされています。
ACMSIGGRAPH（アメリカコンピュータ学会CG分科会）のサイトが開きます。
ビデオ：Composition FUKUSHIMA 2011 / Digest 10:00
・その他のRGB Music試作
マルセル・デュシャンの現代絵画「大ガラス」が、色彩的にどのようなRGB音楽を含んでいるのか興味ある方もいるかもしれません。2008年の作品で約20分です。
ビデオ：Marcel Duchamp's The Bride Stripped Bare by Her Bachelors, Even The Large Glass
/ 20.09 / 2008
画像を暗号モザイクに 音楽鍵で元の画像に「CipherArt」
2進数の1桁ごとに真偽を演算するこの方法が、バイナリを「0,1」とイメージしている人には、最もアートマテリアルのように見えるかもしれません。 人間の感覚は外界に取り巻く情報を、感覚器官の機能によって分割して現実世界として把握しています。典型的な２つの情報として視覚と聴覚があり、 その他一般的に皮膚感覚、嗅覚、味覚等に分類されます。私は外界を感知する方法と暗号を解読する方法に、何か共通なものがあると考えています。下に引用した作例のビデオは、画像を暗号化したモザイクと、暗号を解く鍵として作成された音楽から、元の画像に復号している工程を見せています。暗号化したモザイクも暗号鍵の音楽も作者小島のウェブサイトにあって、復号化アプリMergeAudioVisual（macOSバージョン10.15以下で動きます）で、暗号鍵の音楽を聴きながら、元の画像に復号している経過を見ることができます。
ビデオは始めmidi音声ファイルから音符を取り出します。取り出された音符（記号と数値）は、2進数のバイナリに変換され、ビジュアル・データの2進数と同じ位置を１つづつ論理演算（排他的論理和）で、暗号化される前の数値に戻します。元の数値はオリジナル写真のピクセル値です。
ビデオ：Audio and Visual files merged into an image. Bee 1380418994 / 11:28 / 2013
暗号化：開発したアプリケーション「SplitAudioVisual」のアルゴリズムは、ワンタイムパッドと呼ばれる暗号作成方法で、写真データのビットごとのXOR演算（排他的論理和）を行い、同じ長さのデータを2つ作成します。アルゴリズムはさらに写真から作られた２つの暗号ファイルの１つの暗号データは視覚（カラー・モザイク）に、もう１つ暗号鍵データは聴覚（音楽）に変換します（この場合どちらが暗号で、どちらが暗号鍵という考えではなのですが、便宜上そう呼びます）。
復号化：プロジェクトは、元の写真に戻すための視覚の経過を見せながら、音楽を演奏するプレイヤーを用意しています（上のビデオを参照）。暗号の作成はアーチスト自身の領域（制作）で、プレイヤーで見せる状態（復号化）がアートワークと言えます。プレイヤーは小島のサーバーに置かれた暗号と、暗号鍵のファイルを専用のプレイヤーでダウンロードして、音楽を聴きながら元のイメージに戻る経過を見ることができます。つまりインターネットを通して地球上のどこででも、オリジナル・アートワークを見ることができます。
ダウンロード無料：macOS版 復号化アプリ MergeAudioVisual_Mac06.zip (20140723)
macOS Big Sur では動きません。V.10.15以下のOSで動きます。
もう少し詳しく： |
||
|
Split:
開発した分割ソフトウェアは、ビット単位のXOR演算（論理排他的論理和）によって、デジタル画像をオーディオファイルとビジュアルファイルに分割します。 ビット単位の演算は、同じ長さの2つのビットパターンを取り、対応するビットの各ペアに対して排他的論理和を実行します。 ソフトウェアは、元の画像と同じピクセル数の乱数を作成します。乱数のバイナリは、ビット単位のXORによって画像のバイナリに対して実行されます。 ビット単位のXORは、0と0を0に、0と1を1に、1と1を0にします。ただし、小数点の位置は変わりません。 1ピクセル要素のバイナリが10010011で、乱数が00100001の場合、結果は10110010になります。8ビットバイナリの例を参照してください。 10010011 (original image) 00100001 (random number) 10110010 (the result) |
|
 |
Audio and Visual: このソフトウェアは、乱数データをRGB Musicテクノロジーによって12音階の音楽に変換します。 RGB値120は中央のCに変換されます。数値2の値はそれぞれ半音を増減します。 1つのピクセルから3音のハーモニーを作ります。 0,0,0は無音です。 音符の長さは色の値によって決まります。左のサンプルMIDIファイルは、乱数の数値から作成されます。 ビット単位のXORによって処理された新しい画像になりますが、人間の知覚では、その画像が何であるかを認識できません。音声ファイルと画像ファイルの2つのデジタルファイルで、元の画像に戻すことができます。音声ファイルは鍵、画像ファイルは暗号と考えることができます。 
|
|
|
Merge: 融合ソフトウェアは、オーディオキー（音楽ファイル）を音符に変換してから、バイナリを作成します。 このバイナリはビット単位のXOR演算（論理排他的論理和）で、暗号イメージのバイナリに対して実行されます。 下の例を参照してください。 10110010（暗号イメージのバイナリ） 00100001（オーディオキーのバイナリ）
10010011 (オリジナル画像のバイナリに)
|
|
論理演算ノート（LiveCodeプログラミングの論理演算概略） クリックで別なページが開かれます |
||
ビデオ：German Unity Day / 02:00 / 2016 "Brave New World 2016 – Beyond the wall".
上の作例は、二つの異なるファイルがひとつのドイツ国旗に融合する様を「Split / Merge AudioVisual」の復号化で見せています。 この作品は、2016年ベルリンで行われた「German Unity Day」のエキジビション「Beyond The Wall」で公開されました。
ビデオ： Bee and Bird / 08:17 / 2014
暗号と暗号鍵ファイルは必ずしも、モザイク・ファイルと音声ファイルである必要はありません。上のビデオは２つの音声（midi）ファイルを使って元の蜂の画像にしています。
上に取り上げた暗号アート「Split/Merge AudioVisual 」は、暗号作成に「ワンタイムパッド」を使いますが、もう一つ別な暗号アルゴリズム「ブロゥフィッシュ」を使ったプロジェクト「CipherTune」も制作しています。「CipherTune」は、アルフレッド・ヒッチコックの映画 「バルカン超特急 The Lady Vanishes」からヒントを得て開発しました。第二次大戦直前老婦人がメロディに仕込んだ暗号を、アルプス山中からロンドンの諜報部に届けると言うストーリーです。暗号化、復号化、音楽変換でバイナリ操作を行いますが、ここでは2013年に作ったビデオの紹介だけにとどめます。「CipherTune」は、2013年スペイン領カナリー諸島テネリフェで開かれた、サイエンス・デジタルのフェスティバル「ESPACIO ENTER 2013」に選出されました。
ビデオ： CipherTune Concert / 06:10 / 2013
・その他の Cipher Art 試作
ビデオ画像から音楽を取り出す「Techno Synesthesia」
ビデオは静止したフレーム画像の連続で動きを表現しますから、短い映像時間でも膨大な量のデータを用いています。RGB Musicのように１フレームのピクセルを左から右下まで読み込んでは、１つの短いビデオでも何百時間どころか何ヶ月という、音楽の長さになってしまうでしょう。プロジェクトはそのための、時間軸から適切な量のデータを取り出すために、フレームを48（後に84）のグリッドに分割して、一定の間隔で明暗の差が大きな上位最大5カ所の色彩データを取得して、音楽を作り出します。プロジェクト開発の初期は、ビデオカムの映像をライブで微妙な光の変化を音楽に変換する、インスタレーションを考えていました。
左 ビデオ：微かな光の揺らぎ 習作#12 メディア・パフォーマンス 05:40 / 2014
右：ビデオカムを楽器にするアプリ Luce Dp.10
下のアートワーク作成アプリは2018年のもので、上の「微かな光の揺らぎ 習作、2014年」から大きく改良されています。データを採取した画面の箇所は、線でつながれて２次元ドローイングを描き、最終的にそれぞれの取得時間をZ軸とするポイントを加え、３次元ワイアフレームにして回転させます。このドローイングの意味については、自分でもまだわからないのですが、時間を伴った4次元空間に何かしら描きたい欲求があったのか、ビデオの時間空間にそれを試しています。
ビデオ： Luce 17 Autumn Leaves Test / 01:00 / 2018
このビデオのアートワーク作成アプリ「Luce」は、パラメータのテストと、ナビゲーションのためのウインドウを兼ねています。最終作品は、このウインドウ（ナビゲーション）から、セカンド・ディスプレイで動かされ、フルスクリーンをビデオ・キャプチャーします。
最終的な作品形態をビデオにしていますが、所謂ビデオアート的な、ストーリー展開を時間経過で見せたり、視覚的なイリュージョンを見せているものでもありません。作品をビデオにしている最大の理由は、作ったプログラムが何年か経つと、動かなくなってしまうので、ある時からプログラムが動いている内に、記録として残しておこうというのが動機でした。またその頃から、ビデオ自体のクオリティが改良されたというのもあります。ですから作品はビデオですが、プログラム（アルゴリズム）が進行している経過を、キャプチャーしたものと考えてください。
2011年に前段階の試作から始めた、ビデオから音楽を取り出すこのシリーズも、多くのトライアルを重ね、少しづつ形を変えて現在の形態になっています。 経過は1〜5でご覧になれます。大量の試作なので、ここではリストの所在だけを載せておきます。
- 2011-2017: Subway, Street, Others and Pre-Project Studies
- 2015-2017: Archway in Central Park, Fountain in New York City
- 2017-2018: Timeline Drawing & Withering Flowers
- 2019-2020: Excavation of music in black & white silent films of the Lumière brothers
- 2015-2016: Media Performance Noh [I-MY] Dual Noh Dancing of Vision and Reality
全ての経過を説明すると長くなるので、2016年制作した18作品「The Sound of Archway」シリーズから、3作品を3分間ダイジェストにしたビデオ。2018年制作の9作品「Four Seasons / Ecosystem goes around on Spaceship Earth」シリーズから、3作紹介します。2016年シリーズは、データを採取した瞬間の画像フレームを残していますが、タイムライン上に3Dワイア・フレームを作り出していません。
「The Sound of Archway」シリーズは、2016-2018年ギリシャ、ルーマニア、スペインのメディア・フェスティバルに参加しました。「Techno Synesthesia: Playmates Arch」は、ルーマニア・ティミショア SUMULTAN MEDIAの公共アーカイブとなっています。
ビデオ：Techno Synesthesia: The Sound of 3 Archways Digest / 03:00 / 2016
「Four Seasons」は、他のプロジェクトで始めていた、エコロジーのビジュアルをテーマとしています。このシリーズは、2018年〜2020年アメリカ、フランス、スペイン、インドネシア、中国、イランのメディア・フェスティバルに各１作品づつ、トルコのイスタンブール現代美術館のウェブ・ビエンナーレでは、シリーズ全9作品が参加しています。さらにサンパウロ（ブラジル）で2020年6〜8月開催予定だった、FILE2020に3作参加予定でしたが、Covid-19のためフェスティバルは無期延期となっています（2020年12月現在）。
ビデオ：「枯れたチューリップ 神秘音階 / テクノ共感覚：四季 から」02:30 / 2018
オンラインカタログ：The Rencontres Traverse Vidéo XIII p58-59 （フランス語）
ビデオ：「宇宙船地球号で春の散歩 / テクノ共感覚：四季 から」02:30 / 2018
11th Annual International Sustainability Short Film Competition - ノースカロライナ大学
ビデオ：「初雪 2018年11月１5日 神秘音階 / テクノ共感覚：四季 から」03:20 / 2018
ウェブ・ビエンナーレ APEIRON 2020 イスタンブール現代美術館、トルコ
オンライン・エキジビション「テクノ共感覚：四季」ウェブ・サイト：9作品
「Online Exhibition 2019 / Four Seasons / Ecosystem goes around on Spaceship Earth」
最後に、2020年コロナ禍をテーマに、アートビデオ・ケルンの呼びかけに応じて制作した作品。 Corona! Shut down? / Corona Film Collection 2020 / Number 46. Kenji Kojima
ビデオ：Techno Synesthesia: Corona! Shutdown? Open Mailbox / 03:15 / 2020
作品コンセプト「テクノ共感覚（Techno Synesthesia）」
ここまで技術的な面を書いて来ました。技術は作品コンセプトを支えるためのものですから、コンセプトの面から少し書いて終わりとします。 プロジェクト「テクノ共感覚（Techno Synesthesia）」は、2014年から始められましたが、コンセプトの出発点は2007年の「RGB MusicLab」開発に始まります。「テクノ・シナステージア（テクノ共感覚）」のテクノは、コンピュータ・テクノロジーです。テクノロジーの中身は２つあって、ひとつは作曲法の「アルゴリズミック・コンポジション」と、もうひとつはコンピュータで取得した多量のデータから、目的のデータを検出して整理する「センサー装置とデータの変換」です。どちらもバイナリ（0と1で情報を記憶・処理する）を操作する技術です。これは人間に置き換えると、感覚器官の入り口の機能と、情報の処理器官です（神経細胞とも言えます）。さらに厳密に言えば、視覚データと聴覚データを再生させる、コンピュータの装置も含まれるでしょう。
「アルゴリズミック・コンポジション（Algorithmic Composition）」は目的に沿って選り分けたデータを、「常に同じ手続き処理の連続（アルゴリズム）」で作曲する方法です。「アルゴリズミック・コンポジション」は古くからある作曲法で、コンピュータの作曲だけを指すものではありません。
「シナステージア（Synesthesia）」は日本語で「共感覚」と訳される、ある感覚を別な他の感覚で感じ取れる知覚現象を言います。世界には「ある色を見ると、ある特定の音が聞こえる」等の知覚を持っている人達がいるそうです。漠然と思考の上では理解できるのですが、残念ながら私のような普通の人間にはない感覚なので、個人の直感ではなく現代のコンピュータ・テクノロジーを使って、アートの思索の拡張として表現してみようと言うが、「テクノ・シナステージア（Techno Synesthesia）」です。「シナステージア（Synesthesia）」は、科学的に証明されている事象ではないので、科学（Science）とアートの結合と言うより、コンピュータ・テクノロジーを使った「ホモルーデンスの遊び」位に考えた方が良いでしょう。
「サイボーグ」は、科学技術を用いて人間の身体や認知能力を拡張させ、人間があたかも生物学的に進化したように発展させようという発想の技術です。具体的には20世紀後半からの急激な科学技術の発展で、人間の身体能力を拡張するサイボーグはサイエンス・フィクションではなく現実となっています。これは何10億年もかけて海洋生物から陸に上がり、生存のため身体的変化を緩やかに続けてきた人類が、21世紀に急速に推し進める新しい進化とも考えられます。
しかし「テクノ・シナステージア（テクノ共感覚）」は、サイボーグのような肉体の延長や、テレコミュニケーションのような視覚や聴覚の拡張を目指すものではありません。それは現在の人間の感覚や能力の延長・拡張ではない、感覚器官のクロスオーバーをテクノロジーを用いたアートで模索しています。人間は普通五感と言われる感覚を持っています。私たちは進化の過程で、ゆっくりとゆっくりと何代もの世代を重ねて、生存のための環境を把握する機能として五感を発達させて来ました。人間は目を使って外界の形や色を把握しています。目をもたない深海にいる生物は、どう外界を把握しているのでしょう。あるいは皮膚がその役割を兼ねているかもしれません。コウモリは音波で、立体空間を把握すると言われています。私たちは五感によって振り分けられた情報を信頼しているので、他の感覚器官の能力を無視しているかもしれません。あるいは身体能力の拡張のように、科学技術が感覚を補う役割をするかもしれません。
20世紀初めロシアの作曲家「スクリャービン」が書いた、「プロメテウス」という交響曲の楽譜には、オーケストラで使われる楽器の他に「Luce（イタリア語で光）」というパートが最上段に書かれていて、彼の作ったシステムで音符による一定の法則に基づいた、光の色が指示されています（交響曲『プロメテウス』の楽譜部分）。スクリャービンの生きていた時代の実際の演奏ではLuceのパートの演奏は困難でした。しかし近年のテクノロジーの発達で「Luce」を含めた交響曲全楽譜の演奏ができるようになりました（交響曲『プロメテウス』ビデオ ドキュメント＆演奏エールシンフォニー 2010年）。
初めて抽象絵画を創作したと言われる「カンディンスキー」は、スクリャービンの作品に感銘を受け共感覚に興味を持って、作品に取り入れる試みをしたそうです。芸術季刊誌の青騎士にカンディンスキーは、絵画制作で黄色はトランペットの中央のCの音、黒は終止符等の、ある特定の音と特定の色彩との結びつきを持った表現を採った、とあるそうです。つまり直感で毎回色を選ぶのではなく、ある一定の法則に基づいた制作がなされていることです。
前世代の人力による効率の悪いデータ処理から、現在のコンピュータによるデータ処理の時代に入って、多くのアーチスティックな感覚の融合の試みが、なされることを期待しています。中世絵画で地上から浮いて描かれていた人物が、初期ルネサンスで地上に立つことができたような、時代の変化点に現在はあります。
ページトップに移動
2021年1月小島健治（2月25日修正、4月2日追記） http://kenjikojima.com/ Email: index@kenjikojima.com
日本語 Japanese / 英語 English
多语种翻译 Google Translate
小島健治 Kenji Kojima
略歴を表示/隠す
Please Support Kenji Kojima's Artworks
index@kenjikojima.com
小島健治のアートワークを
サポートしてください
日本からのドネーションはこちらから
クリエイティブ・コモンズ
Attribution-NonCommercial-NoDerivatives
ビデオ Edition Public 1280x720 版は
CCライセンスの下 使用できます
商業利用はできません
ダウンロード PDF
バイナリをアートマテリアルとする
（2021年2月25日版）
LiveCode 制作ノート 2021年3月〜
画像データをスピーチ機能で読む
プログラムの制作ノートです。
バラバラなアイディアの試作集と
言ってもよいです。
スクリプトを公開しています。
シナステージア（共感覚）と
テクノロジーによる
相互拡張感覚のアートについて
小島健治 2016年