学際的な翻訳：感覚知覚は普遍的な言語となり得るか？

核心概念

本稿では、感覚知覚が、芸術、科学技術といった異なる分野間におけるコミュニケーションを促進する普遍的な言語としての役割を果たし、インタラクティブな体験を進化させる可能性を論じている。

要約

本稿は、感覚知覚が、文化や学問分野を超えた普遍的なコミュニケーションの橋渡し役として、メディアアート、ヒューマンコンピュータインタラクション、人工知能の研究において、どのように価値を発揮するかを探求した論文である。

インタラクションを通じた異分野間コミュニケーション

• メディアアートは、芸術、科学、工学の交差点に位置し、それぞれの分野における意味のある作品を生み出すためには、分野間のシームレスなコミュニケーションが不可欠となる。
• 芸術の世界ではインタラクションは、受け手が作品に関与することで作品が成立するという、芸術家による活動の場として捉えられることが多い。
• 対して工学の世界では、インタラクションはHCIの中心的な研究対象であり、ユーザーとコンピュータの相互作用、ユーザーのニーズや習慣に配慮したコンピュータシステムのユーザーインターフェースの設計、評価、実装を扱う。
• インタラクションは、最も普遍的には「二人以上の人間または物が互いに交信したり、反応したりする状況」と定義され、コミュニケーションの研究における重要なテーマとなっている。
• インタラクティブアートにおけるコミュニケーションは、アーティストの自己表現によって定義されるメッセージと、受け手がインタラクションのプロセスで作り出すメッセージの二つに分けられる。
• インタラクティブアートにおいて、アーティストとデザイナーは、コミュニケーションにおける自身の立ち位置、受け手に与えられる主体性、コミュニケーションを形成するために使用される言語の種類を考慮する必要がある。

感覚知覚：異分野間コミュニケーションの核心

• 感覚知覚は、異なる表現形式や理解の橋渡し役として、芸術とコミュニケーションの領域において独自の役割を担う。
• マレーヴィチは、芸術における新しいシステムを探求し、単なる視覚的表現を超えた表現言語として、形態の構成的な相互関係を提唱した。
• 感覚知覚は、特に言語が障壁となる可能性のある多様な観客に対して、コミュニケーションを促進する上で最も重要な役割を担う。

翻訳としての感覚知覚

• 感覚知覚は、特に多様な人々の中で情報が交換される場合に、コミュニケーションのプロセスにおいて非常に重要となり得る。
• 感覚知覚が非言語的コミュニケーションを確立するための言語として使用される場合、意味は文字通りの手段ではなく、抽象的な概念を通じて伝えることができる。
• この情報の抽象化は、受け手の言語、文化的背景、年齢層の違いによって生じる障壁を自動的に排除する。
• この抽象化は、芸術表現において感覚知覚が非言語的言語として利用され、抽象的な概念が言語や文化の違いを超越したときに現れる。
• この考え方は、1975年にセレスコヴィッチが提唱した翻訳の解釈理論（ITT）と一致しており、ITTは翻訳を言語間だけでなく、感覚や認知的構築物間のプロセスとしても捉えている。
• ITTでは、翻訳のプロセスは「ある言語から意味へ、そして意味から別の言語へ」という三角形のプロセスであるとされ、「意味」が別の言語で自然に再表現されるための基礎を形成していると考える。
• 芸術と技術の翻訳も、この媒体を通じて実現できると考えられる。芸術の言語と工学の言語を三角形の両端に置き、感覚知覚を共通言語として両者を媒介すると考えられる。

アートとHCIにおける感覚フィードバックシステム

• 感覚フィードバックシステムが人間とシステム間の非言語的コミュニケーションを確立することで、インタラクションは人間とシステムのインタラクションに有機的に統合される。
• この統合は、特にインタラクティブシステムがより「スマート」または「インテリジェント」になることを目指しているため、過去10年間でますます重要性を増している。
• 注目すべきは、自動運転、感情認識顔認証、汎用チャットボットなど、さまざまな業界のインタラクティブシステムにAIが統合されていることである。
• この移行の影響は、自動運転システムのような実際的なシナリオの変革によって明らかである。自動運転システムでは、運転に固有の人間の感覚フィードバックループが、深度センサーとコンピュータビジョンアルゴリズムの利用を通じてエミュレートされている。
• 注目すべきことに、同様の試みが芸術の分野でも展開されている。2000年代初頭から、アーティストは、主に探求的な動機から、人間の感覚フィードバックシステムをシミュレートする試みを行ってきた。
• これらの芸術的な探求は、その後、このようなシミュレートされたフィードバックシステムが実際に応用されるための重要な理論的基盤を築いてきた。
• アートとHCIの両方がインタラクティブシステムに内在する関心を共有している一方で、HCI研究における結果の即時性への重視は、その議論と分析に標準化された基盤を与えている。
• HCI研究で普及している従来の指標と包括的な定性調査を組み合わせることで、インタラクティブアートを取り巻く議論を明らかにするための道が開かれる。
• 注目すべきことに、実践と研究の共生関係は、両方の分野に共通する特徴である。
• チクセントミハイによるフロー理論は、管理可能な挑戦、没頭、コントロール、自由、明晰さ、即時フィードバック、時間感覚の喪失、自己同一性の変化を特徴とする、最適で楽しい体験状態の存在を解明している。
• この理論は、インタラクティブアートとヒューマンコンピュータシステムの両方の設計を形成する上で応用可能であり、それらの関心の合流を示している。

未来へのナビゲーション：感覚知覚と人工知能

• アラン・チューリングが1950年に提唱したように、機械が人間と口頭で対話する際に人間の反応を模倣できる能力は、考える能力を証明することができる。
• 今日の世界では、「機械学習」、「コンピュータビジョン」、「自然言語処理」、「感情分析」といった言葉で、機械が考える能力について議論するための比較対象が格段に増えている。
• これらの用語から、機械は見て、聞いて、感じて、情報をまとめて適切な反応を形成するように教えられているというアナロジーを立てることができる。
• このような学習プロセスで利用される「ニューラルネットワーク」が、人間の脳内のニューロンの働きを直接的にシミュレートしているという事実は、人間の感覚的および認知的体験の包括的な編集がAIの開発を導いていることを示している。
• 機械に世界を知覚するためのポータルをますます多く与えようとする努力がなされていることは明らかである。
• これらの努力が、人間の知的および感情的能力の完全な再現につながるかどうかは議論の余地がある。
• コンピュータ機械とのインタラクティブな体験が、人間同士のコミュニケーションにますます同化していく中で、AIシステムによってもたらされる計り知れないパワーは、インタラクティブアートとHCIの両方の将来の方向性に、刺激的でありながら手ごわいベールを加えている。
• この不確実性を乗り越えるための鍵は、人間と機械の両方における感覚知覚を理解することにある。人間の経験は、最終的には、世界とのあらゆるインタラクションに存在する、より深い感覚的および認知的言語と結びついているからである。
• この理解を達成するためには、芸術家と科学者は互いの言語を学ぶ必要がある。芸術と科学の融合と超越は、インタラクティブ技術とAIの将来の変革のために必ず通らなければならない道であるからだ。
• メディアアートにおいて、芸術と技術はお互いの方法を借用し合っている。
• 芸術家と科学者のコミュニケーションを阻む偏見は、言語の壁と同じくらい、相互理解を阻む可能性がある。
• 文化や学問分野を超えた普遍的な言語としての感覚知覚は、芸術と科学の統合の触媒となり得る。
• 芸術と科学の交差点に位置するメディアアートは、このような統合を具現化する重要な形態である。
• 学際的な研究と実践が世界を変革していく中で、この統合の兆候は、最終的にはメディアアートの分野とコンピュータサイエンスの分野の進歩を加速させるだろう。

統計

引用

“I reasoned that if an artist’s images could mean anything at all to people he had never met, it had to reflect some commonality much deeper than individual experience and probably had something to do with the fact that all human beings, regardless of their culture, use essentially the same cognitive system”
“This borrowing of method by one art from another, can only be truly successful when the application of the borrowed methods is not superficial but fundamental. One art must learn first how another uses its methods, so that the methods may afterwards be applied to the borrower’s art from the beginning, and suitably. The artist must not forget that in him lies the power of true application of every method, but that that power must be developed”
“May not machines carry out something which ought to be described as thinking but which is very different from what a man does?”

抽出されたキーインサイト

Interdisciplinary Translations: Sensory Perception as a Universal Language

by Xindi Kang, ... 場所 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05374.pdf

深掘り質問

感覚知覚技術の進化は、将来的に人間の五感を拡張し、新たな芸術体験やコミュニケーション手段を生み出す可能性をどのように秘めているのだろうか？

感覚知覚技術の進化は、人間の五感を拡張し、これまで想像もつかなかったような新しい芸術体験やコミュニケーション手段を生み出す可能性を秘めています。
1. 芸術体験の拡張:

没入感の極限へ: 視覚、聴覚はもちろんのこと、触覚、嗅覚、味覚までも再現するVR/AR技術の発展により、作品世界に完全に没入する、あるいは作品と身体的に相互作用するといった、よりリアルで感情的な芸術体験が可能になります。
共感覚表現の探求: 脳科学の進歩と組み合わせることで、ある感覚刺激を別の感覚刺激に変換する「共感覚」を人工的に再現することが可能になります。例えば、音楽を視覚的に表現したり、香りを触覚で感じたりするなど、感覚の境界を超えた全く新しい芸術表現が生まれ、より多くの人々に感覚的な感動を与えることができるでしょう。
創造性の民主化: 高度なセンシング技術やAIによる創作支援ツールの発達により、特別なスキルや訓練がなくても、誰でもが感覚的な表現を創造し、共有することが可能になります。
2. コミュニケーションの進化:

非言語コミュニケーションの深化: 触覚や嗅覚などの五感を用いたコミュニケーション技術の発展により、言葉では伝えきれない感情や感覚をより豊かに表現できるようになります。
感覚の共有: 遠隔地にいても、まるで同じ場所にいるかのように感覚を共有できる技術が実現すれば、より深い共感や理解に基づいたコミュニケーションが可能になります。
新たなコミュニケーション・プラットフォームの創出: 五感を拡張したコミュニケーションは、従来の言語や視覚情報に依存したコミュニケーションの限界を超え、より直感的で感覚的な情報伝達を可能にする、新たなコミュニケーション・プラットフォームの創出につながる可能性があります。
感覚知覚技術の進化は、人間と芸術、そして人間同士の関係をより深く、そして多様性に富んだものへと導く可能性を秘めていると言えるでしょう。

感覚知覚を重視したインタラクションデザインは、視覚障碍者や聴覚障碍者など、特定の感覚に制限を持つ人々にとって、テクノロジーへのアクセスと包摂性をどのように向上させることができるのだろうか？

感覚知覚を重視したインタラクションデザインは、特定の感覚に制限を持つ人々にとって、テクノロジーの壁を低くし、社会参加を促進する大きな可能性を秘めています。
1. 情報アクセスの多様化:

視覚障碍者への音声ガイドや触覚ディスプレイ: 視覚情報に頼らずに、音声ガイドや触覚ディスプレイを通じて、Webサイトやアプリケーションを操作できるようになります。
聴覚障碍者への視覚情報や触覚フィードバック: 音声情報ではなく、視覚的な指示や振動による触覚フィードバックを用いることで、情報を取得できるようになります。
感覚の代替: ある感覚が制限されている場合、別の感覚を強化することで情報を補完することができます。例えば、視覚障碍者の方には、空間情報を音で表現する「ソニフィケーション」技術を用いることで、周囲の状況を把握することが可能になります。
2. 感覚体験の個別最適化:

ユーザーの感覚特性に合わせたインターフェース: ユーザーの感覚の鋭敏さや好みに合わせて、情報の表示方法やフィードバックの強さを調整できるインターフェースが実現できます。
感覚過敏への配慮: 感覚過敏を持つ人にとって、刺激の強い光や音、触感は苦痛になりえます。感覚知覚技術を用いることで、個々のユーザーにとって快適なレベルに調整された感覚体験を提供することが可能になります。
3. 新たなコミュニケーション手段の提供:

触覚コミュニケーション: 触覚デバイスを用いることで、視覚や聴覚に頼らずにコミュニケーションをとることができます。
脳波インターフェース: 脳波を読み取ることで、思考や感情を直接表現するインターフェースが実現すれば、重度の障害を持つ人々でもコミュニケーションが可能になります。
感覚知覚を重視したインタラクションデザインは、単にアクセシビリティを向上させるだけでなく、すべての人にとって、より直感的で、パーソナルなテクノロジー体験をもたらす可能性を秘めていると言えるでしょう。

もし人工知能が人間の感覚知覚を超越し、私たちには認識できない世界を認識できるようになったとしたら、それは芸術表現や人間と機械の相互作用にどのような影響を与えるのだろうか？

人工知能が人間の感覚知覚を超越し、私たちには認識できない世界を認識できるようになったとしたら、それは芸術表現や人間と機械の相互作用に革命的な変化をもたらすでしょう。
1. 芸術表現の未知なる領域への拡張:

不可視世界の可視化: 人間には感知できない電磁波や微細な振動などをAIが感知し、それを音や光、触覚などに変換することで、これまで表現できなかった世界を芸術作品として体験することが可能になります。
高次元データの芸術的解釈: AIは、人間には理解できない高次元データを分析し、それを元に新たな芸術作品を生み出すことができます。それは、私たち人間の想像力をはるかに超えた、抽象的かつ複雑な表現となる可能性があります。
AIとの共同創造: AIが人間の感性や創造性を理解し、共に作品を作り上げるパートナーとなることで、これまでにない革新的な芸術作品が生まれる可能性があります。
2. 人間と機械の相互作用の深化:

感覚の拡張と共有: AIが認識する世界を、私たち人間も感覚として共有できるようになれば、世界に対する理解を深め、共感性を高めることができます。
直感的で自然なインターフェース: AIが人間の感情や意図を、言葉だけでなく、微妙な表情や声のトーン、視線などから読み取れるようになれば、より自然で直感的なコミュニケーションが可能になります。
新たな倫理観の必要性: AIが人間の感覚を超越した存在となることで、人間と機械の関係性、そしてAIの倫理について、新たな議論が巻き起こることは避けられないでしょう。
人工知能が人間の感覚知覚を超えることは、私たち人間にとって未知の領域への扉を開くことになります。それは、芸術表現の可能性を無限に広げると同時に、人間と機械の相互作用のあり方、そして人間の存在意義そのものについて、深く考えさせるきっかけとなるでしょう。