利用演算法與人工AI製作藝術

T.D. 基迪恩與 J.Y. 森
電腦科學系
國立澳大利亞大學
Acton ACT 0200
澳大利亞
．．
．．進化演算法模仿基因在模仿環境內突變與重組的方式。隨著時間，好的成分（真實生物有機體內的基因）最後集中起來，形成更好的個體，同時突變（隨機較小的變化）提供新良好的成分。必須有某個方式可評估每個個體，以決定是值不值得保留（或在野地生存）。但是如何可對藝術這樣的做，而此藝術電腦分析並不十分地容易？
．．
．．這就是人工智慧（AI）產生的緣由。AI就是”人工智慧”，可取代人類（或複製有趣的人類行為）。因此，人利用”人工智慧”取代電腦。所以如果編譯抽象電腦元件的進化演算法製作圖片，則人類便能確認影像”好”與”不好”，不斷地製作某些藝術，調整其美感。
．．
．．皮伊特曼德瑞（Piet Mondrian）的藝術特別適合此類實驗，首先，因為其明顯簡單的結構，以及第二，因為任何簡單的數學公式都無法演繹其作品。.
．．
引介
．．在本文件內， 簡單介紹讀者藝術家的作品皮伊特曼德瑞（Piet Mondrian），討論藝術的電腦製作與評價，建議技術方法，說明效果，並提出結論。
．．
曼德瑞（Mondrian）
．．皮伊特曼德瑞，（Piet Cornelis Mondrian）在1912年後曼德瑞（據稱：Pete Mon-dreeon,IPA: [pit 'mɔndɹiɔn]) (b. Amersfoort, 荷蘭，1872年3月7日— d. 紐約市，1944年2月1日)）是個荷蘭畫家。
．．
．．對索凡杜斯布（Theo van Doesburg）所成立的地斯提（De Stijl）運動與集團而言，他是個重要的貢獻者。儘管頗負盛名、常諷刺性模仿，甚至瑣碎，但曼德瑞（Mondriaan）繪畫展現一種複雜性，掩飾其顯性的簡璞。最有名的是其非具象派的繪畫，他稱之為”合成”，由紅、黃、藍、白或黑等矩形構成，以粗黑的直線條分開。它們是文體演化的成果，出現超過將近30年期間，並持續超越其生命終點。（威基培亞wikipedia, Piet Mondrian)
．．
．．曼德瑞抽象組合範例之一展示如下：
．．皮伊特曼德瑞（Piet Mondrian）的這些組合有多重目的來演繹數學分析（希爾Hill,1968年, 瑞諾茲Reynolds, 1995年）。在 曼德瑞None 繪畫內所顯現”隱藏的數學”並未成功地呈現具說服力的結果。(威基培亞wikipedia, de stijl).
．．
．．希爾（Hill,1968年）利用”數字數學”測量格子尺寸，分析格子間比例等等。達成結論的範例之一為曼德瑞的組合中，有些是三重連結，因此，至少必須切割3條線，才能分割圖成兩個。如此應用，在1918年 – 1938年，展現在曼德瑞大約一半的作品上。
．．
．．雖然確實地並非全部，但根據許多符合曼德瑞作品的格子理論，使用”結構分析”，瑞諾茲成功地達到結論。
．．
藝術來自藝術家或電腦?
．．曼德瑞其組合美學精選品，在藝術上的地位，仍有許多爭議。李（Lee ，2001年)發現藝術學生不能正確地鑑定真品的曼德瑞組合。 相反地，麥曼拿（McManus (et al, 1993年）發現在原版與修正版曼德瑞組合間，許多主題能識別。沃拉吉（Wolach (2005年)）發現主題能區分（優先的）曼德瑞線間隔與分歧的間隔。如果主題能分歧地選擇隔開的優先圖片，那麼曼德瑞間隔的優先度便會消失。
．．
．．我們的看法是，差異是依據個人的美學，是我們所強調的。那就是，不認同曼德瑞組合，我們轉移興趣在使用者根據自己的美學觀點建構（利用我們的工具darwindrian）類似曼德瑞組合。我們現在開始研究曼德瑞自我組合的一般具吸引力美學的觀點。
．．
．．我們也不考慮計算影像的美學價值，一如麥歐吉（Maiocchi (1991年) ）、 加爾薩與魯爾（Garza, Lores (2005年) ）等企圖進行的計劃。
．．
製作曼德瑞式影像
．．我們利用一些描述可能影像的參數，建構曼德瑞式影像。這些參數最初以隨意程序選出。隨後，我們利用進化演算法為我們方案的每個使用者改善影像。
．．
曼德瑞式圖的規則摘要
．．本文件主要討論音項模式或組合在其手勢互動的控管策略。它指定一個方向，就細微差別上，尋求音的結構，更普遍思考到固定的，具有「臨場」表演的回想特性。此種嚴格的形式，在許多音樂序列程式內很普遍，而且因為許多有效音樂到目前為止都以此方式製作，選擇一個序列音的控管範圍，可引出潛在的嶄新表現與美學水準。
．．
．．思考一下當代電子音樂的複奏性能，該性能已成為重要且廣泛使用的結構裝置。在爵士音樂中，練習複奏是特別複雜，因為它直接由音樂家控制，這些音樂家了解 如何操練變化，能仔細地在直接表達與複雜變化間進行調節。而就手動的技術演奏者而言，只需要考量某種常規的模式即可。
．．
．．在尋求與電腦製作的音序相同關係方面，本研究使用建立的即時軟體，超衝3（SuperCollider 3 (SC3)）與來自遊戲世界任天堂Wiimote™In控制器當作人體界面。就使用Wiimote方面，可預期表演者可身體與音序的製作與調度有更多關聯。本宗旨在於透過來自人體移動感應器資料，與複雜音結構建立動力/戲劇結構。
．．
引介
．．本研究的個人先例建立於2003-4年具超感情結（HyperSense Complex）作品內。為本小組製作新表演方式程序中，西蒙博敦（Simon Burton）探索以互動方式與曲組運作的策略。雖然具有特性，但它構建一種回應，衍生出此新互動背景的表演方式。
．．
．．博敦的想法以暫循環定點支架或「提桶」為主，像連續傳送帶（最初為無聲提桶）上界定的空間。表演者可在這些提桶內放置音項。（參閱表1）
．．
．．當表演者啟動一個項目時，它就出現循環處，在最近暫時縫內，而循環處是表演者聽不到或欣賞不到。如果該項目巧遇狹縫，它便會大幅回應（攻擊特性與振幅）。最受注意就在當此音自然地具備敏銳攻擊特徵時。
．．
．．只彎曲手指，表演者便可在狹縫內放置音樣本，該樣本然後可以各種方式操作，諸如：藉音高或振幅變更或甚至只是用其他手指，以相同手勢，以減輕音量。振幅變化提供極微妙，但有效方式來微調序組。表演者也能以相同方式，藉彎曲手指來除去音項。
．．
．．進一步有關此暫時音活化，博敦加入分歧的想法，即是在初期循環期間下，再細分時間。因此，對表演者而言，就可能製作更複雜的節奏模式。
．．
．．表演者能以此方式，在兩個暫時級別處，從序組中，加入或去掉音項。回顧時，此樂曲程序正進行接合。當考慮到美學方面各節段總數時，它便需要專注在自己的模式中。建立與移除音項常常是隨心所欲。精確處理音項，在上下文中，必須十分專注，此在外部方面，透過由其他表演者之一加入的效果，而產生影響。
．．
．．博敦的方法是透過特殊表演概念思考出來的結果。因為除了使用感應器，供自己使用外，沒有別的其他選擇，而感應器本身形成我們表演事項的核心平台，可假定的是此概念可接合該型態感應器與相關的表演技巧。
．．
．．能加入音項的無聲定點支架的想法是新奇的。它確實提供再保證一個穩定可預料的世界，存在於我們所發展出的即興位置內。甚至如果我們最初不能聽到暫時架構，則很快便可證明在表演的最初階段內，情況很快就很明顯。
．．
．．如果此方法只為一個表演者設定，則此想法就或許會延伸擴大，以包含更複雜的變量，因此有可能有更有趣的創意脈絡。這個有可能隨著時間、練習與音樂進展而發生，就如同所有音樂樂器演化的情形一樣。
．．
．．不過，開始是透過三個表演者同時演出才了解結果，而就此方面，相對簡明的系統，藉由三個表演者渴望複雜音的統一而產生。三個表演者，每個都有不同的音效，卻能產生令人感嘆的合奏效果，及更有魅力的音的體驗。
．．
．．在別處討論（瑞德爾，2005年）的網絡表演結構，使當代許多變化的合奏想法有可能產生出曲折複雜的方式。雖然本文件並未明確地討論到，但對此處描述的練習仍保有邏輯上的延伸。
．．
．．因此，以前所描述的個人經驗，具體地支持本研究加入手勢與音樂表演，但不排斥許多討論會提出的其他研究(CHI 與 NIME, 等)。有趣的事是，大部分的研究，透過類似特性的工具，以求探討此領域，目的在平衡一般樂器的發展。誠如Strachanet al （Strachan 2007年）內所討論的，身體是主要且必然的表現來源，同時思特成（Strachan）也概述控制音樂演奏者的方法。Hashimoto et al (哈希莫特Hashimoto2005)，採取較傳統的角度，此角度考量到「在傳統音樂樂器中，動作與產生的聲音間的關係，由樂器實體結構來決定。」在該說法中，有一些道理，但高托（Goto）與蘇魯吉（蘇魯吉）（高托Goto，2004年）著重虛擬樂器與音合成，以便超越傳統樂器，探討手勢與表演。這些研究員，部分地，為目前正在流行的手勢與音樂表演規劃方向。
．．
．．研究事項
．．就實際而言，此處採取的研究方向與超感複雜計劃（HyperSense Complex）的在科技與預定的創作結果兩方面，都十分不同。此處的主要優點是可延伸發展到藉不同主角的手臂為主的手勢控制，來操作音的模式與序列。
．．
．．此處的研究，作為基礎方位，確實地掌握人類藉樂器演奏所表演的典範，但另外需再認知，規劃此類變化，就如引領傳統音樂，達到人性高貴感的境界一樣，就複雜的電腦產生的音項方面而言，也許是不可能或只是能嚮往而已。因此，此研究確實地承認是野心地想探討數位音範圍內互動的未知領域。
．．
．．在方法的核心中，有利用到複雜模式製作系統與音響應用固用通訊系統，超衝3（SuperCollider 3）有關的後繼功能。大家也都了解相同狀態的其他應用(MAX, PD,Csound, 等)可能也能用來取代之。
．．
．．科技
．．本研究利用精密的尼特多（Nintendo）的Wiimote 控制器，它在網路上廣泛地被充分的證據證明（參考區網點），並包含下列的功能：
．．
．．商用Wiimot提供精密的BlueTooth™通訊科技，附有一個由一流遊戲公司研究的設計。無可否認的，Wiimote 的使用目的是為了電腦遊戲，該遊戲需要較多身體的互動，但確實地，在相當精密程度的交戰中，可能的事依然是受到賞識。
．．
．．根據上列的功能表與內部運作，可了解Wiimote是一個精密的設計。經由諸如DarwiinRemote, Glovepie, Remote Buddy, WiiViewer 與 WiinRemote一樣的Mac, PC與Linux系統等類的應用，可充分了解此情況。
．．
．．本研究的主要興趣在於執行彼特摩斯（Pete Moss）所研發的SuperCollider (SC3)的 Wiimote 。不過，值得注意的是，那裡有一個Wiimote-api ，它是個用C寫成的文庫，可通入Wii遙控的技術（軟體出處）。如此便可為希望對於使用Wiimote方面，研發不同策略的人，提供了一套完整的功能，這些功能是有關Wiimote 的。
．．
Wiimote 與 SC3
．．下面討論的主要以彼特摩斯Wiimote SC3執行為主，其由後面的級別所組成：Wiimote.sc, WiimoteUgens.sc 與 plugin（外掛程式）, Wiimote.scx。對於所有按鈕與X, Y 及Z動作，轉筒與LED等而言，都有基本的功能。輔助（Help）也包含在分類內。Wiimote 的功能顯示在下列的Ugens（組件產生器） 內：
．．
．．因此所有Wiimote Ugens都是依此形式定義的控制器，例如：:
WiimoteX.kr()
WiimoteY.kr()
WiimoteZ.kr()
範例 1. X, Y 與 Z 動作Ugens
此處控制收自0–1.0範圍內X與Y軸的資料。
．．
．．此術語定義Wiimote的主要功能之基本操作。大多考量到一種想法，即利用震動來作為體驗啟動音項的方式。此功能在下列範例內並未顯示，但很容易可以進行規劃X, Y 與Z界限的可用範圍。
．．
．．就SC3伺服機方面，SC3 Ugens 為控制率，因此只用在SynthDefs 裡面。此功能在此處不詳加討論，因為它與組件產生器（Ugens）範例無關，或者較不証自明。
．．
．．連線
．．在初始化Wiimote程序之後為：
．．// 啟動Wii裝置
．．// 然後執行壓下按鈕1與2.
．．s.sendMsg(\cmd, \WiimoteStart)；
．．範例2. 建立BlueTooth連線

．．
．．在啟動Wiimote時，透過SynthDefs (伺服機方面)，輸入功率便可使用。基本上，Wiimote資料對模式結構並非是有用形式，而必須透過OSCresponder獲得來自SendTrig.kr的資料，然後才能處理，其利用的方式如下：
．．
．．在客戶方面有資料，並且在某種情況下可傳送成模式結構。在此特殊例子內Wiimote正以每秒10個訊息的速率，從“X”界限傳送控制資料到OSCresponder 。所需的速率以模式結構來決定資料的使用。可期待的是此模式在OSCresponder 內可取出，如：
OSCresponder(s.addr,´/tr´, { arg time,responder,msg;
if ((msg[1] == node), {
amp = msg[2];
h = [0.125,Prand([0.1, 0.5, 1.0], 2),0.5,0.125];
j = Pseq(h, inf);
k = Pseq((0..7) + 15.rand;
Pdef(\x, Pbind(\dur, j, \amp, amp, \degree, k, inf)));
});
}).add;
．．
．．在客戶方面取出的模式
．．定義模式控制
．．倘若取得控制資料有兩個選擇，連續資料或開關狀態資料，則模式結構就必須能利用其中至少一個選擇所取得的資料。如此會產生模式結構形式為何的問題？考量下面透過級別Pbind，表示定義的基本結構者。如此則採用稱為「某個樂器someInstrument」的樂器，它採用由在前加上“\”名稱所定義的參數。
．．
．．模式結構當成Stream
．．雙工第二元件任一資料，例如：\release, 0.95 可修正，而結構可以傳統SC3方式選擇與執行。因此，動態地變更結構。不過，就此點上，與Wiimote既未連線，也未提供變更模式結構“g”的內容。
．．
．．考量本研究的最初目標，主要的目的在於以一種方式來修正模式複奏該方式為當引導特殊型態的變化時，保留某種特性。
．．
．．基本功能包含啟動、消除與終止序曲，以及變化內部的參數。
．．
．．使用Wiimote總是產生大量資料輸出，因為基本操作如同連續控制器。對任何即時運作的事而言，這是必須的。此處的問題是這樣的連續控制器能否提供細微差別的資料，且對使用者而言，是否仍然感覺像即時互動裝置一樣？此問題在本文件最後會變得更有關係。
．．
．．透過按鈕活化變更的模式
．．在表演期間，上述代碼可讓按鈕“B”產生新的模式。
．．此處討論重點在於Wiimote 的操作狀態，而不說明任何技術或經驗等方面。如此對這些操作的研發將有很大的影響。
．．
．．進一步的微調
．．X與Y軸的變動所提供的速率和振幅變更在行進的序曲上產生影響。如此可能並未有何特別刺激性，但那樣可決定所選的臨時結構與使用的音調。不過，為進一步增加此行動的化學作用，”Z”軸資料便能用來在結構的計時內，產生微妙的變更。
．．
．．主要的問題在於，在計時中，要怎樣微妙變更？假定這些變更都很微細，而想要根據在組曲內有多少的元件來改變組曲 。如此在多變化中變更結構內，某個關鍵性曲項的起奏點中，便可找到進一步的微調。如此便可採取像4/4等的可識別韻律結構。回到建構的結構功能(範例9)，某些產生規則韻律曲項的就可藉下列代碼來建構：
．．
．．h = Array.fill([2,4,8,16].choose,
．．{1/[2,4,8,16].choose});
．．
．．持續期間產生韻律結構
．．數組“h” 看起來可像下列其中一個：
[0.5, 0.5]
[0.5, 0.5]
[0.25, 0.25, 0.0625, 0.0625]
[0.25, 0.25, 0.0625, 0.0625]
[0.0625, 0.125, 0.125, 0.0625, 0.5, 0.0625, 0.25, 0.25, 0.125, 0.25, 0.5, 0.5, 0.25,0.5, 0.0625, 0.125]
[0.0625, 0.125, 0.125, 0.0625, 0.5, 0.0625, 0.25, 0.25, 0.125, 0.25, 0.5, 0.5, 0.25,0.5, 0.0625, 0.125]
．．
．．藉範例10產生的數組
．．範例10產生的數組1的這些分配提供臨時結構的基礎，可細微修正 ，以減少值的一致性。
．．採納此方式，作者可檢閱曲組變化的另一個技術，即Jaffe (Jaffe 1985年)正弦曲線拍子波動計時規劃法與Collins (Collins 2003年)較新的作品。
．．
．．應用計時資訊的正弦曲線資料，在限定的暫存組曲內，在該時間範圍內，可透過增大dn，來完成暫存置換，但要確認組曲間整體暫存的正確性。在此情況下，韻律值可藉增加相同的正弦值來改變。
．．
．．
var inc = 0;
d = 2pi/512; // Two PI and resolution
a = Array.newClear(0); // create an empty array
512.do({i
a = a.add(sin(inc)); // fill with Sine data
inc = inc + d;
});
．．
．．數組填入正弦資料
．．在數組內儲存信號資料，此時只有一個問題，就是使用資料來計算某個點來阻擋即將來的資料。此資料為時間偏向程序的部份，可在表演結局曲項時間時，增加或減少。雖然如此說明過於簡單，但可提供作為修正偏差結果的基礎，並保持組曲持續時間暫存的整體性。
．．
．．在韻律域內，此類的暫存轉換不僅可趕上建立潛在音樂文體效果的基礎，諸如爵士樂，同時也能趕上其他世界文化的音樂，在此，暫存置換為定義音樂力量的操作要素。此技術與其他數個都具有相同的功能，在McGuiness (2004)內有更詳細的技術方面的討論。不過，對於由表演互動來影響現存模式的看法，這方面不加以討論。
．．
．．複奏之外
．．「模式」的想法直到此點仍然約略定義為曲項集的複奏，可能3個以上， 對大部分具有潛在變化程度，但不完全變更模式結構。曲組及其識別性都加以保留。
．．
．．現在，模式的功能，就分支結構的角度而言，將重新考量，因為當單一重複實體明顯地存在，但卻不必直接重複時，分支結構或許便無法聽到。此概念多年來大家都了解且各種型態的音樂家在作品中皆有表現，最有名的是查理派克（CharlieParker）即興獨奏曲：
．．
．．「在出現後，它們仍豐富了爵士詞彙半個世紀，查理派克音樂遺產的要件主要是他的「個人曲目旋律規則，這些在即興作品的過程中，他都有使用。」歐文指出，每個傑出的即興作家都會加入「一袋的旋律技巧…他的熟練旋律模式就是其風格重要的識別符。」稍早期歐文說明”他的自發性表演確實部分是預作的。此種準備絕對有必要因為沒有人不如此能製作出流利一致的旋律…」。
．．
．．當然，有更多持續的模式重組才使查理派克獨奏曲如此出名。除此外，以及後來知道從有名的古典來源利用音樂”引述”，納入他的一流的音樂才能，他的”純粹的活力與自信，歐文教授本身藉著詳述另一個要素，達成了主旋律中心…在其音樂內，協助產生適度感。基本上，整個樂句，甚至整體的合唱曲與合唱編組，都有目標導向；它們達成了最終的音符，存在於冗長階梯式下降的結尾中。 此下降階結構是派克對爵士樂的貢獻，或許也是對藝術形式其偉大天賦的極致。」（西蒙）
．．
．．此「預作」形式是有力的理論，深植於演化的爵士樂用語內，建立在一生可信´的結局中。與本研究有關的問題是，這個要如何應用到Wiimote表演案例內？

．．回想本研究的目標是，使模式充滿整體感，有構造性，但獨特的。複奏的構想對音調表達的美學架構變得很重要。倘若有派克的才能、天賦與音樂背景，利用在任何接近美妙狀態的地方，達成實現的預期至少言之尚早。不過，連續的模式具有某種預配置對附有此種不同控制輸出功率裝置而言，是合邏輯的趨勢。
．．
．．因此，在表演前，以此方法建立模式是絕對的。這些也許可以訓練，但是即時的問題是如何可以讓表演者取得它們？
．．
．．在表演中，行動中模式意識選擇與體認，在追求一致與美學進行的連續性中，證明是過於約束。模式的音調必須是唯一如何部署它們的引導者。
．．
．．如此提供了重新考慮西蒙的無聲暫存空間的看法，進入其中，音調藉表演者的行動來放置。假定所有模式只是放置標誌，而表演者的行動要求它們在暫存空間內嗎？挑戰存在於表演資料的本質與取得之中。
．．
．．如果Wiimote 資料能用來藉著靠近曲項空間，在模式內，放置音調，則那麼那裡就可能必須有個系統可本身選擇模式。與此並存的另一個問題是即時交戰感。此方法是有助的而在本質上非即時性的互動。
．．
．．在這方面建議使用L-Systems (McCormack 1996年)。以此方式，根據收自Wiimote的資料，措辭可用來定義模式構造與裝填。檔採用本研究時，它確實可提供在無聲暫存單元內，形式化模式製作的可能性。明顯的問題是在製作新模式中或修正現存的時，頻率響應感可能會受到連累。為改善此情況，Wiimote 可運作在兩個方向上。首先，要有能力製作模式與修正現有的。第二，透過直接操作SynthDef Ugens（單位產生器），使互動更具回應性。這些都能結合製作有效的互動系統來運作。雖然許多學習還有待挑戰。
．．
．．結論
．．就其簡單的實體上，Wiimote已經吸引了許多關注、檢驗與再部署來作為控制器。 它以小包裝，提供許多的功能—這些完全可探討的。
．．
．．此處概述的本研究提供一些交戰形式，影響曲組結構與它們的表演。因為結構變得更複雜使用的裝置也變得有點無可避免的需要訓練與練習，就如同傳統樂器一樣。
．．
．．更重要的是，手勢變得更為精巧，或如本報告結尾所述，更出神入化。如果想找一個裝置，在該處，期待一般手臂與身體大幅度實體動作就會產生多變音調，那麼一定會大失所望。與模式/曲組一起運作需要聽與回應，這是技術的一部分，該技術必須經過超時與創作能力才能獲得想要的成果。更誇大戲劇化手勢，來自支配美妙精巧的動作，該種動作能產生真正音的微調。