2008年8月17日 星期日

手勢音調模式控制法:利用Wiimote™的互動方法

阿里斯泰

瑞德爾新媒體藝術中心

國立澳大利亞大學

Canberra, ACT. 0200

Australia


摘要

..本文件主要討論音項模式或組合在其手勢互動的控管策略。它指定一個方向,就細微差別上,尋求音的結構,更普遍思考到固定的,具有「臨場」表演的回想特性。此種嚴格的形式,在許多音樂序列程式內很普遍,而且因為許多有效音樂到目前為止都以此方式製作,選擇一個序列音的控管範圍,可引出潛在的嶄新表現與美學水準。

..思考一下當代電子音樂的複奏性能,該性能已成為重要且廣泛使用的結構裝置。在爵士音樂中,練習複奏是特別複雜,因為它直接由音樂家控制,這些音樂家了解 如何操練變化,能仔細地在直接表達與複雜變化間進行調節。而就手動的技術演奏者而言,只需要考量某種常規的模式即可。

..在尋求與電腦製作的音序相同關係方面,本研究使用建立的即時軟體,超衝3(SuperCollider 3 (SC3))與來自遊戲世界任天堂Wiimote™In控制器當作人體界面。就使用Wiimote方面,可預期表演者可身體與音序的製作與調度有更多關聯。本宗旨在於透過來自人體移動感應器資料,與複雜音結構建立動力/戲劇結構。

引介

..本研究的個人先例建立於2003-4年具超感情結(HyperSense Complex)作品內。為本小組製作新表演方式程序中,西蒙博敦(Simon Burton)探索以互動方式與曲組運作的策略。雖然具有特性,但它構建一種回應,衍生出此新互動背景的表演方式。

..博敦的想法以暫循環定點支架或「提桶」為主,像連續傳送帶(最初為無聲提桶)上界定的空間。表演者可在這些提桶內放置音項。(參閱表1)

..當表演者啟動一個項目時,它就出現循環處,在最近暫時縫內,而循環處是表演者聽不到或欣賞不到。如果該項目巧遇狹縫,它便會大幅回應(攻擊特性與振幅)。最受注意就在當此音自然地具備敏銳攻擊特徵時。

..只彎曲手指,表演者便可在狹縫內放置音樣本,該樣本然後可以各種方式操作,諸如:藉音高或振幅變更或甚至只是用其他手指,以相同手勢,以減輕音量。振幅變化提供極微妙,但有效方式來微調序組。表演者也能以相同方式,藉彎曲手指來除去音項。

..進一步有關此暫時音活化,博敦加入分歧的想法,即是在初期循環期間下,再細分時間。因此,對表演者而言,就可能製作更複雜的節奏模式。

..表演者能以此方式,在兩個暫時級別處,從序組中,加入或去掉音項。回顧時,此樂曲程序正進行接合。當考慮到美學方面各節段總數時,它便需要專注在自己的模式中。建立與移除音項常常是隨心所欲。精確處理音項,在上下文中,必須十分專注,此在外部方面,透過由其他表演者之一加入的效果,而產生影響。

..博敦的方法是透過特殊表演概念思考出來的結果。因為除了使用感應器,供自己使用外,沒有別的其他選擇,而感應器本身形成我們表演事項的核心平台,可假定的是此概念可接合該型態感應器與相關的表演技巧。

..能加入音項的無聲定點支架的想法是新奇的。它確實提供再保證一個穩定可預料的世界,存在於我們所發展出的即興位置內。甚至如果我們最初不能聽到暫時架構,則很快便可證明在表演的最初階段內,情況很快就很明顯。

..如果此方法只為一個表演者設定,則此想法就或許會延伸擴大,以包含更複雜的變量,因此有可能有更有趣的創意脈絡。這個有可能隨著時間、練習與音樂進展而發生,就如同所有音樂樂器演化的情形一樣。

..不過,開始是透過三個表演者同時演出才了解結果,而就此方面,相對簡明的系統,藉由三個表演者渴望複雜音的統一而產生。三個表演者,每個都有不同的音效,卻能產生令人感嘆的合奏效果,及更有魅力的音的體驗。

..在別處討論(瑞德爾,2005年)的網絡表演結構,使當代許多變化的合奏想法有可能產生出曲折複雜的方式。雖然本文件並未明確地討論到,但對此處描述的練習仍保有邏輯上的伸。...

..因此,以前所描述的個人經驗,具體地支持本研究加入手勢與音樂表演,但不排斥許多討論會提出的其他研究(CHI 與 NIME, 等)。有趣的事是,大部分的研究,透過類似特性的工具,以求探討此領域,目的在平衡一般樂器的發展。誠如Strachanet al (Strachan 2007年)內所討論的,身體是主要且必然的表現來源,同時思特成(Strachan)也概述控制音樂演奏者的方法。Hashimoto et al (哈希莫特Hashimoto 2005),採取較傳統的角度,此角度考量到「在傳統音樂樂器中,動作與產生的聲音間的關係,由樂器實體結構來決定。」在該說法中,有一些道理,但高托(Goto)與蘇魯吉(蘇魯吉)(高托Goto,2004年)著重虛擬樂器與音合成,以便超越傳統樂器,探討手勢與表演。這些研究員,部分地,為目前正在流行的手勢與音樂表演規劃方向。


研究事項
..
..就實際而言,此處採取的研究方向與超感複雜計劃(HyperSense Complex)的在科技與預定的創作結果兩方面,都十分不同。此處的主要優點是可延伸發展到藉不同主角的手臂為主的手勢控制,來操作音的模式與序列。

..
..此處的研究,作為基礎方位,確實地掌握人類藉樂器演奏所表演的典範,但另外需再認知,規劃此類變化,就如引領傳統音樂,達到人性高貴感的境界一樣,就複雜的電腦產生的音項方面而言,也許是不可能或只是能嚮往而已。因此,此研究確實地承認是野心地想探討數位音範圍內互動的未知領域。

..
..在方法的核心中,有利用到複雜模式製作系統與音響應用固用通訊系統,超衝3(SuperCollider 3)有關的後繼功能。大家也都了解相同狀態的其他應用(MAX, PD,Csound, 等)可能也能用來取代之。
..

科技

..本研究利用精密的尼特多(Nintendo)的Wiimote 控制器,它在網路上廣泛地被充分的證據證明(參考區網點),並包含下列的功能:
..
..商用Wiimot提供精密的BlueTooth™通訊科技,附有一個由一流遊戲公司研究的設計。無可否認的,Wiimote 的使用目的是為了電腦遊戲,該遊戲需要較多身體的互動,但確實地,在相當精密程度的交戰中,可能的事依然是受到賞識。
..
..根據上列的功能表與內部運作,可了解Wiimote是一個精密的設計。經由諸如DarwiinRemote, Glovepie, Remote Buddy, WiiViewer 與 WiinRemote一樣的Mac, PC 與Linux系統等類的應用,可充分了解此情況。
..
..本研究的主要興趣在於執行彼特摩斯(Pete Moss)所研發的SuperCollider (SC3)的Wiimote 。不過,值得注意的是,那裡有一個Wiimote-api ,它是個用C寫成的文庫,可通入Wii遙控的技術(軟體出處)。如此便可為希望對於使用Wiimote方面,研發不同策略的人,提供了一套完整的功能,這些功能是有關Wiimote 的。
..
Wiimote 與 SC3
..
下面討論的主要以彼特摩斯Wiimote SC3執行為主,其由後面的級別所組成:Wiimote.sc, WiimoteUgens.sc 與 plugin(外掛程式), Wiimote.scx。對於所有按鈕與X, Y 及Z動作,轉筒與LED等而言,都有基本的功能。輔助(Help)也包含在分類內。Wiimote 的功能顯示在下列的Ugens(組件產生器) 內:
..

..因此所有Wiimote Ugens都是依此形式定義的控制器,例如:

WiimoteX.kr()
WiimoteY.kr()

WiimoteZ.kr()

範例 1. X, Y 與 Z 動作Ugens


此處控制收自0–1.0範圍內X與Y軸的資料。此術語定義Wiimote的主要功能之基本操作。大多考量到一種想法,即利用震動來作為體驗啟動音項的方式。
..
此功能在下列範例內並未顯示,但很容易可以進行規劃

X,Y 與Z界限的可用範圍。
..
就SC3伺服機方面,SC3 Ugens 為控制率,因此只用在SynthDefs 裡面。此功能在此處不詳加討論,因為它與組件產生器(Ugens)範例無關,或者較不証自明。
..

連線
..
..
在初始化Wiimote程序之後為:
// 啟動Wii裝置
// 然後執行壓下按鈕1與2.
s.sendMsg(\cmd, \WiimoteStart);
範例2. 建立BlueTooth連線
.. 在啟動Wiimote時,透過SynthDefs (伺服機方面),輸入功率便可使用。基本上,Wiimote資料對模式結構並非是有用形式,而必須透過OSCresponder獲得來自Boom!An Interplay of Fast and Frozen Permutation in New MediaTaiwan-Australia New Media Arts Exhibition 24SendTrig.kr的資料,然後才能處理,其利用的方式如下:.
..
SynthDef(\wiiX, {
SendTrig.kr(Impulse.kr(10), 13,LinLin.kr(WiimoteX.kr(),-0.17,0.2,0.4,2.0));
}).load(s);
s.sendMsg(“/s_new”, “wiiX”, node = s.nextNodeID,1,1);
OSCresponder(s.addr,’/tr’, { time,responder,msg
// SendTrig 資料於此處可取得。
}).add;
..
透過按鈕活化變更的模式
..
..在表演期間,上述代碼可讓按鈕“B”產生新的模式。
..此處討論重點在於Wiimote 的操作狀態,而不說明任何技術或經驗等方面。如此對這些操作的研發將有很大的影響。
..
進一步的微調
..X與Y軸的變動所提供的速率和振幅變更在行進的序曲上產生影響。如此可能並未有何特別刺激性,但那樣可決定所選的臨時結構與使用的音調。不過,為進一步增加此行動的化學作用,”Z”軸資料便能用來在結構的計時內,產生微妙的變更。
..
..主要的問題在於,在計時中,要怎樣微妙變更?假定這些變更都很微細,而想要根據在組曲內有多少的元件來改變組曲 。如此在多變化中變更結構內,某個關鍵性曲項的起奏點中,便可找到進一步的微調。如此便可採取像4/4等的可識別韻律結構。回到建構的結構功能(範例9),某些產生規則韻律曲項的就可藉下列代碼來建構:
..h = Array.fill([2,4,8,16].choose,

{1/[2,4,8,16].choose});
..範例 10.持續期間產生韻律結構數組“h” 看起來可像下列其中一個:
..範例11. 藉範例10產生的數組1的這些分配提供臨時結構的基礎,可細微修正 ,以減少值的一致性。
..
數組填入正弦資料

..在數組內儲存信號資料,此時只有一個問題,就是使用資料來計算某個點來阻擋即將來的資料。此資料為時間偏向程序的部份,可在表演結局曲項時間時,增加或減少。雖然如此說明過於簡單,但可提供作為修正偏差結果的基礎,並保持組曲持續時間暫存的整體性。

..在韻律域內,此類的暫存轉換不僅可趕上建立潛在音樂文體效果的基礎,諸如爵士樂,同時也能趕上其他世界文化的音樂,在此,暫存置換為定義音樂力量的操作要素。此技術與其他數個都具有相同的功能,在McGuiness (2004)內有更詳細的技術方面的討論。不過,對於由表演互動來影響現存模式的看法,這方面不加以討論。
..
複奏之外
..「模式」的想法直到此點仍然約略定義為曲項集的複奏,可能3個以上, 對大部分具有潛在變化程度,但不完全變更模式結構。曲組及其識別性都加以保留。
..
..現在,模式的功能,就分支結構的角度而言,將重新考量,因為當單一重複實體明顯地存在,但卻不必直接重複時,分支結構或許便無法聽到。此概念多年來大家都了解且各種型態的音樂家在作品中皆有表現,最有名的是查理派克(Charlie Parker)即興獨奏曲:
..
..在出現後,它們仍豐富了爵士詞彙半個世紀,查理派克音樂遺產的要件主要是他的「個人曲目旋律規則,這些在即興作品的過程中,他都有使用。」歐文指出,每個傑出的即興作家都會加入「一袋的旋律技巧…他的熟練旋律模式就是其風格重要的識別符。」稍早期歐文說明”他的自發性表演確實部分是預作的。此種準備絕對有必要因為沒有人不如此能製作出流利一致的旋律…」。
..
..當然,有更多持續的模式重組才使查理派克獨奏曲如此出名。除此外,以及後來知道從有名的古典來源利用音樂”引述”,納入他的一流的音樂才能,他的”純粹的活力與自信,歐文教授本身藉著詳述另一個要素,達成了主旋律中心…在其音樂內,協助產生適度感。基本上,整個樂句,甚至整體的合唱曲與合唱編組,都有目標導向;它們達成了最終的音符,存在於冗長階梯式下降的結尾中。 此下降階結構是派克對爵士樂的貢獻,或許也是對藝術形式其偉大天賦的極致。」(西蒙)
..
..此「預作」形式是有力的理論,深植於演化的爵士樂用語內,建立在一生可信’的結局中。與本研究有關的問題是,這個要如何應用到Wiimote表演案例內?
..
..回想本研究的目標是,使模式充滿整體感,有構造性,但獨特的。複奏的構想對音調表達的美學架構變得很重要。倘若有派克的才能、天賦與音樂背景,利用在任何接近美妙狀態的地方,達成實現的預期至少言之尚早。不過,連續的模式具有某種預配置對附有此種不同控制輸出功率裝置而言,是合邏輯的趨勢。
..
..因此,在表演前,以此方法建立模式是絕對的。這些也許可以訓練,但是即時的問題是如何可以讓表演者取得它們?
..
..在表演中,行動中模式意識選擇與體認,在追求一致與美學進行的連續性中,證明是過於約束。模式的音調必須是唯一如何部署它們的引導者。
..
..如此提供了重新考慮西蒙的無聲暫存空間的看法,進入其中,音調藉表演者的行動來放置。假定所有模式只是放置標誌,而表演者的行動要求它們在暫存空間內嗎?挑戰存在於表演資料的本質與取得之中。
..
..如果Wiimote 資料能用來藉著靠近曲項空間,在模式內,放置音調,則那麼那裡就可能必須有個系統可本身選擇模式。與此並存的另一個問題是即時交戰感。此方法是有助的而在本質上非即時性的互動。
..
..在這方面建議使用L-Systems (McCormack 1996年)。以此方式,根據收自Wiimote的資料,措辭可用來定義模式構造與裝填。檔採用本研究時,它確實可提供在無聲暫存單元內,形式化模式製作的可能性。明顯的問題是在製作新模式中或修正現存的時,頻率響應感可能會受到連累。為改善此情況,Wiimote 可運作在兩個方向上。首先,要有能力製作模式與修正現有的。第二,透過直接操作SynthDef Ugens(單位產生器),使互動更具回應性。這些都能結合製作有效的互動系統來運作。雖然許多學習還有待挑戰。
..
..
結論
..就其簡單的實體上,Wiimote已經吸引了許多關注、檢驗與再部署來作為控制器。它以小包裝,提供許多的功能—這些完全可探討的。
..
..此處概述的本研究提供一些交戰形式,影響曲組結構與它們的表演。因為結構變得更複雜使用的裝置也變得有點無可避免的需要訓練與練習,就如同傳統樂器一樣。
..
..更重要的是,手勢變得更為精巧,或如本報告結尾所述,更出神入化。如果想找一個裝置,在該處,期待一般手臂與身體大幅度實體動作就會產生多變音調,那麼一定會大失所望。與模式/曲組一起運作需要聽與回應,這是技術的一部分,該技術必須經過超時與創作能力才能獲得想要的成果。

沒有留言:

張貼留言