．林豪鏘
．國立台南藝術大學．資訊長．副教授
．ISAC中華民國大專校院資訊服務協會監事
．現代詩人．網路行銷叢書作者
．明新科技大學資工系主任．資管所長．電算中心主任
．鑑榮資訊公司網路評量組長
．．
．．本文介紹在此次研討會中，由國立台南藝術大學與國立交通大學邀請參展的六件作品，其中包括了三件錄像裝置、二件數位輸出、一件傳輸藝術。這六件作品是：(1)軌跡 (林育聖)：使用拼格的方式來製造「動態」影像。某一種「暈眩」感是這件作品最想傳達出來的部分，它希望激起觀者強烈的身體感，一種從現實世界脫逸，但卻沒有方向、沒有目的，甚至在來不及思考的當下再度被拋擲回現實世界的種種先於意識的感官活動。(2) 東和五金 (蘇育賢)：在第一個層次上，作者是以私密作為基本策略來遭遇現實，讓知覺本身作為溝通的工具。在第二個層面，透過質感、姿態以及氣氛上的掌握讓慾望無法理所當然指涉現實。(3) 閱讀與可辨識 (陳信源)：我們不論身在何處，對於店家的認知與辨識，不再完全依賴店家招牌上所書寫的文字，取而代之的是，連鎖店的統一顏色與商標，或是特有的裝置。(4) 漫 (曾鈺涓 & 李家祥)：探討在訊息充斥的數位環境中，人類面對壯碩無盡的訊息洪流，無意識間接收訊息，並有意識的對訊息的產生之焦慮感狀態。現場參與者之影像被攝並再現於螢幕中之虛擬世界。以手電筒為搜尋概念之隱喻。當模糊影像不斷飛入，形成多層次的影像圖層與聲音呈現，此混雜的訊息閱讀過程，所呈現的感知是模糊與不可知的混雜之不確定感。(5) 那光譜如同小小點 (駱麗真 & 張耘之)：如曼陀羅般中心放射的光芒，如巴洛克般繁複堆疊出的視覺迷幻，在開場的童音漸漸沒入電音之後，一起為這快轉的萬花筒，擊掌演出。(6) 幸福晚餐系列 (林豪鏘)：作者記錄著回宿舍時，沿途期盼老婆準備的晚餐，那種幸福滿滿的感覺。本作品以老婆準備晚餐的聲音作為輸入控制源，隨機並且巧妙地勾勒出沿途景緻的輪廓，並且將物體色彩做了不斷的置換，因而產生一種奇幻的效果。由烹調聲音控制而產生的音樂，一樣有種在搖晃視覺裏充滿期盼的感受。於是，對於幸福晚餐的期待，紛紛化成了音符；眼前的畫面，也都因此有了節奏。
．．
1. 林育聖－『軌跡』(Trace)
．．林育聖目前為台南藝術大學造形藝術研究所研究生，生於台中市，現居台南。在其錄像裝置作品《軌跡》(Trace) 裡，林育聖使用拼格的方式來製造「動態」影像。其擷取了許多不同時刻所拍攝下的籃球飛行路徑，拼合成為一條球的飛行路徑。由於不同時刻攝影機拍攝角度些微的偏差，以及拍攝當時的天氣、服裝等視覺條件皆有所不同，拼合出來的結果除了一條順暢的飛行軌跡之外，快速變換的畫面是抖動、模糊的。
．．
．．這除了是作者自己對於時間、空間的某種想像與回答之外；也企圖表達出某一種特殊經驗─當經歷大量、反覆的同一動作之後，從外在感官遁入內在感官的知覺反轉；敏銳的內在時間感 (比物理時間慢的多)、前後文的斷裂 (腦中是許多畫面的重疊，沒有先後次序) 等。
．．
．．總體來說，某一種「暈眩」感對作者自己來說或許是這件作品最想傳達出來的部分。它不是一個純粹觀念性、思辨性的作品；它希望激起觀者強烈的身體感，一種從現實世界脫逸，但卻沒有方向、沒有目的，甚至在來不及思考的當下再度被拋擲回現實世界的種種先於意識的感官活動。
．．
．．而這些部分卻來自於層層的計畫；理性的拍攝與剪接方式。唯一無法事先掌控的，是拼合出來的畫面在每個人眼裡所打出的印象；因為即使是同一個人看許多次也會有許多次不同的印象。但即便是這個部分，也來自於人的視覺限制與剪接的工具限制，也同樣建立在某種邏輯之上。
．．
．．但是林育聖卻想透過這樣的方式來挑戰感性活動，而這或許也正是作者一直所追求的，藝術真正令其著迷的部分。
．．
2. 蘇育賢－『東和五金』(Dong-He Hardware)
．．蘇育賢1982年出生於台灣，現就讀於國立台南藝術大學造形藝術研究所，在其數位輸出作品『東和五金』(Dong-He Hardware) 中，作者對任何一種敘述作為藝術的「外延意義」(Denotation) 不感興趣 (這顯然是一則舊聞)，而往往造成「語言脫序」(ALanguage Disorder) 的感性身體 (Sense-Body) 就成了蘇育賢最熱烈追求的想像。
．．
．．私密是感性身體們彼此間的溝通基地，所以，在第一個層次上，蘇育賢是以私密作為基本策略來遭遇現實，讓知覺 (Sensation) 本身作為溝通的工具。在第二個層面，透過質感、姿態以及氣氛上的掌握讓慾望無法理所當然指涉現實，作品本身不與肉身「互為主體」(Inter-Subject)，也就是說，向作品投射過去的慾望並不回到身體作用，而是在一個想像的他處終結。
．．
．．甚至是說，蘇育賢在”平滑”出新的「崇高」(Sublime)。
．．
3. 陳信源－『閱讀與可辨識』(Seeing and Recognized)
．．陳信源出生於台北市，2005年國立新竹師範學院美勞教育系學士畢業，現就讀台南國立藝術大學造形藝術所二年級。在其數位輸出作品『閱讀與可辨識』(Seeing andBoom!快速與凝結新媒體的交互作用–臺澳新媒體藝術展49Recognized) 中，作者的創作理念為：全球化的連鎖店，已形成一種很普遍的置入式生活型態。如此情境造成我們不論身在何處，對於店家的認知與辨識，將不再完全依賴店家招牌上所書寫的文字，取而代之的是，連鎖店的統一顏色與商標，或是特有的裝置。本作品範例例如圖四至圖六所示。
．．
4. 曾鈺涓 & 李家祥－『漫』(Flow)
．．參與藝術家為曾鈺涓，參與工程師為李家祥。他們目前都是博士候選人，曾鈺涓為國立交通大學應用藝術研究所博士候選人
．．
．．(1992-1994紐約大學New York University，Studio Arts，藝術碩士M.A.)，李家祥為國立台北科技大學機電科技研究所博士班學生。
．．
．．他們的作品名稱為『漫』(Flow)，係一件網路互動藝術。創作年份為2006年，媒材為電腦、網路、投影機。作者的創作理念為：作品探討在訊息充斥的數位環境中，人類面對壯碩無盡的訊息洪流，無意識間接收訊息，並有意識的對訊息的產生之焦慮感狀態。網路上系統自動抓取之即時新聞影像，在前方螢幕中層疊形成幻影飛逝，新聞訊息轉換之語音從四方傳出。現場參與者之影像被攝並再現於螢幕中之虛擬世界。以手電筒為搜尋概念之隱喻，當光線照射影像時，影像被放大並清晰顯示，新聞訊息則被清晰唸出。然而當模糊影像不斷飛入，影像不斷的被放大與清晰，文字訊息也不斷的被唸出，形成多層次的影像圖層與聲音呈現，觀者仍然無法清楚辨識新聞訊息的內容，無法掌握訊息的意義。此混雜的訊息閱讀過程，所呈現的感知是模糊與不可知的混雜之不確定感。
．．
．．此狀態是一種無法以現象知覺解釋的感知現象，對於不可知的那一端，此端存在的我，在沒有真實顯現的視覺表象中，相信不顯現的虛擬存在。此透過科技媒體所產生的觀看，訊息與符碼在訊息的轉譯中，成為一種假象的存在。觀看者在瀏覽過程中，透過訊息的碎片，想像整體的存在，並在絢爛圖像與聲音交互刺激中，擁有自由的快感，遨遊於虛幻時空中的迷幻異想。
．．
5. 駱麗真 & 張耘之－『那光譜如同小小點』(Spectrum, the Sparkling Dots)
．．Video Art
．．駱麗真出生於基隆，2004年國立交通大學應用藝術研究所博士候選人，現任職明新科技大學講師、中華民國視覺藝術聯盟副理事長。張耘之出生於高雄，1993年NYIT碩士畢業，是一位相當知名的音樂家與聲音藝術家 (Sound Art)。
．．
．．在他們的錄像裝置作品『那光譜如同小小點』(Spectrum, the Sparkling Dots)中，結合了迷幻有趣的影像與音樂變化。如曼陀羅般中心放射的光芒，如巴洛克般繁複堆疊出的視覺迷幻，在開場的童音漸漸沒入電音之後，一起為這快轉的萬花筒，擊掌演出。作品畫面如圖九與圖十所示。
．．
6. 林豪鏘－『幸福晚餐系列』(Felicitous Dinner)
．．林豪鏘出生於台中，1997年國立清華大學資訊科學博士畢業，現任國立台南藝術大學副教授兼資訊長。
．．
．．其錄像裝置作品『幸福晚餐系列』(Felicitous Dinner) 是件互動藝術實驗創作，運用Max/MSP/Jitter程式與Sobel運算，並結合影像、聲音、MIDI音樂之間的互動。在短片中，作者記錄著回宿舍時，沿途期盼老婆準備的晚餐，那種幸福滿滿的感覺。
．．
．．本作品以老婆準備晚餐的聲音作為輸入控制源，同時邊緣偵測扮演了重要角色。它隨機並且巧妙地勾勒出沿途景緻的輪廓，並且將物體色彩做了不斷的置換，因而產生一種奇幻的效果。
．．
．．由烹調聲音控制而產生的音樂，一樣有種在搖晃視覺裏充滿期盼的感受。於是，作者對於幸福晚餐的期待，紛紛化成了音符；眼前的畫面，也都因此有了節奏。
．．
．．接下來，本文將以『幸福晚餐系列』作品為例，說明如何完成一件數位藝術創作的製作流程。
．．
7. 『幸福晚餐』系列作品之製作流程
．．本作品的製作流程如圖十一所示，包含下列諸步驟：分貝轉換、追蹤聲音訊號的音量峰值、自動事件偵測、使用聲音事件訊息、邊緣偵測、由聲音產生MIDI音樂、由聲音控制影像變化、自動變換影像RGB亮度，我們將在論文中簡單介紹。
．．
7.1 邊緣偵測
．．本創作是使用Sobel運算子檢測法來做邊緣的搜尋。Sobel運算子是使用一階導數的方法來處理圖像，因為導數增強了雜訊，Sobel運算子的此特點就特別具有吸引力 [27]。為了消除不必要的雜訊，可事先對雜訊加以適當處理 [2] [5] [6] [10] [27]。
．．
．．相較於Roberts Cross Operator，Sobel Operator雖然運算較慢，但Noise-Sensitive的問題較小，並且由於Smoothing效果，具有較粗的邊緣線條，頗適合本次作品所需要的效果[10]。
．．
7.2 以聲音訊號控制作品變化
．．本作品參考Cycling74公司 (2007) 的Jitter Tutorial [3]，以及李岳凌 (2006) 所譯的課程手冊 [21]，進行若干程式與參數設定，並展示如何追蹤MSP聲音訊號的強度，說明如何用聲音強度的變化分辨出單一聲音事件，以及如何驅動影像或特效 [3] [13] [21]。
．．
．．我們用聲音作為控制源，可控制影像變化以及MIDI音樂產出。我們可以直接從外界聲源 (例如麥克風) 輸入，或者使用事先收音的聲音檔。
．．
7.3 追蹤頂點音量值
．．當我們要追蹤聲音音量，以作為Max內的控制資料源，一般常使用下列三種物件：(1) snapshot~ 物件：取得即時聲音強度，(2) avg~物件：得到某段時間內的平均強度，(3) 用peakamp~ 物件：得到訊號峰值 (Peak Value)。經過反覆實驗，我們發現在這次作品中，採用peakamp~ 來追蹤峰值的效果較好。每隔固定時間，peakamp~ 會送出頂點強度值。因此，我們可追蹤聲音訊號的音量峰值，並依以追蹤聲音音量。
．．
7.4 分貝轉換
．．人類對於聲音的音量感知，係相對音量間的比例關係，而非絕對音量的線性關係，換言之就是「分貝」。因此，我們接收peakamp~ 的頂點強度，並將換算為分貝。大抵而言，我們將強度1轉換成0 dB，因此較低強度則轉換為負值。將「聲音強度」轉為「分貝」的公式如下所示，其中A為接收的聲音強度，A0則為參考強度 [3] [21]：
．．
．．在現場收音時，常常會有一些低音量雜訊，這些我們不想要的雜訊稱作NoiseFloor。因此我們設定Noise Floor門檻，因為只分析門檻以上的聲音會較精確。接下來，我們採用Cycling74的AtodB子程式，過濾出我們想要使用的音量，並將之延展到整個分貝範圍內。我們設定的範圍是0到-120分貝 [3] [21]。
．．
7.5 自動事件偵測
．．我們可以分析聲音的「結構」，以追蹤其「聲音事件」的「拍子」。因此這裏有兩項關鍵：
．．起音 (Attack)：當音量上升超過某個門檻值，視為一個聲音事件的起音。
．．事件結束：當聲音低於門檻一段時間後，則視為此事件的結束。
．．因此，我們必須設定下列參數：
．．起音門檻：聲音超過此值將被視為一個「事件」的開端，也因此是一個「音符」的起頭。
．．等待時間：開始尋找音量降回門檻值以下的等待時間。
．．當音量超過門檻值，且到達局部最大值時，則系統判斷此處為一聲音事件 [3] [21]。
．．
7.6 由聲音產生MIDI音樂
．．處理一個新的音量時，如果其已滿足兩項條件：(1) 音量大於門檻值、(2) 尚未產生一個音符，那麼我們會繼續觀察，直到強度值不再增加，此時就是要送出的頂點音量值。我們以此音量驅動MIDI音符，並決定MIDI音符的音高、速度、音長 [3] [21]：
．．(1) 藉由經過延伸的分貝值，得到MIDI的音高與速度。
．．(2) 將此範圍限定在0-120間 (一律加上120)，當作為MIDI的「速度」。
．．(3) 接下來，再將此值對應到96-36之間 (除以-2，再加上96)，作為MIDI的「音高」。
．．(4) 經由步驟 (3)，我們已將範圍顛倒。因此低音的音量較大，高音音量較小。
．．(5) 「音符長度」則由上節所設定的「等待時間」決定。
．．
7.7 使用聲音事件訊息控制影像變化
．．我們直接在事件發生時，同時驅動其他不同的物件 [3]。當偵測到聲音事件時，我們開始進行影像特效處理 [21]。本作品中主要有下列影像處理：
．．(1) 對輸入的景物影像進行邊緣偵測，以勾勒其「輪廓」。
．．(2) 對已勾勒輪廓的物體，不斷進行顏色置換。
．．(3) 根據「事件」的「節奏」，以隨機的機制自動變換影像的亮度。
．．(4) 將影像分成RGB三個向度。
．．(5) 分別針對三個不同向度，以不同速度擴散物體的輪廓。
．．(6) 將每個Frame被處理過的畫面，連續進行重疊。
．．
7.8 創作成果展示
．．這個「幸福晚餐系列」作品，是件很小品的互動藝術實驗創作。在這個短短片段中，我記錄著回宿舍時，沿途期盼老婆準備的晚餐，那種幸福滿滿的感覺。[幸福晚餐系列，之一] 幸福滿滿的聲音http://web.tnnua.edu.tw/~koong/GoHomeBridge-0113.wmv
．．
．．值得一提的，是這件作品的互動性。在原始作品中，我們可以透過麥克風輸入不同聲音 (例如講一段話)，程式會依此自動產生一段 MIDI 旋律，畫面也會對應著產生不同節奏。而在這個版本中，輸入的則是老婆在廚房烹調的忙碌聲音。
．．
．．在這件作品中，邊緣偵測扮演了重要角色。它隨機並且巧妙地勾勒出沿途景緻的輪廓。並且將物體色彩做了不斷的置換，而產生一種奇幻的效果。由烹調聲音控制而產生的音樂，一樣有種在搖晃視覺裏充滿期盼的感受。
．．
．．於是，我對於幸福晚餐的期待，紛紛化成了音符；而眼前的畫面，也都因此有了節奏。
．．
．．[幸福晚餐系列，之二] 幸福晚餐熱情版http://web.tnnua.edu.tw/~koong/HotDinnerY.wmv福晚餐也可以很熱情噢!
．．
．．本作品一樣以老婆準備晚餐的聲音為輸入控制源，另外設計處理方式，產生了截然不同的非具像畫面。烹調的聲音被轉換成了較強烈節奏的音樂，加上強烈的飽和色彩變化，讓整件作品充滿了熱情的感受。
．．
．．[幸福晚餐系列，之三]幸福常駐於一個思念的刻度http://web.tnnua.edu.tw/~koong/GreenDinner.wm
．．
．．這次，你可以把喇叭開大，聆聽思念的聲音。或者關掉喇叭，在靜謐中思念幸福。因為，幸福常駐於一個思念的刻度。
．．
．．這次產生的聲音，類似靜謐中的甘美朗音樂 [34]，在固定的音程中，敲出音樂的基調，即是旋律的骨架，穩定而平靜。畫面一開始七彩繽紛，但形體與色彩不斷更迭，漸漸幻化成平淡的顏色。其間有如雲煙般的影像轉換，以及短暫的畫面停格，正描繪了常駐於一個思念刻度的幸福。
．．
．．我寫了一小段詩句，但來呼應這件透過新媒體展現的Video Art作品：
．．今夜無事。我收集草木輕淺的呼聲
．．「洞悉了所謂的幸福之感，」我驚愕發現，
．．是一種莫可名狀的喜悅，
．．值以令人拆卸多餘的思考。
．．是以透明的語調驟具十足的彈性
．．可從酷烈的性情中 析出可愛的溫柔。
．．是以卓越的心情攬夢而醒
．．濾情了心境，止於一種思念。
．．
8. 結論
．．本文介紹在此次研討會中，由國立台南藝術大學與國立交通大學邀請參展的六件作品，這六件作品是：(1) 軌跡 (林育聖)，(2) 東和五金 (蘇育賢)，(3) 閱讀與可辨識 (陳信源)，(4) 漫 (曾鈺涓 & 李家祥)，(5) 那光譜如同小小點 (駱麗真 & 張耘之)，(6) 幸福晚餐系列 (林豪鏘)。此外，本論文藉由介紹「幸福晚餐系列」數位藝術作品的設計，展示資訊科技與藝術創作結合的可能性。我們認為這兩個領域的專業人才應該加強交流與合作，方可為新媒體藝術 (包括科技藝術、數位藝術、網路藝術、互動藝術等等) 開拓更寬廣局面。
．．
．．本作品所運用的資訊科技，是原本就為了整合科技與藝術而研發的Max/MSP/Jitter。我們使用它進行程式設計、流程邏輯、參數設定，並且針對Video Art的影像處理，我們採用了Sobel邊緣偵測等等技術，讓畫面呈現出奇幻的變化。
．．
．．我們巧妙結合了聲音、影像、MIDI音樂三項媒介元素，在整合三者之間的互動時，得到有趣的效果。本作品在數位設計上展現的互動性，正是一個可寫文本的形式。觀眾在參與作品呈現時，基於個人對於過去類似經驗而產生的共鳴與回饋，讓作品有了互文性的迴響。
．．
參考文獻
．[1] Arango, Mauricio (2005) “Vanishing Point”, http://www.low-fi.org.uk/vanishingpoint/ .
．[2] Boyle, R. and R. Thomas (1988) Computer Vision: A First Course, Blackwell ScientificPublications, pp 48 - 50.
．[3] Cycling74 (2007), http://www.cycling74.com/
．[4] Danto, Authur C. (2004) 在藝術終結之後：當代藝術與歷史藩籬。林雅琪，鄭慧雯譯。台北：麥田出版。
．[5] Davies, E.R. (1988) Application of the generalized Hough transform to corner detection. IEEProc. E 135, 49-54.
．[6] Davies, E.R. (1990) Machine Vision: Theory, Algorithms and Practicalities, Academic Press,Chap. 5.
．[7] Dean, Roger (2003) Hyperimprovisation: Computer-Interactive Sound Improvisation, A-REditions.
．[8] Gonzalez, Rafael C. & Richard E. Woods (1992) Digital Image Processing, Addison Wesley,1992, pp 414 - 428.
．[9] Grau, Oliver (2003) Virtual Art. Massachusetts: MIT Press.
．[10] HIPR2 (2007) Sobel Edge Detector, http://homepages.inf.ed.ac.uk/rbf/HIPR2/sobel.htm．
．[11] http://www.csie.mcu.edu.tw/~s1360206/hk8.htm
．[12] Manovich, Lev. (2001) The Language of New Media, Massachusetts: MIT Press.
．[13] Max/MSP「互動音樂」、「互動藝術」中文論壇 (2007) http://home.guestbook.com.tw/b2/index.php?mforum=cwcheng
．[14] Saltz, David Zucker (1997) The Arts of Interaction: Interactivity, Performativity andComputers, Journal of Aesthetics and Art Criticism, Special Issue on Art and Technology,55(2): 17-127.
．[15] Toner (2006) MaxMSP到底用在哪? http://home.guestbook.com.tw/b2/viewtopic.php?t=188&mforum=cwcheng
．[16] Tseng, Yu-Chuan and Chia-Hsiang Lee (2006) "Flow- An Interactive AJAX-based InternetInformation Requesting System",? ACM Multimedia 2006 Interactive Art Program "Remote", Short paper.
．[17] Varnedoe, Kirk, and Adam Gopnik (1990) High and Low: Modern Art and Popular Culture.New York: Museum of Modern Art.
．[18] Winkler, Todd (1988) Composing Interactive Music: Techniques and Ideas Using Max.Boston: The MIT Press.
．[19] Zanni, Carlo (2004) “AVERAGE SHOVELER”.http://www.zanni.org/average/.
．[20] 王俊傑 (2004)「漫遊者－2004國際數位藝術大展」－全互動裝置作品完整呈現數位藝術發展脈絡，http://navigator.digiarts.org.tw/lounge/news02-0525.html.
．[21] 李岳凌 (2006) M之道，Jitter Tutorial中譯，http://maxmsp.recorderz.org/category/jittertutorial/
．[22] 林珮淳、范銀霞 (2004) 從數位藝術探討互動觀念、媒介與美學，藝術學報。
．[23] 張向勻 (2004) 霍氏轉換於圓偵測之應用，http://nova.bime.ntu.edu.tw/~ttlin/Course01/examples/c1project_example10.htm
．[24] 曾鈺涓 (2002) (Click), www.pyart.com
．[25] 曾鈺涓 (2003) 科技革命與藝術創作，台灣美術第52期，頁32。台中：國立台灣美術館。
．[26] 曾鈺涓 (2005) 電玩遊戲成為藝術形式的可能性，中外文學，第34卷第3期，臺北：台灣大學外文系，p65-84
．[27] 黃榮興、李仙耀、張智翔 (2005) 應用聰明感測技術於錶殼弧面厚度之即時量
沒有留言:
張貼留言