一種圖像向音樂(lè)轉(zhuǎn)化的方法

摘 要 對(duì)圖像與音樂(lè)之間的映射關(guān)系及映射規(guī)律進(jìn)行了探討 利用圖像與音樂(lè)之間的對(duì)應(yīng)關(guān)系 根據(jù)一定的科學(xué)與藝術(shù)規(guī)則 提出相應(yīng)的算法將圖像的原始信息轉(zhuǎn)化為MIDI音樂(lè)。

關(guān)鍵詞 圖像 音樂(lè) 圖像向音樂(lè)轉(zhuǎn)化 同構(gòu)聯(lián)覺(jué) MIDI音樂(lè)

自古以來(lái)書(shū)畫(huà)和音樂(lè)就是一對(duì)孿生姐妹，當(dāng)人們陶醉于世界大師筆下的美術(shù)與攝影作品的水墨丹青之時(shí)，一首基于該作品的美妙音樂(lè)似乎就縈繞在耳旁。例如，在欣賞“奔騰黃河”的畫(huà)卷時(shí)，人們似乎能聽(tīng)到黃河的咆哮聲；在欣賞“山林晨曲”的畫(huà)卷時(shí)，人們又好象聽(tīng)到了山間小溪的潺潺流水聲、林中小鳥(niǎo)委婉動(dòng)聽(tīng)的歌唱聲。本研究受以上聯(lián)想的啟發(fā)，根據(jù)一定的科學(xué)與藝術(shù)規(guī)則，探索圖像與音樂(lè)之間的映射關(guān)系和映射規(guī)律，將圖像信息轉(zhuǎn)化為MIDI音樂(lè)，使人們第一次感受到“聽(tīng)畫(huà)”的驚喜。

１ 圖像與音樂(lè)的對(duì)應(yīng)關(guān)系

無(wú)論是西方社會(huì)還是東方社會(huì)，都有人把音樂(lè)與顏色對(duì)應(yīng)起來(lái)。例如，早在十七世紀(jì)物理學(xué)家牛頓就曾以赤、橙、黃、綠、青、藍(lán)、紫對(duì)應(yīng)于C、D、、F、G、A、七個(gè)音名。音樂(lè)的高低指音響有規(guī)律的排序即由低到高再由高到低形成一種和諧的階梯式音列；音樂(lè)的旋律是指一條條由音符串綴起來(lái)的線條，它是根據(jù)人的情感的高低起伏將音符或級(jí)進(jìn)或跳躍組合形成的；而圖像中多彩繽紛的景色也是根據(jù)人的情感用丹青層層遞進(jìn)繪出的。音樂(lè)中音調(diào)的變化快慢，即音的長(zhǎng)短，形成了節(jié)奏。節(jié)奏在音樂(lè)作品中總是與節(jié)拍結(jié)合在一起的。音無(wú)論長(zhǎng)短，在一個(gè)小節(jié)的單位范圍內(nèi)，其奏鳴總有循環(huán)往復(fù)的輕拍與重拍的交替。一般而言，節(jié)奏由于有了強(qiáng)弱節(jié)拍的內(nèi)在韻律，又由于有音的長(zhǎng)短內(nèi)外對(duì)比的交錯(cuò)，往往顯示一種力度。這種力度正是支持旋律流動(dòng)的支架。由于節(jié)奏支撐著音調(diào)，在時(shí)間過(guò)程中展開(kāi)，因此，它就與音樂(lè)進(jìn)行的快慢息息相關(guān)。而速度快慢可以使音高與長(zhǎng)短，即旋律與節(jié)奏產(chǎn)生不同的表現(xiàn)效果；對(duì)于圖像而言，它本身也有色彩、亮度等變化劇烈或平緩的表現(xiàn)，人們形容圖像作品時(shí)也常用諸如明快、暗淡、柔和、粗獷之類的音樂(lè)術(shù)語(yǔ)進(jìn)行描述。

音樂(lè)是在時(shí)間中展開(kāi)、以訴諸聽(tīng)覺(jué)的聲音為基本材料的藝術(shù)。因此時(shí)間及表示聲音基本特征的音調(diào)、音強(qiáng)、音色就構(gòu)成了音樂(lè)的基本要素。在人的體驗(yàn)中，聽(tīng)覺(jué)的高頻音和視覺(jué)中明亮的色調(diào)具有一種潛在的聯(lián)系，這種聯(lián)系給人以“上升的感覺(jué)”；反之，聽(tīng)覺(jué)中的低頻音與視覺(jué)中黑暗的色調(diào)由于與“下沉的感覺(jué)”相類似而被聯(lián)系在一起。音調(diào)越‘低沉’，體驗(yàn)到的顏色越‘深’；反之，較‘高’的音調(diào)會(huì)引起‘淺’亮的感覺(jué)。因此可以看出，音樂(lè)與顏色有著明顯的直覺(jué)類比關(guān)系。因此直覺(jué)體驗(yàn)方向上的相同就使不同感覺(jué)視覺(jué)與聽(tīng)覺(jué)之間發(fā)生同構(gòu)聯(lián)覺(jué)。

２ 圖像向音樂(lè)的轉(zhuǎn)化

圖像向音樂(lè)轉(zhuǎn)化的系統(tǒng)框圖如圖１所示，首先將圖像文件中的數(shù)據(jù)讀入文本文件；再對(duì)文本文件中的數(shù)據(jù)進(jìn)行處理；然后將處理后的數(shù)據(jù)轉(zhuǎn)化成規(guī)定好的“音樂(lè)符號(hào)”；最后將“音樂(lè)符號(hào)”轉(zhuǎn)換成MIDI音樂(lè)。

由于音樂(lè)與顏色之間存在直覺(jué)類比關(guān)系，所以本文中圖像信息向音樂(lè)的轉(zhuǎn)換不是指通常意義上的多媒體技術(shù)，而是利用圖像與音樂(lè)之間的對(duì)應(yīng)關(guān)系，根據(jù)一定的科學(xué)與藝術(shù)規(guī)則提出相應(yīng)的算法，對(duì)圖像的原始信息進(jìn)行處理后轉(zhuǎn)化為MIDI音樂(lè)。

2.1 圖像數(shù)據(jù)的讀取與顏色模型

本論文是用24位真彩BMP文件格式存放圖像RGB的灰度值，但由于HSV（色彩Ｈ、飽和度Ｓ、明度Ｖ）模型是直接與藝術(shù)家使用顏色的直觀表現(xiàn)相聯(lián)系的，所以為了更貼近人的感覺(jué)，本系統(tǒng)進(jìn)行處理的圖像數(shù)據(jù)采用的是顏色模型HSV中的色彩（H）信息。這里通過(guò)式(1)所示的RGB模型與HSV模型之間的轉(zhuǎn)換關(guān)系式將RGB模型的灰度值數(shù)據(jù)轉(zhuǎn)換為HSV模型的數(shù)據(jù)。

圖像與音樂(lè)的最大區(qū)別是：圖像是在二維空間展開(kāi)，而音樂(lè)則是一維時(shí)基類媒體中展開(kāi)的。由于音符必須有一個(gè)時(shí)間延續(xù)方向才能組成樂(lè)曲，所以按照大多數(shù)人欣賞書(shū)畫(huà)的習(xí)慣，本論文采用圖像的縱向（由上而下）為數(shù)據(jù)的處理方向，即為音樂(lè)的前進(jìn)方向。



2.3 數(shù)據(jù)向音符的轉(zhuǎn)化

參照鋼琴的鍵盤將音調(diào)分為高、中、低三個(gè)音區(qū)，規(guī)定用“c、d、e、f、g、a、b”表示低音區(qū)的七個(gè)音名；用“1、2、3、4、5、6、7”表示中音區(qū)的七個(gè)音名；用“C、D、E、F、G、A、B”表示高音區(qū)的七個(gè)音名。在音名前的“／”表示升八度；“＼”表示降八度；空白則表示不升也不降。緊跟音名后的“ｂ”表示降半音；“＃”表示升半音。從低到高依次分為大字二組、大字一組、大字組、小字組、小字一組、小字二組、小字三組、小字四組、小字五組等九個(gè)音組。除了大字二組僅含有三種音調(diào)與小字五組僅含有一種音調(diào)之外，其余七組均含有七個(gè)基本音（鋼琴的白鍵）和五個(gè)半音（鋼琴的黑鍵）等十二種音調(diào)。又由于有些音如“c”，它的升半音“＃c”與其相鄰音“d”的降半音“bd”相同。所以我們統(tǒng)一規(guī)定均用前一個(gè)音的升半音表示。則一組完整的音組就由“1、2、3、4、5、6、7”七個(gè)全音加上“＃1、＃2、＃4、＃5、＃6”五個(gè)半音組成。這樣就可以將音符和圖像色彩對(duì)應(yīng)起來(lái)：

。通過(guò)顏色中的色彩變化來(lái)控制節(jié)奏（音樂(lè)的變化）是容易使人接受的；另外，對(duì)于14個(gè)通道樂(lè)器的節(jié)奏分別用其各自列的數(shù)據(jù)來(lái)進(jìn)行控制。并用Difference來(lái)表示各列相鄰兩元素色彩差值的絕對(duì)值，由公式（4）將色彩對(duì)應(yīng)到11種音長(zhǎng)(節(jié)奏速度)上。

2.4 音符文本向MIDI音樂(lè)的轉(zhuǎn)化

由于MIDI文件包含頭塊和音軌塊兩部分(5)，其格式一般如下：

MIDI文件頭結(jié)構(gòu)

struct MH

{

char MIDIld; MIDI文件標(biāo)志MThd

long length 頭塊結(jié)構(gòu)信息長(zhǎng)度

int format; 存放的格式

int nTracks; 音軌數(shù)目

int PerPaiNum; 每節(jié)計(jì)數(shù)器值

}；

音軌頭結(jié)構(gòu)

struct TH

 {

char Trackld; 磁道標(biāo)志MTrk

long length; 信息長(zhǎng)度

}

按照MIDI文件格式的規(guī)定，將音符翻譯成MIDI事件代碼，加上文件頭和音軌頭，寫(xiě)入MIDI文件，加上適當(dāng)?shù)挠布O(shè)備就可將其播放出來(lái)。

本研究初步探索出了圖像與音樂(lè)之間的映射關(guān)系和映射規(guī)律，提出了一種圖像向音樂(lè)轉(zhuǎn)化的算法，對(duì)圖像向音樂(lè)的轉(zhuǎn)化進(jìn)行了大膽的嘗試，使人們用聽(tīng)覺(jué)感受到了視覺(jué)享受的效果。再則本研究還具有廣闊的應(yīng)用領(lǐng)域，例如，“聽(tīng)名畫(huà)”、“聽(tīng)名景”將可能成為21世紀(jì)的一種高雅文化；另外由于MIDI文件容量較小，隨著世界網(wǎng)絡(luò)化的不斷發(fā)展，圖像情報(bào)的音樂(lè)加密可以作為一種很好的加密手段。