International Symposium on Grids & Clouds 2017

2017/3/5-10 @ Academia Sinica, Taipei, Taiwan

Listening to the ecosystem: the integration of machine learning and a long-term soundscape monitoring network

Tzu-Hao Lin, Yu Tsao
Research Center for Information Technology Innovation, Academia Sinica

Yu-Huang Wang
Taiwan Biodiversity Information Facility, Biodiversity Research Center, Academia Sinica

Han-Wei Yen
Academia Sinica Grid Computing

Information on the variability of environment and biodiversity is essential for conservation management. In recent years, soundscape monitoring has been proposed as a new approach to assess the dynamics of biodiversity. Soundscape is the collection of biological sound, environmental sound, and anthropogenic noise, which provide us the essential information regarding the nature environment, behavior of calling animals, and human activities. The recent developments of recording networks facilitate the field surveys in remote forests and deep marine environments. However, analysis of big acoustic data is still a challenging task due to the lack of sufficient database to recognize various animal vocalizations. Therefore, we have developed three tools for analyzing and visualizing soundscape data: (1) long-term spectrogram viewer, (2) biological chorus detector, (3) soundscape event classifier. The long-term spectrogram viewer helps users to visualize weeks or months of recordings and evaluate the dynamics of soundscape. The biological chorus detector can automatically recognize the biological chorus without any sound template. We can separate the biological chorus and non-biological noise from a long-term spectrogram and unsupervised identify various biological events by using the soundscape event classifier. We have applied these tools on terrestrial and marine recordings collected in Taiwan to investigate the variability of environment and biodiversity. In the future, we will integrate these tools with the Asian Soundscape monitoring network. Through the open data of soundscape, we hope to provide ecological researcher and citizens an interactive platform to study the dynamics of ecosystem and the interactions among acoustic environment, biodiversity, and human activities.

海洋聲景與魚類的聽覺感知

如果我們是海洋裡的一隻魚,聽不見聲音會怎麼樣

這是個難以回答的問題,畢竟子非魚,怎知海洋聲音在魚聽起來是甚麼樣子甚至許多人會疑問,魚能夠聽得到聲音嗎?

對於會發出聲音的魚類,例如石首魚,這些發聲魚類會利用聲音溝通、求偶,毫無疑問的我們會認為這些發聲魚類應該也能夠敏銳地察覺聲音,否則無法和同類溝通。但對於更多不會發出聲音的魚類來說,難道聲音對牠們毫無意義嗎?

刊登在2009Integrative ZoologySoundscapes and the sense of hearing fishes一文中,作者Richard Fay彙整了近年的研究結果,認為聲音感知的能力對於海洋魚類極其重要。就像我們人類一樣,可以從聲音反射、各種設施運作的噪音分辨室內的密閉空間和室外公共場合,透過敲打物體或聆聽樂器發聲可以從其音色來了解材質構造。海洋中的聲音來自於風浪、降雨以及各種生物、人為活動,聲音就像光線一樣讓整個水下環境沉浸其中,從聲音的傳播、反射形成的音場,提供了海洋生物探測周遭環境、尋找方位以及行為反應的資訊來源。

每一種類型的海洋環境因為在其中不同的生物群聚組成、海床物理特性的差異會有著明顯不同的聲景。換句話說,在不同海洋環境所聆聽到的聲音音量、訊號特徵、出現的時間特性可能有很大的差異。可是,這對海洋魚類來說有甚麼重要的意義嗎研究發現,許多礁岩性的魚類,在較深水域生活的仔魚成長之後會回到礁岩繁殖、交配,當研究人員在新放置的礁岩中利用水下喇叭撥放出在礁岩中所錄製的槍蝦和魚類聲音時,比起沒有撥放聲音的礁岩,幼魚的數量明顯在這些利用錄音裝飾的礁岩中來得高,顯示海洋魚類確實會透過環境中的各種聲音,也就是海洋聲景來尋找其偏好的棲地環境。

 苗栗魚礁聲景
 外傘頂洲聲景

然而,海洋中的聲音極其多樣,在一個吵雜的環境之中魚類是否還可以察覺出不同類型的聲音訊號以石首魚來說,河口附近的石首魚群在傍晚過後會群體鳴唱,吵雜的程度好比夜市一樣。石首魚個體在許多同類共同大聲喧嘩的狀況下是否還能有效地透過聲音溝通、尋找交配的對象雖然目前仍無法確定魚類是否可以精確的定位聲源,但透過實驗也發現魚類似乎可以從角度的差異來察覺被噪音所遮蓋的訊號。此外,當多個聲音訊號同時出現,魚類也可以利用音頻特徵和脈衝波的重複次數來辨別不同的聲音類型,這種聽覺辨認的解析能力在兩種聲音音頻特徵差距越大時會更加提升。

石首魚群體鳴唱

雖然目前的科學研究對於魚類聽覺的了解還不是相當透徹,新的研究也可能會產生和過去相互矛盾的結果。儘管如此,越來越多研究人員皆認同聽覺感知對於海洋魚類的生存相當重要。過去大多認為只有生物發出的聲音才具有生物意義,但越來越多的證據顯示環境聲音對於生物本身也具有相當大的重要性,如同光線讓陸域動物得以透過視覺了解環境,海洋中的聲音則是魚類賴以為生的感知來源。在了解了這些之後,或許我們也應該開始注意噪音對海洋生物的影響是甚麼魚類透過感知聲景來尋找其偏好的礁岩棲地,那如果在礁岩的附近興建了大型離岸海事工程,雖然沒有破壞礁岩本身但釋放的噪音卻大幅改變了當地聲景,在這種聲景被破壞的狀況下,遷徙的魚類還能尋找到偏好的棲地嗎甚至我們的漁業資源量會不會因為海洋日益增加的人為噪音而下降為了海洋環境的永續發展,讓我們持續聆聽海洋聲音來了解這些問題的答案。

參考資料:

1. Richard Fay (2009) Soundscapes and the sense of hearing of fishes. Integrative Zoology 4: 26-32.
2. Stephen D. Simpson, Mark Meekan, John Montgomery, Rob McCauley, Andrew Jeffs (2005) Homeward sound. Science 308: 221.

2014年秋季ASA會議

美國聲學協會(Acoustic Society of America, ASA)每年會舉辦兩次研討會,讓各國研究聲學相關領域的研究人員們可以互相分享最新的研究成果,並洽談可能的合作機會。我也參加了201410月底在美國印第安納波里斯擧辦的會議,當然主要的興趣也是放在動物聲學(Animal bioacoustic, AB)這塊。

會議內容可以參閱ASA的連結: ASA fall meeting full program

今年的AB session討論的主題已經從過去的towed acoustic survey或是fixed platform(當然還是AB的重點項目之一),轉到autonomous mobile platform上,例如wave glider或是sea glider。這些平台可以長時間在海洋下進行海洋環境調查、環境噪音分析、魚類和海洋哺乳類聲音偵測與定位、甚至是船艦聲音偵測等任務。透過GPS的定位,這些自主式移動平台甚至在某些情形下可以替代傳統以船隻進行的調查,並且可以潛入深海進行任務。這些自主式平台甚至具備即時衛星通訊的能力,因此研究單位可以即時監測部分的調查資料、遠端改變任務規劃,或針對特殊事件即時監測,不管是在科學研究、海洋管理,甚至是國防上,潛力都是….無窮啊。

有趣的是,最近幾年參加的AB session,都是以海洋生態、尤其是鯨豚活動監測為最主要的研究主題,反而陸域的動物聲學研究主題越來越少或許這多少也反映了海洋研究對於水下聲學技術的高度需求吧。利用水下聲學獨立執行穿越線調查動物的分佈趨勢與密度也是今年會議的重點,跳脫傳統在flxed platform只能用point transect survey,這幾年mobile platform的發展讓line transect survey的未來應用更加廣泛。同時,透過多組水下麥克風組成的陣列,除了應用傳統的麥克風時間差來定位聲源,今年也有許多研究應用sound propagation modeling來協助單聲道或雙聲道水下錄音進行聲源定位或是聲源分布機率模擬。這些技術都可以大幅協助海洋動物密度調查、甚至是海洋生態環境的研究。

海洋生態環境的研究中,除了我們台灣大學研究團隊針對多種共域鯨豚的季節性活動進行調查之外,許多國外研究團隊也針對鯨豚和魚類、深海散射層等進行prey-predator relationship的探討,這些研究應用了被動與主動式聲學、訊號偵測與分類等各種技術嘗試解決長久以來的各種海洋生態問題,都獲得了不錯的成果。應用水下聲學在生態環境的研究中,又以聲境(soundscape)分析最為新穎與特別。聲境分析絕對不只是把環境噪音的頻譜能量分析一下,就說這是聲音環境的snapshot…聲境分析其實非常需要自動化事件偵測(尤其是廣義偵測器 generalized detector)、訊號分類與聲源定位這些技術的應用。最新的研究也顯示利用L型水下麥克風陣列可以觀察到水下聲境在空間與時間上的高度變異性。在未來如果搭配水下錄影或是資料庫辨識後,我相信海洋生態系研究的困難將可能可以大幅降低,並且讓大家可以有更多種方法了解海洋生態。

無論如何,可以發現海洋生態研究是多麼的需要各種不同領域的人參與合作,才能夠產出優良的科研成果。如果只是固守著自己過去學的技術、理論,而不持續學習最新的研究方向,並跨領域積極開放合作與資料分享,那在海洋研究上必定會落後別人,甚至是被遠遠抛在腦後。

竊聽生態系的變化

竊聽生態系的變化?

可能很多人頭上會冒出很多問號,生態系的變化可以用眼睛觀察,但是要怎麼樣聽呢? 其實錄音也是一種不同於目視觀察的科學研究方法,透過收聽環境裡面的背景噪音(例如溪流、風聲和雨聲)、動物的叫聲(求偶聲、覓食聲)、以及人為活動的噪音(車聲、開發活動噪音)。最近一篇刊載Science的文章,就專文介紹了近年來科學界利用被動式聲學(passive acoustic monitoring)探討生物多樣性、生態系變動的研究方法。有興趣的人可以到下列網址閱讀全文,或在此觀看Science-2014-Servick-834-7

http://www.sciencemag.org/content/343/6173/834.full

在每一個環境中所聽到的每一個聲音都有其來源(生物性 or 非生物性),透過追蹤這些不同聲音的來源,其實我們可以推敲某些動物是否在此活動,或是了解當時環境的狀況。舉例來說,早晨時聽到雞鳴,即使我們沒有看到任何東西,我們也自然的會聯想到附近有一隻公雞。當我們聽到窗外的暴雨聲,我們會跟同事哀怨著又下起了午後雷陣雨。這些推測並不是來自於親自看到,而是來自於聽到的體驗。這個簡單的概念現在被應用在野生動物研究上,當我們知道昆蟲、蛙類、鳥類、哺乳動物發出的各種聲音,我們便可以利用這些聲音的出現時間來推敲這些發聲動物的主要活動時間,甚至了解一整個群聚的生態變動。

例如,當我們去爬郊山時,傍晚走在溪澗、山溝附近時,經常可以聽到許多種類的蛙鳴。但是隨著山區道路的開發,山溝漸漸水泥化,慢慢地你可能還是會聽到很大量的蛙鳴,但是聲音的種類變少了。我想這樣的狀況,就連國小六年級的學生都想到的,這個生態系到底發生了甚麼改變吧? 環境中的生態多樣性可能隨著山溝環境的改變而降低了。

那可能有人會問,如果要了解生態多樣性的改變,我們不就找人去調查就好了嗎? 的確,要真正的證實環境變化,最好的方法就是直接了解這個生態系的物種組成。但是人難找、錢也沒有阿! 生態系調查其實不是我們想像的這麼簡單,派幾個人去做做紀錄、翻翻圖鑑就好。這些調查人員往往需要長時間的訓練,更需要對分類物種的技術熟悉,甚至可能還要時時對現有的物種分類依據抱持懷疑。假使人有了,錢呢? 不要說政府對於環境監控的冷漠,就連一般企業和民眾可能也覺得我幹嘛要注意我周遭環境的變化勒,那不是政府的責任嗎? 我想正是整個社會對於環境監測的冷漠,造就了很多開發過程的衝突。

Ocean_soundscape

這張圖顯示了台灣西海岸的淺海聲音環境在兩天中的日夜變化。X軸是時間、Y軸是聲音的頻率(kHz)。在6/14和15的子夜前6個小時,都可以觀察到有一個明顯的噪音出現在10kHz以下的範圍,這個聲音其實就來自於一堆吵鬧的發聲魚類。另外偶爾會出現一些高頻(>10kHz)的噪音,這些聲音現在還無法確認其來源,但有可能來自於當地的槍蝦或是白海豚,很值得進一步的去探討。如果你仔細看,你還會看到每隔幾個小時就有一兩個在很低頻的間歇性噪音(主要<5kHz),這些頻繁出現的低頻噪音其實都來自於西海岸來往頻繁的船隻。

聲音監測在這個時候提供了另一個環境監測的可能選項。現在科技的進步已經把製造一台長時間錄音機的成本降到非常低,你可能用2萬元台幣就可以買到一台可以錄兩個禮拜以上的錄音機。此外,軟體演算法的開發,也已經進步到可以幫助人們處理這些大量的聲音資料,透過自動化偵測就可以知道你有興趣的聲音在何時出現。甚至把整個長時間錄音濃縮成一張圖,知道這個環境何時吵鬧、何時安靜,也都不是一件難事。

所以呢,關心環境的人們,如果你想知道一個環境的長時間變動,除了自己定時去採樣、觀察之外,在那邊放置一台定時錄音的錄音機,也將會大力幫助你對這個環境的了解喔!

[TED] Bernie Krause: The voice of the natural world

Here is an excellent talk regarding the soundscape or acoustic ecology research on TED.

The signature of soundscape can be divided by “geophony, biophony, and anthrophony” three kinds of components. Through the soundscape analysis, we can receive more information from the recording environment which may not revealed by our eyes. An good example of application is presented in this talk: the difference of acoustic environment before and after artificial interference. Such kind of acoustical analysis can play a key role in this kind of environmental research in the future, but people still need to find a better way to make audiences more easily to perceive the sound sources of acoustic recordings.

被動式聲學監測

被動式聲學,英文稱為Passive acoustic monitoring。顧名思義為”被動的”利用”聲音”來探測物體,說穿了就是拿一個麥克風(接收聲波的裝置),透過聲音的量化分析(波形、頻譜等)來竊聽那些會發出聲音的物體或現象。雖然看似簡單就可以做到,但目前被動式聲學的相關技術仍在活躍發展中。

在學界所鑽研的面向分為三大塊:偵測(Detection)、分類(Classification)、定位(Localization)

Concept of PAM

在偵測的部分,包含像是Match-filter,Spectrogram correlation這種模板式偵測器。到現在為了因應某些具有複雜變異的聲音,因此發展出偵測聲音特徵的Generalized detector。自動化偵測器的發展已經走了相當長的一段路,在訊號分類的部分,由於目前沒有任何一種分類定義可以滿足所有人。因此分類的部分仍主要是透過抽取聲音訊號的特徵值後,利用統計模型來進行分類,但分類的過程也有分為監督式分類或非監督式分類,訊號分類其實是一件非常有趣、但是也似乎永遠沒有一個正確答案的方向。

定位這一塊在過去因應軍事上的需求,許多技術早已發展純熟。最傳統的就像是利用不同感受器之間接收訊號的時間差進行三角定位,或是透過beam-forming的方式把來自不同角度的聲源分離。雖然原理都在那邊,但是實際使用上需注意的細節眉角還不少。與其說是一塊研究方向,不如說定位是一個注重技術層面的領域。

為什麼會有被動式聲學技術呢? 從早期我們希望透過麥克風收錄聲音再重播,一直到現在期望被動式聲學能夠做到像是自動化的監視器一般,能夠自動的偵測出有興趣的發聲來源,透過分類整理出環境中的發聲物類別,甚至利用多組麥克風所構成的陣列作為追蹤聲源移動路徑的平台。被動式聲學技術已經不再是單純的音響技術,從地震探測、海洋物理、生態監測、醫療照護都有應用,後面希望在跟大家多多分享關於這一塊的訊息,不過當然主要會偏重我所熟悉的生態監測囉~