Monitoring of coral reef ecosystem: an integrated approach of marine soundscape and machine learning

Presented in International Symposium on Grids & Clouds 2018

Monitoring of coral reef ecosystem: an integrated approach of marine soundscape and machine learning

 Tzu-Hao Lin1, Tomonari Akamatsu2, Frederic Sinniger3, Saki Harii3, Yu Tsao1

1Research Center for Information Technology Innovation, Academia Sinica, Taipei, Taiwan
2National Research Institute of Fisheries Science, Japan Fisheries Research and Education Agency, Yokohama, Japan
3Tropical Biosphere Research Center, University of the Ryukyus, Okinawa, Japan

Coral reefs represent the most biologically diverse marine ecosystem, however, they are vulnerable to environmental changes and impacts. Therefore, information on the variability of environment and biodiversity is essential for the conservation management of coral reefs. In this study, a soundscape monitoring network of shallow and mesophotic coral reefs was established in Okinawa, Japan. Three autonomous sound recorders were deployed in water depths of 1.5 m, 20 m, and 40 m since May 2017. To investigate the soundscape variability, we applied the periodicity-coded nonnegative matrix factorization to separate biological sounds and the other noise sources displayed on long-term spectrograms. The separation results indicate that the coral reef soundscape varied among different locations. At 1.5 m depth, biological sounds were dominated by snapping shrimp sounds and transient fish calls. Although not knowing the specific source, noises were clearly driven by tidal activities. At 20 m and 40 m depths, biological sounds were dominated by nighttime fish choruses and noises were primary related to shipping activities. Furthermore, the clustering result indicates the complexity of biological sounds was higher in mesophotic coral reefs compare to shallow-water coral reefs. Our study demonstrates that the integration of machine learning in the analysis of soundscape is efficient to interpret the variability of biological sounds, environmental and anthropogenic noises. Therefore, the conservation management of coral reefs, especially those rarely studied such as mesophotic coral reefs, can be facilitated by the long-term monitoring of coral reef soundscape.

You can also check the slides of this talk.

Advertisements

以國際技術指引探討我離岸風場水下噪音監測評估適用方法

論文發表於2017台灣風能協會會員大會暨學術研討會與科技部成果發表會

以國際技術指引探討我離岸風場水下噪音監測評估適用方法

湛翔智、蕭婷宇、潘柔安
知洋科技有限公司

連永順、王珮蓉、胡芳瑜
工業技術研究院

林子皓
中央研究院

我國政府採「先示範、次潛力、後區塊」三階段離岸風電推動策略,示範獎勵辦法在2012年公告,評選出3案離岸示範風場,接著於2015年公告潛力場址,目前有超過20件開發案提出申請,首先均需通過環評審查。然而各項環評審查項目中,風場開發產生水下噪音對海洋動物影響的問題較為複雜,主要原因是水下噪音監測方法尚無國際標準,困難處是要在海上取得足夠且有效數據,必須有詳實規劃和充分準備,才能利用測量資料來分析水下噪音影響程度。歐洲離岸風電有超過10個國家投入開發,但各國有不同的水下噪音影響評估方式,其中以德國政府提出的技術指引,在監測要求與開發限制上較為嚴格。而歐盟自2008年提出「良好環境狀態(GES)」綱要,提供給歐盟成員國作為管制參考依據,包含離岸風能開發的監測與評估要求。美國投入離岸風能的前期研究多年,直到2016年完成首座風場正式商轉,同年也公告「海洋哺乳類動物聽覺技術指引」,將水下噪音對數種鯨豚的各種影響程度,制訂出水下噪音傷害管制門檻。本研究將探討國際上最新的水下噪音監測與評估技術指引,並依循國內離岸風場的發展情況,提出適用方式的建議供各界參考。

The government devised the offshore wind promotion strategy with 3 phases, which include Demonstration Incentive Program, Zone Application for Planning, and Zonal Development. The demonstration incentive program was announced in 2012, and three projects have been selected accordingly. Then, the Directions of Zone Application for Planning (DZAP) was announced in 2015. More than 20 projects have applied for the DZAP, and they are required to pass environmental impact assessments (EIA) to obtain the first step approval for construction. However, the impact of underwater noise on marine mammal during construction and operation phases are very complex. The key issue is that the underwater noise monitoring method has no international standards and it is difficult to measure sufficient and valid data at sea. Moreover, EIA needs very detailed planning and comprehensive preparation to obtain data and analyze the impact assessment from underwater noise. More than 10 countries in Europe already installed offshore wind farms and employ different assessment methods for underwater noise impact. The requirement of the German government’s technical guidelines for underwater noise monitoring and assessment is most rigid and strict. Since 2008, the EU has proposed the “Good Environmental State (GES)” framework for the member states to achieve requirements for the offshore wind energy development monitoring and evaluation. The United States announced the Marine Mammal Acoustic Technical Guidance in 2016, which provides several acoustic thresholds on different species of marine mammal. This study will discuss the latest international technical guidelines for underwater noise monitoring and assessment. Finally, we carried out the report included the applicable method of underwater noise monitoring and assessment based on the development of offshore wind farms in Taiwan.

論文全文 (pdf)

2017年海洋科學年會

2017/5/4-5 @ 國立中山大學

聆聽海洋的訊息:應用深度學習分析海洋聲景之變動

林子皓、曹昱
中央研究院 資訊科技創新研究中心

被動式聲學監測已被廣泛應用在海洋環境與生態研究中,長期錄音中的各種環境音與動物音增加了我們對海洋生態環境的了解,許多研究也深入探討人為噪音對海洋生態的影響。然而,過去針對海洋聲景的分析大多著重噪音的時頻譜特性,並透過設定規則的偵測器尋找海洋動物的聲音。但海洋聲景受到地形、氣候、生物群聚與人為活動的高度影響,時頻譜分析可能無法有效描述同時出現的多種聲源,偵測器效能也隨著噪音變動而改變。為了有效分離海洋聲景中的各種聲源,本研究應用非負矩陣分解法 (non-negative matrix factorization) 及其變形方法分析長期時頻譜圖,將輸入資料拆解為特徵矩陣與編碼矩陣。雖然單層的非負矩陣分解法在多次疊代後,能夠在特徵矩陣與編碼矩陣約略學習到各種聲源的頻譜特徵與時域上的強度,但仍難以分離重疊的多種聲源。本研究將多層學習器分別預訓練後堆疊成深度學習架構,並在各層之間逐漸減少特徵矩陣之基底數量,藉由最末層回傳後之重建資料和輸入資料的誤差,在多次疊代中自行修正各層模型參數以達到最佳的聲源分離成果。本研究針對各地具有不同環境噪音特性的海洋聲景進行分析,結果顯示在不需要辨識樣本與資料標籤的情況下,深度學習能夠有效分離海洋中的各種主要聲源:魚群鳴唱、槍蝦脈衝聲、船隻噪音與環境音。學習到的特徵矩陣也能夠作為辨識樣本,透過半監督式學習分析大量的線上資料。透過深度學習分離聲源,未來將能夠更有效評估海洋聲景的複雜結構,並藉此探討海洋環境與生態的變動,以及人為開發的影響。

2017年動物行為生態研討會

2017/1/23-24 @ 高雄中山大學

應用機器學習探討海洋聲景變動與中華白海豚發聲活動之關聯

林子皓、曹昱
中央研究院資訊科技創新研究中心

方士豪
元智大學電機工程學系

鯨豚的發聲行為相當多變,不同族群可能會在各種環境音改變哨聲特徵﹐也會在遭遇人為噪音時改變聲音結構。海洋聲景是由環境音、動物音與人為噪音組成,具有高度變異的特性。儘管過去已有不少針對鯨豚發聲與單一音源的研究,但是對鯨豚如何在多變的海洋聲景且多重聲源相互重疊的狀況下改變行為仍不清楚。本研究透過水下錄音機,長期收錄2014年苗栗海域的海洋錄音。首先應用自動偵測器尋找中華白海豚水下聲音,再應用非負矩陣分解法學習海洋聲景中的主要聲源特徵。透過非監督式學習器,可以有效拆解長期時頻譜圖,視覺化呈現石首魚鳴唱、槍蝦聲音、環境與人為噪音等主要聲源的相對變化。利用廣義疊加模型分析聲景與白海豚聲音後,我們發現白海豚的聲音偵測率與複雜度和各種聲源皆有不同的相關性。此結果顯示應用機器學習分離聲景中的各種聲源之後,將能夠有效瞭解動物和各種聲源的交互作用。未來,聲景中的各種訊息也可以作為預測動物活動的生態遙測資料。

[聲物誌] 白海豚之家

Sousa_bye

白海豚所生活的海洋是甚麼樣子的? 在混濁的海中只能仰賴聽覺了解一切,海表面下的浪花、雨聲、水流聲,透漏了所在之處的環境與位置,更聽見了各種海洋生物活動的蹤跡。聽著哨聲在旅途中尋找同伴,社交之外也合作覓食,但記得小心高速開過的船隻,不注意的話可是會命喪黃泉的。越來越頻繁的噪音,降低了聽到同伴聲音的機會,也減少了利用聲音來尋找食物的效率。這是白海豚的家園,一個正受到噪音侵蝕的海洋。

[聲物誌] 錄音機漂流記

近期颱風肆虐,連帶著海洋觀測也跟著遭殃。前一陣子就因為蓮花颱風和昌鴻颱風接連靠近台灣,造成研究團隊在苗栗外海所放置的海下錄音機因為不明原因而脫離錨錠裝置、漂流上岸。還好遇到當地的好心人通報之後,得以將錄音機尋回,今天也才有機會讓大家聽聽錄音機迷途的這段過程。 

這段漂流的時間其實不長,大約5至6個小時後錄音機就被浪打上岸。錄音機漂流的路徑根據推測應是從後龍外海約15公尺水深的礁石區一路北漂至附近的中港溪口南岸,再進入潮間帶與碎波帶。然而,在這段濃縮的3分半鐘錄音裡,卻可以聽到海洋聲景有著非常大幅度的改變。

0:00 – 1:00
礁石區內眾多的槍蝦聲音。注意1分鐘後的水花聲,顯示錄音機已經浮上水面 (痛心)。

1:00 – 1:30
脫離礁石區,槍蝦聲音明顯減少。當時已進入傍晚,可以聽見河口附近的石首魚開始發出低頻的鳴聲。

1:30 – 2:57
台灣西部河口附近著名的石首魚群體鳴唱。注意這段時間之中,石首魚聲音的音頻特徵隨錄音機漂流進入潮間帶後的改變趨勢。

2:57 – 3:39
碎波帶的浪花與水流聲。這段聲音是透過水下麥克風所錄製,和空氣中聽到的略有不同。
 

從這段錄音之中,其實我們不難發現在不同型態的海床、地區之間,可能受到當地生態系組成的不同,而造就了多樣化的海洋聲景。許多海洋動物,也可能是透過各地聲景的不同,以此來尋找其偏好的棲地位置。因此,自然的海洋聲景是否受到人為噪音的干擾,將會是海洋保育非常重要的課題,亟需我們更多的關注。

聽海洋的聲音? 從聲音訊號多樣性來探討魚類群聚的行為

生活在競爭激烈的社會中,大家都知道要去尋找『藍海』,而不是拼命地往『紅海』裡鑽。同樣的,各種動物為了減少彼此競爭資源的衝突,也在長期演化過程中發展出偏好不同資源的趨勢,在生態系統中佔據著不同區位。但大家可曾想過,『聲音空間』是否也是一種資源?

其實對於仰賴聲音求偶、競爭領域的動物來說,可供作溝通的領域、時間甚至頻率範圍都是一種另類的生存資源。如果『聲音空間』被別種動物佔據、或是被噪音干擾而無法和同種動物傳遞訊息,可能就會降低尋找同伴、交配的機會,甚至提高了和別種動物衝突的可能。就像待在一個吵鬧且缺乏光線的演唱會,台上的歌手用喇叭佔據了大部分的聲音空間。在缺乏可見度的狀況下,我們只能大聲喊叫,或是開啟假聲模式提高自己的發聲音頻,讓同伴在歌手所佔據的音頻範圍之外察覺到我們。為了避免陷入這種慘況,許多發聲昆蟲、蛙類、鳥類還有哺乳動物都會在聲音溝通中區隔出所偏好發聲的時間、音頻範圍。

但是對於共處一海域的魚類群聚來說,如何分享、利用所處的音響環境,並且能夠在吵雜的狀況下正確分辨同類聲音仍沒有明確結論。直到Ruppé等人於2013年春天,在南非Sodwana Bay外海約120公尺水深的海底峽谷收錄聲音。並將2793筆聲音訊號分為17大類,雖然沒有同步的錄影監視發聲動物,但根據聲音特徵幾乎可以確認其中有16大類屬於魚類叫聲,另一類則可能是齒鯨的脈衝聲波。

從各類聲音頻繁出現的時間,可再區分為白天和晚上出現的兩大類群。有趣的是,白天出現的聲音類群在聲學特徵上(脈衝波重複率和峰值頻率)較為相似,反而是在晚上出現的聲音類群中,各類聲音的特徵區分相當明顯。換句話說,比起白天的魚類聲音,晚上的魚類聲音多樣性較高。作者推測這是因為在白天活動的魚類主要依賴視覺展示溝通、求偶,聲音只是輔助的媒介。然而,晚上活動的魚類無法透過視覺觀察,必須仰賴聲音進行溝通。如果夜晚活動的各種魚類都使用極為相似的聲音,則可能會降低同種之間的溝通效率。這種在聲音使用上的限制,可能是夜間活動的魚類聲音具有豐富多樣性的原因。

Hastings 和Širović在2015年 PNAS 上的文章中也指出,聲學監測系統的研發在近年來大幅增加了我們對海洋聲景的了解,一旦能夠掌握各種魚類在不同行為的聲音特徵,即可透過海裡的聲音了解各種魚類的豐度與行為。即使現在還沒有辦法建立起完整的魚類聲音資料庫,也可以進行和Ruppé等人相似的研究,從水下錄音中透過聲音特徵在時間與空間上的變動趨勢,發掘出和當地魚類群聚相關的資訊。此外,在水下噪音汙染日漸增加在情況下,長期的水下錄音也可以協助我們了解魚類群聚的長期變化趨勢是否受到噪音污染的影響。

石首魚夏季鳴唱

石首魚冬季鳴唱

在台灣,雖然對於魚類群聚聲音的日夜變化還沒有詳盡的研究,但從不同季節之間的水下錄音也可以聽到石首魚在夏季和冬季之間的叫聲改變。這樣的改變是因為魚種的不同呢? 還是行為的改變? 還有待我們去發掘。

其實,透過水下錄音我們可以獲取非常大量的『聲態資訊』,生態學、海洋物理和資訊學門的跨領域合作,透過訊號偵測、大量資料分析等技術,將能夠進一步從海洋動物的聲音、海洋環境的聲景了解海洋生態與環境的變化。雖然目前這類研究在台灣學術界還非常的小眾,但在歐美已經是一個逐漸興盛的領域,並且廣泛的被應用在海洋魚類與海洋哺乳動物的生態調查、海洋工程的環境影響評估、甚至是海洋生態系的長期變遷研究之中。未來隨著台灣海洋再生能源的開發,相信這類的研究也會慢慢的在台灣擴展開來。

參考資料:

1. Philip A. Hastings and Ana Širović (2015) Soundscapes offer unique opportunities for studies of fish communities. PNAS, 112: 5866-5867.
2. Laëtitia Ruppé, Gaël Clément, Anthony Herrel, Laurent Ballesta, Thierry Décamps, Loïc Kéver, and Eric Parmentier (2015) Environmental constraints drive the partitioning of the soundscape in fishes. PNAS, 112: 6092-6097.

延伸閱讀1:【看啥小魚可以吃】有錢吃鮸,沒錢免吃!

延伸閱讀2:研究海洋生態保育魚類聲音藏玄機