[Note] Understand the role of self attention for efficient speech recognition

* Self-attention plays two role in the success of Transformer-based ASR * The "attention map" in self-attention module can be categorize to 2 group * "phonetic"(vertical) and "linguistic"(diagonal) * Phonetic: lower layer, extract phonologically meaningful global context * Linguistic: higher layer, attent to local context * -> the phonetic variance is standardized in lower…

[Note] PERT: Pre-training BERT with permuted language model

Can we use pre-training task other than MLM? * https://arxiv.org/abs/2203.06906 * Proposed: Permuted Language Model(PerLM) * Input: permute a proportion of text * Target: position of the original token Pretraining LM tasks * Masked LM * Whole word masking(wwm,): * alleviate "input information leaking" issue * Mask consecutive N-gram * e.g.…

[Note] wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

* https://arxiv.org/abs/2006.11477 * Self-supervised speech representation * contrastive loss: masked continous speech input -> quantized target * quantized module: gumbel softmax(latent representation codebooks) * wav2vec2.0 Large with 10min data:  5.2/8.6 LS-clean test * Fairseq * Well explained: https://neurosys.com/wav2vec-2-0-framework Feature Encoder(CNN) 將 raw audio…

[Note] Improving CTC-based speech recognition via knowledge transferring from pre-trained language models

https://arxiv.org/abs/2203.03582 Motivation * CTC-based models are always weaker than AED models and requrire the assistance of external LM. * Conditional independence assumption * Hard to utilize contextualize information Proposed * Transfer the knowledge of pretrained language model(BERT, GPT-2) to CTC-based ASR model. No inference speed reduction, only use…

Facebook Hate Speech Detection

只要有人類的地方就會有惡意言論,而 Facebook 身為全球最大的社交平台,從以往僱用審查團隊去人工檢視,近年來也開始引入 AI 系統來輔助偵測,在 NLP 領域令人振奮的 BERT 系列模型更扮演了關鍵的角色。 本文由黃偉愷, Ke-Han Lu 共同完成,是「人工智慧與大數據之商業價值」這門課的期末報告,我們分成兩大方向調查了 Facebook 在惡意言論偵測的近期發展: * Facebook Hate Speech Detection:背景介紹及以政策面探討 FB 如何審查、定義惡意言論,AI系統對於目前 FB 的影響 * Facebook BERT-based System:以技術角度介紹 BERT-based 模型的迷人之處及其原理 Facebook Hate Speech Detection 背景介紹 Facebook的創辦人馬克·祖克柏曾說:「Facebook的創建理念是,打造一個全球性的社區,加深人與人之間的聯繫,…

Docker for Deep learning

kehanlu/server-docker:一個基於 nvidia/cuda 的 Docker 環境,包含 Ubuntu, CUDA, Python(Jupyter Lab)…,可以快速、方便的建立不同且獨立的實驗環境。 開啟一個 Jupyter Container,同時也能用 shell & Vscode remote container 的方法開發。 * Jupyter Lab:從外部透過瀏覽器開啟 public_IP:port * ssh: 連進去主機後,再 docker exec 在 container 中執行 shell * Vscode remote container 主要的問題 Docker 和 VM 本質上的不同, Docker 每次都是基於…

AIS3 Pre-exam Write up

第一次參加 AIS3 pre-exam,應該也算第一次自己打 CTF。上學期修了資安實務,才終於開始打 CTF,之前在資安社的時候都只是在下面聽聽,沒有真的認真打過比賽。最終解了 10 題,排第45名(。◕∀◕。) 我主要都是解 Web 題(Web*3, Misc*3, Crypto*2, Reverse*1),再陸續把各個項目低分的題目解一解。大部分 1xx 分的都滿簡單的,可以一眼就差不多看出題目的思路,找相關的資料或是需要耐心慢慢看就能看出答案。經過資安實務的摧殘產生的心裡陰影,有時候會把題目想的太複雜,突然解出 Flag 還會覺得:「蛤?就這樣喔,我想太多惹」。 花很多時間的 震撼彈-ais3-官網疑遭駭,是一個很惡劣的題目,靠眼力(+細心?)就能找到一個怪怪的封包,找到之後竟然還只是一個簡單的 shell,我大概花了三四個小時在摸那包封包吧。 最後的時間都在解 XSS…

德國 TU Darmstadt 交換心得

結束了在德國半年的交換,很不巧的遇到了瘟疫,所以一切的計畫都變得很不一樣,不過也是一次很有趣的體驗。本文是交到教育部和國際事務處的報告,裡面包含了一些如何在德國生存、生活花費、疫情的處理。還有很多可以寫的之後再發文補充,因為要趕快畢業所以先把心得寫一寫 XD…