介紹
從 NLP 演進看懂 AI 語言能力的誕生
當今的 AI 擁有近乎神奇的語言能力：能寫文章、翻譯語言，甚至進行深度對話。但這背後並不是魔法，而是自然語言處理（NLP）數十年發展的成果。
1. 語言數字化：從文字到向量的巨大跨越
電腦無法直接理解文字，因此 NLP 的第一道難題，就是如何把語言轉成可運算的數字。課程初期探討詞彙表示與 N-gram 等早期方法，但真正改變一切的，是「文字嵌入」（Word Embeddings）。它讓每個詞有了真正能代表意義的座標，使模型首次能在數學空間中理解詞彙的語意關聯。
2. 模型需要的不只是記憶：注意力機制的革命
語言具有時序性，RNN 因此誕生並負責「記住」過去資訊。但它的記憶很有限，句子一長就忘東忘西。直到「注意力機制」（Attention）出現，突破了這個瓶頸。模型不再被迫記得整串句子，而是能在每一步把注意力放在最相關的位置，大幅提升理解長距語意的能力。
3. 打破單詞限制：子詞技術解決詞彙爆炸
單詞為單位的處理方式面臨巨大的詞彙爆炸問題。子詞切分（Sub-word Tokenization）帶來關鍵轉變：把單字拆成更小的語意片段。即使遇到沒看過的新字，模型仍能用子詞組合理解意義，讓 NLP 更靈活、更接近真實語言世界。
4. Transformer 崛起：現代 NLP 的完整組合拳
Transformer 並不是單一發明，而是把注意力、自注意力、多頭注意力、位置編碼與深層編碼器—解碼器架構整合成一套強大的系統。它是所有大型語言模型的基礎。同時，它的可行性也仰賴子詞技術控制詞彙規模，使得大規模訓練成為可能。
從藍圖走向未來
這份課程揭示了 NLP 從表示法、上下文理解、詞彙處理到架構整合的完整演進。而接下來的十年，哪些概念將成為下一代 NLP 的核心？答案將改變 AI 與人類溝通的方式，也將在下一堂課等著你探索。
章節
* 以下章節為預覽，請點報名後點選開始上課，進入課程-
Introduction to NLP (1/5) - 第一週
- ● 概論
- ● 自然語言處理的基本層次
- ● 自然語言處理的定義
- ● 語言理解的挑戰
- ● 基本語言單元分析
- ● 第一週練習題
-
Introduction to NLP (2/5) - 第二週
- ● 資訊檢索基本概念
- ● 文字處理方法
- ● 詞彙表示的基本方法
- ● 理解詞彙語意問題
- ● 語言模型簡介
- ● 第二週練習題
-
Introduction to NLP (3/5) - 第三週
- ● 潛在語意分析
- ● 模型參數更新
- ● 認識常見模型
- ● 語言模型的基本概念
- ● N-gram 模型
- ● 第三週練習題
-
Introduction to NLP (4/5) - 第四週
- ● N-gram 的限制與挑戰
- ● 文字表示的傳統方法
- ● 文字嵌入(1)
- ● 文字嵌入(2)
- ● 第四週練習題
-
Introduction to NLP (5/5) - 第五週
- ● 神經網路基礎
- ● 神經網路統整
- ● RNN簡介
- ● 文字嵌入統整
- ● 第五週練習題
-
Sequence-to-sequence Models and Attention Mechanisms - 第六週
- ● 序列模型與翻譯任務
- ● RNN對於翻譯任務
- ● 長短期記憶與梯度問題
- ● 注意力機制基本概念
- ● 注意力機與與RNN之關係
- ● 第六週練習題
-
Sub-word Tokenization (1/2) - 第七週
- ● 子詞切分介紹
- ● 為什麼需要子詞切分
- ● 子詞切分的原理
- ● 第七週練習題
-
Sub-word Tokenization (2/2) - 第八週
- ● 為什麼需要 Transformer
- ● 自注意力機制介紹
- ● Transformer 架構
- ● 計算注意力分數
- ● 第八週練習題
-
Transformers and Self-Attention (1/2) - 第九週
- ● 位置編碼的作用
- ● Multi-head Attention介紹
- ● BPE介紹
- ● Unigram介紹
- ● 第九週練習題
-
Transformers and Self-Attention (2/2) - 第十週
- ● 標準化機制
- ● 編碼器與解碼器堆疊
- ● 自動回歸生成
- ● Transformer 的應用與延伸
- ● 第十週練習題
常見問題
線上成績單 ：此課程不提供線上成績單，僅供成績顯示
學習履歷 ：
此課程不提供學習履歷
此課程沒有設定常見問題
講師
高宏宇
自然語言處理, 資料探勘, 機器學習, 深度學習, 資訊檢索 ｜ 查看講師評價
0.0
平均評價
本課程尚未有人來評價
預覽影片 & 簡介
2025 TAICA-自然語言處理