Python、Machine Learning 與 AI Data Science 組合課程

介紹如何透過命令提示字元操作，下載並安裝Python，強調設定PATH環境變數的重要性。

示範使用pip指令安裝外部套件，並啟動Jupyter Notebook作為主要程式開發環境。

講解變數定義、字串與整數相加時的錯誤排解，以及使用f-string進行字串格式化。

介紹清單結構(List)的概念與索引(Index)，並示範利用append及insert進行資料增減。

教導如何使用for迴圈逐一抽出清單內的元素，並結合條件判斷篩選成績及格與否。

介紹字典(Dictionary)格式，透過Key對應Value的方式儲存與查詢特定學生的成績資料。

講解如何使用def定義無參數與帶有參數的函式，並說明return回傳值的必要性。

利用len取得清單長度並搭配range產生數字索引，藉此同時操作與迴圈存取多個資料陣列。

示範透過迴圈將姓名與分數打包成多個字典結構，並集中存入單一清單中以便管理。

將寫好的功能儲存為獨立的.py檔案，並在Notebook中使用import語法匯入與重複呼叫。

匯入datetime模組取得當前時間、定義特定日期，並利用strftime自訂日期輸出的文字格式。

介紹math模組的實用功能，包含計算開平方根、無條件進位與捨去等數理操作。

示範利用open函式處理文字檔，詳解讀取(r)、覆寫(w)與附加(a)模式的差異及換行技巧。

安裝資料分析核心套件Pandas，並示範將字典資料轉換為類似Excel表格的DataFrame結構。

介紹如何使用Google Colab與本地端Jupyter Notebook建立Python開發環境。

指導學生解決讀取Excel時的錯誤，並透過pip安裝openpyxl套件以順利讀取資料。

示範在Pandas中如何對整列分數進行加分或乘法運算，取代傳統Excel的公式複製操作。

講解資料篩選的技巧，包含如何透過指定的起訖與間隔參數(slicer)來提取特定範圍的行或列。

示範如何將DataFrame內的字串轉換為小寫，以及如何擷取特定字元並與其他欄位合併產生新編碼。

教導如何定義check_pass與check_grade等Python函數，透過多重條件判斷學生成績等級。

利用apply功能將自定義的成績判斷函數快速套用至整個DataFrame的分數欄位中。

介紹to_excel指令將處理結果匯出成Excel檔案，並說明如何處理檔案被佔用的錯誤及隱藏index。

將測試完成的資料處理程式碼整理至純文字編輯器中並儲存為py檔，以利後續的批次處理與自動化。

開始介紹圖表繪製，帶領學生安裝matplotlib套件並使用pyplot模組建立基本環境。

示範如何繪製折線圖，並調整線條寬度、顏色及標記點(marker)的大小與面色。

講解長條圖語法，並介紹如何繪製圓餅圖、分離特定區塊(explode)及旋轉起始角度。

解釋Figure與Axes的概念，並透過設定坐標與長寬比例實作在一張圖中繪製多重圖表的畫中畫效果。

利用subplot指令在單一畫布上分割出多個子圖表區塊，實現多個圖表並排比較的效果。

匯入Numpy產生隨機數據，並繪製盒鬚圖與直方圖，深入探討中位數、標準差等統計分佈意義。

介紹專門用來操作Excel的OpenPyXL套件，並設定Jupyter Notebook開發環境。

示範如何存取現有活頁簿的作用中工作表，並利用座標讀取儲存格內的資料。

介紹使用cell方法配合for迴圈，自動依序讀取多列數值並進行加總。

說明如何從多份散落的發票檔案中，擷取特定欄位並準備彙整至總表。

教學如何用程式建立一個全新的活頁簿，並為準備寫入的總表設定第一行標題列。

指導學員整理與重構程式碼，將讀取與寫入的流程對齊並加上註解以便維護。

加入迴圈功能，使程式能自動讀取單張發票內的多筆商品紀錄。

解決讀取與寫入時行列數字不一致的問題，透過數學加減來對齊正確的儲存格。

示範運用if語句檢查讀取到的儲存格是否為None，避免無資料時發生錯誤。

講解如何將工作表物件放入迴圈，自動走訪同一個Excel檔案內的所有分頁。

設立獨立的總表寫入列計數器，確保來自不同工作表的資料能依序往下寫入而不被覆蓋。

教學使用PathLib模組，自動讀取指定資料夾內所有副檔名為.xlsx的Excel檔案。

示範如何將Python腳本匯入微軟的Power BI工具中進行進階數據匯入與處理。

展示如何利用Pandas與正則表達式遮蔽機敏資料(如電話號碼)與過濾無效電子郵件。

介紹利用 openpyxl 套件進行 Excel 自動化處理的基本概念與情境。

示範如何匯入套件並建立及讀取目標資料夾中的 Excel 活頁簿與工作表。

教學如何精確定位並讀取指定行與列的發票數據儲存格，如客戶名稱與日期。

透過迴圈自動掃描發票明細列，以取得具有資料的商品項目與金額。

示範如何將提取出的變數資料，按順序寫入至準備好的合併報表檔案中。

透過調整迴圈位置與 current_row 變數，確保每筆資料與標題能正確寫入下一行。

測試資料合併腳本，並將其另存為獨立的 Python 執行檔方便日後自動化處理。

簡介 Power BI 的載入數據、資料變形與建立視覺化這三大基本步驟。

教學如何利用 Python 腳本配合 pandas 直接從外部讀取數據進 Power BI。

示範如何利用 Power Query 的 Python 功能進行自訂的資料變形與欄位計算。

運用 pandas 的 apply 功能為銷售數據添加分類標籤欄位，分辨銷售額高低。

在 Power BI 畫布中呼叫 Python 的 matplotlib 模組來繪製自訂長條圖。

教學使用 re 模組設定字串匹配規則，隱藏留言檔案中的電話號碼與社會安全碼。

實際將敏感資訊遮蔽與無效電郵刪除的 Python 程式碼應用於 Power BI 中。

儲存具有 Python 腳本的 Power BI 分析專案並結束本次課程教學。

導師介紹機器學習課程大綱，並開始指導學員檢查本機電腦的Python環境。

示範從官網下載Python，並強調安裝時必須勾選將Python加入系統路徑。

在命令提示字元中使用pip指令下載並安裝Jupyter Notebook作為後續開發工具。

透過指令啟動伺服器進入Jupyter環境，並講解基本的Python變數與格式化字串列印。

遇到缺少套件的錯誤時停止伺服器，安裝pandas與openpyxl後成功讀取Excel資料集。

講解並實作將數據集拆分為用作預測的特徵集(X)與目標結果的標籤集(Y)。

介紹機器學習套件scikit-learn，並使用LabelEncoder將文字標籤轉換為數字格式。

使用train_test_split函數將資料隨機分為八成訓練集與兩成測試集，並設定隨機種子。

介紹免安裝的Google Colab平台，示範如何上傳資料集並在雲端執行相同的程式碼。

匯入決策樹分類器建立模型物件，並使用訓練集資料進行擬合(Fit)訓練。

使用已經訓練完成的決策樹模型，對測試集資料進行預測並輸出結果進行比對。

安裝繪圖套件matplotlib，透過plot_tree指令將決策樹的判斷條件邏輯視覺化呈現。

從Kaggle下載真實的糖尿病診斷CSV數據集，重新實作一次機器學習的完整流程。

講解模型層數過多導致的過度擬合問題，並透過調整max_depth參數來簡化決策樹。

使用混淆矩陣與準確率等指標檢驗模型效能，並總結機器學習的自動化預測流程觀念。

介紹如何透過 Command Prompt 啟動 Jupyter Notebook，並匯入 Pandas 模組進行準備。

講解監督式學習的兩大陣營：處理明確答案的分類問題與處理連續實數的迴歸問題。

實作使用 NumPy 計算資料的平均數、中位數及眾數，了解資料的分佈狀況。

介紹 Q1、Q2、Q3 的概念，並示範如何計算四分位距 (IQR) 來界定資料的正常範圍。

利用 IQR 計算上下邊界，藉此找出偏離正常軌跡的異常值 (Outliers)。

安裝 Seaborn 套件並繪製箱形圖 (Boxplot)，透過視覺化方式直觀辨識出資料中的異常值。

示範在 Pandas DataFrame 中，如何使用中位數或平均數來替換掉異常值，或者直接將其移除。

解說處理缺失值 (NaN) 的常見方法，包括直接刪除整行資料或以中位數進行填補。

介紹如何使用 Label Encoder 將性別等非數值類別型資料轉換為 0 與 1 的純數字編碼。

針對具有次序意義的資料（如星期一到星期日），使用 Ordinal Encoder 依照指定順序進行編碼。

示範 One-Hot Encoder 如何將分類資料轉換為二進制向量矩陣，避免數值大小影響模型判斷。

透過經典的鳶尾花 (Iris) 資料集，示範如何將資料分離出特徵 (X) 與目標標籤 (Y)。

使用 train_test_split 函數，依 7:3 比例將資料隨機分割為訓練集與測試集。

使用 MinMaxScaler 進行標準化，將不同範圍的特徵數值統一縮放至 0 到 1 之間以求公平比較。

建立 Linear Regression 模型，並解釋模型本質上是建立一條帶有係數與截距的方程式。

利用 MSE 與 R2 Score 打分評估預測成效，並繪製散佈圖對比實際值與預測值的差異。

載入全新工業機器數據集實作線性迴歸，展現模型在理想狀態下取得 R2 Score 滿分的精準度。

課程開始介紹將涵蓋 K-means 分群、Streamlit 部署以及本地大型語言模型（LLM）的應用。

導師解釋無監督學習的特色，並說明 K-means 如何隨機選擇中心點並計算距離來進行分群。

透過 Excel 手動輸入座標點，利用開根號公式計算點與中心點的距離以理解演算法邏輯。

使用 Python、Numpy 產生散佈圖，並透過 Scikit-Learn 訓練 K-means 模型以觀察分群結果。

介紹並安裝 Streamlit，說明如何使用簡單 Python 語法免除 HTML 快速建立互動式網頁。

為將應用程式部署至雲端，教學下載 Git、申請 GitHub 帳戶並進行基本的版本控制。

演練 git init、add、commit 與 push 等指令，成功將本地端的程式碼上傳至 GitHub。

示範如何連結 GitHub 儲存庫，在 Streamlit Community Cloud 上免費部署並產生公開網址。

使用隨機森林演算法訓練鳶尾花模型，並將模型以 Pickle 儲存，結合 Streamlit 製作介面。

介紹 Transformer 模型中的注意力機制，以及編碼器與解碼器於大語言模型中的不同應用。

帶領下載 Ollama，並透過指令拉取 Gemma 2B 模型進行本地端的問題與文字回答實作。

使用具備視覺分析能力的 Llava 模型，在本地端輸入紅貓圖片並成功解析圖片內容。

說明 LangChain 開發流程，包含載入文字與 PDF 檔案，準備進行本地知識庫的檢索訓練。

示範如何將文件切割成 Chunks，轉換為 Embeddings，並儲存至 ChromaDB 向量資料庫中。

總結機器學習部署與本地大語言模型實作流程，並鼓勵課後練習與申請外部 API Key。

介紹Data Science Python課程大綱，並引導學生開啟命令提示字元建立工作資料夾。

示範從官網下載Python，並強調安裝時必須勾選加入PATH路徑的重要性。

下載安裝VS Code編輯器，並教學如何開啟資料夾與建立第一個Python檔案。

教學如何使用pip指令安裝、查看及移除Python擴充模組。

安裝Jupyter Notebook並示範如何啟動伺服器及新增筆記本檔案進行互動式編程。

講解變數概念與常用的四大資料型態：字串、整數、布林值與浮點數。

示範如何使用if-else進行條件決策，並解決輸入資料型態不符的轉換問題。

介紹清單結構，教學如何建立清單並透過索引值取得特定元素。

學習對清單執行附加(append)、插入(insert)、修改及刪除(remove)等實用操作。

示範如何運用for迴圈遍歷清單，將符合特定條件的分數分類到不同的新清單中。

介紹如何使用def關鍵字定義函數，並透過傳遞參數讓程式碼具備動態處理能力。

講解函數為何應使用return回傳結果而非單純列印，以便後續的資料處理。

教學如何將函數儲存為獨立的.py模組，並在Jupyter Notebook中匯入呼叫。

介紹內建模組運用，並實作文字檔的開啟、讀取(read/readline)與附加寫入(append)。

學習由鍵與值(Key-Value)組成的字典結構，並預告後續Pandas的應用方向。

指導學員進入指定資料夾，並透過 CMD 啟動 Jupyter Notebook 伺服器。

示範如何使用 pip 指令安裝 Pandas 模組，並在 Notebook 成功匯入。

講解 DataFrame 的基礎觀念，並透過字典結構建立包含人名與分數的資料表。

示範如何利用 Pandas 讀取 Excel 檔案，並說明如何安裝缺少的 openpyxl 模組。

示範對整欄資料進行加分運算，以及使用 .str 對字串進行小寫轉換與字元切片。

探討日期字串轉換為 datetime 格式的方法，並指導如何將錯誤訊息交給 AI 輔助除錯。

示範讀取 CSV 格式的學生成績資料，並運用 iloc 語法選取特定的行列範圍。

介紹 describe 函數，一鍵快速產生資料的平均值、中位數、最大最小值等統計指標。

利用 loc 搭配邏輯運算子過濾特定性別，以及示範多重條件的資料篩選方式。

解說 sort_values 的排序功能，並展示如何使用 groupby 計算不同群組的平均或加總分數。

示範從同一個 Excel 檔讀取不同工作表，並利用 merge 函數進行資料表的關聯合併。

教導撰寫 Python 判斷式函數，並透過 apply 搭配 lambda 將運算邏輯套用至整欄資料。

介紹 Matplotlib 套件，示範繪製基本的折線圖並自訂線條顏色、寬度及資料點標記。

運用 plt.bar 繪製長條圖，添加圖表標題與座標軸標籤，並實作 plt.pie 繪製圓餅圖及分離區塊。

總結本節課所學，提醒學員儲存開發進度，並預告下一堂課的自動化及機器學習主題。

講師帶領學員開啟 EZ Drive 並使用命令提示字元進入工作目錄。

在 Jupyter Notebook 中撰寫程式碼匯入 openpyxl 模組以處理 Excel。

學習如何選取 active worksheet 並讀取特定儲存格的值。

示範使用 row 與 column 座標配合迴圈，批次印出學生成績。

透過程式碼將所有學生成績加分，並依條件判斷是否及格寫入新儲存格。

在 Excel 中寫入加總公式，並將修改後的資料另存為新的 Excel 檔案。

介紹將多張發票 Excel 檔案中的資料提取並合併到單一工作表的任務。

撰寫程式碼讀取資料夾路徑，並篩選出副檔名為 .xlsx 的目標檔案。

利用 AI 輔助生成程式碼，透過檔名正確開啟各個發票的工作簿。

加入第二層迴圈，讓程式能夠自動處理每一個工作簿中的所有工作表。

在迴圈外建立一個新的總表檔案，並寫入發票所需的中文標題列。

定位發票中的發票號碼、日期等特定儲存格，將其拷貝並寫入合併總表中。

為了避免檔案覆蓋，在輸出檔名加上時間，並將程式碼儲存為獨立的 .py 執行檔。

透過垃圾郵件分類的例子，講解機器學習中資料標記與模型訓練的基礎概念。

下載 Kaggle 乳癌數據集，運用 scikit-learn 快速建立並畫出決策樹模型。

介紹處理數據集的第一步：清理資料、檢查錯誤值並將文字轉換為數字。

示範如何利用工具以平均數或最高頻率的值填補數值與文字資料的空洞。

講解如何將有次序性與無次序性的類別文字轉換成機器學習能識別的數字。

介紹透過資料標準化將數字縮放到0至1的範圍，以避免數值範圍過大造成的誤差。

說明何謂偏離分子，並示範利用 Z-score 與四分位距 (IQR) 的方法找出異常值。

載入鳶尾花數據集，觀察特徵數據與目標標籤的結構，為模型訓練做準備。

示範打橫切割資料集，隨機抽取八成資料用於訓練模型，兩成用於後續測試。

解釋固定 Random State 的隨機數種子，確保每次訓練抽取的資料集維持一致。

引進 Decision Tree Classifier，利用訓練資料(fit)讓模型學習資料的分類規則。

計算測試資料的預測準確率，並利用 plot_tree 指令將決策樹的判斷規則視覺化。

探討決策樹層數過多造成的 Overfit 現象，示範透過 max_depth 參數控制樹的深度。

介紹 Regression 模型的核心概念，說明如何利用歷史特徵數據預測連續數值。

以學生考試成績為例，利用 Matplotlib 畫出散佈圖並擬合出最佳的線性迴歸線。

講解利用 R 平方 (R-score) 及均方誤差等指標，用具體數字評估迴歸模型的表現。

示範加入多項式特徵(次方)以繪製曲線迴歸圖，並探討處理多個特徵變數的三維預測。