彰師大資工碩士班
把大型語言模型、語音和視覺模型，做成在自己電腦上就能跑的應用。
我喜歡從頭到尾把一個 AI 系統做出來：資料整理、模型串接、效能調校，到最後使用者摸得到的介面。下面的專案都還在持續開發中。
專案
DeskMuse：本地優先的 AI 角色語音桌寵
開發中
會聽、會說、會看螢幕的桌面角色。語音輸入、LLM 生成台詞、語音合成和 2D 角色動畫全部在本機執行，也可以切到雲端模型。
系統架構
- 1輸入打字，或按住熱鍵說話（SenseVoice 語音辨識）
- 2chat.py人設＋對話記憶＋情境，組成提示
- 3LLM本機 Ollama 或雲端 OpenAI，右鍵即時切換
- 4表情標記拿掉〔表情〕標記，記下在句子裡的位置
- 5GPT-SoVITS逐句合成語音，語氣跟著表情換
- 6播放＋舞台Electron 透明視窗：對嘴、照時間換表情（UDP）
提供情境給第 2 步
- 看螢幕截圖 → 黑名單過濾 → qwen3-vl 描述＋視窗標題
- 上網查維基百科 API：開新遊戲自動查、不確定時查
- Claude Code hook等待確認、工作完成時提醒（UDP）
5.4 → 2.0 GB看螢幕的顯示記憶體用量
27 → 6 s每次看圖的反應時間
11跟語音同步的表情
- 設計封閉表情詞表：LLM 把〔表情〕標記插在台詞裡，系統算出它在句子裡的位置，讓表情和語氣切換跟語音播放對齊。
- 看螢幕用視覺語言模型（qwen3-vl），加上視窗黑名單、預設關閉保護隱私；靠縮圖、限制 context、畫面沒變就沿用描述來省資源。
- 角色模型自己做：ComfyUI 生圖 → 拆圖層 → 自寫腳本組成可動模型；解決 AMD 顯示卡記憶體不足的問題。
- 其他整合：維基百科查資料、Claude Code hook 事件提醒、本地／雲端模型右鍵即時切換。
GitHub 原始碼 →
OSS Radar
開發中
自動追蹤 arXiv、GitHub、HuggingFace 的熱門項目，用零樣本分類跨來源打主題標籤，依成長率而非絕對熱度排序，再依按讚／略過做個人化推薦。
系統架構
- 1資料來源arXiv · GitHub · HuggingFace
- 2每日排程GitHub Actions 觸發抓取，統一成同一種 schema
- 3分析fastembed 向量 → 零樣本分 11 個主題 → 成長率趨勢分數
- 4PostgresNeon 免費方案，短連線讓資料庫能休眠
- 5FastAPIRender：趨勢、推薦、語意搜尋 API
- 6React PWAVercel：手機滑卡片閱讀
回饋與延伸
- 按讚／略過⑥ → ⑤：平均喜歡項目的向量當興趣向量，即時調整推薦
- 本機翻譯 worker從 ④ 取論文 → 本機 LLM 逐段翻譯、自我檢查 → 寫回 ④
- 本機翻譯 agent：術語表、逐段翻譯、程式自我檢查，帶錯誤原因重翻。
- 全部跑在免費方案：在 512 MB 記憶體、0.15 顆 CPU 的主機上，靠單執行緒推論和每次最多 15 筆的分批呼叫，解決記憶體不足和逾時。
其他專案
paper-guide
開發中
把論文 PDF 變成逐段導讀網頁：左邊原文每段框起來，右邊是白話說明、重點句翻譯和可以批判的地方。
- 規則式版面切段（跨欄、跨頁段落接續），對手工標註 B-cubed F1 達 0.89。
- 比較本機 LLM（gemma4、gpt-oss）的完整度、用語和幻覺，用 JSON schema 驗證加重試。
GitHub →
語音資料集工具
開發中
從影片＋字幕切出台詞片段、標記說話者，匯出成 GPT-SoVITS 訓練格式，是桌寵聲音的資料來源。
- 網頁標記工具，加上聲紋（Resemblyzer）辨識加速標記；Whisper 輔助對齊。
GitHub →
技能
- AI／ML
- LLM application, prompt design, VLM, TTS / STT, embeddings, evaluation
- 模型與工具
- Ollama, GPT-SoVITS, Whisper, SenseVoice, ComfyUI
- 工程
- Python, FastAPI, JavaScript, React, Electron, SQL / Postgres, Git
學歷
國立彰化師範大學 資訊工程學系
- 碩士（2025–，在學）
- 學士（2020–2024）