💻 大學專題成果

專題名稱

基於深度學習之預估餐廳等待時間的手機應用程式開發
專題編號：PRJ-NTPUCSIE-111-009
執行期間：2022年 9月 至 2023年 6月

---

摘要

隨著智慧時代的來臨，人工智慧與大數據技術被廣泛導入餐飲業，但候位流程仍依賴人工預估，導致時間浪費與顧客不滿。本計畫透過深度攝影機與深度學習模型（YOLOX 和 SegFormer），結合線性回歸模型預測用餐剩餘時間，開發一款即時判斷餐桌剩餘時間的應用程式，有助於提升餐廳運營效率與顧客體驗。

---

研究動機與問題

1. 缺乏能精準預測候位時間的系統。
2. 餐廳現有方式模糊且不準確，影響顧客規劃。
3. 本系統旨在解決上述問題，為餐廳提供精準的候位預估。

---

文獻回顧

1. 參考 YOLOv3 模型應用於自助餐菜色辨識系統。
2. 使用 YOLOX 和 SegFormer 模型進行目標檢測與語意分割。
3. 採用深度攝影機（Intel RealSense D435）結合 SegFormer 分割結果，進行餐點體積預測。

---

研究方法與流程

1. 深度攝影機捕捉 RGB 圖像並傳遞給 YOLOX 進行目標檢測。
2. 使用 SegFormer 模型標記餐點像素，結合深度資訊估算食物剩餘量。
3. 應用回歸模型計算餐點剩餘時間，數據顯示於應用程式上：
   • 店家端：監控每桌情況，調整模型參數。
   • 顧客端：顯示餐廳等待時間與座位資訊。

---

模型與技術細節

1. 目標檢測與邊緣運算
   • 使用 YOLOX 框選與追蹤食物。
   • 透過圖像重疊檢測進行食物追蹤。
2. 分割模型與深度資訊
   • SegFormer 檢測食物像素。
   • 利用深度攝影機數據計算食物初始與剩餘體積。
3. 回歸模型預測剩餘時間
   • 不同食物類別採用專屬模型權重，提升預測精度。
4. 邊緣計算加速
   • 使用 TensorRT 格式優化推理速度。

---

資料集

1. 訓練資料集
   • 自行製作 3757 張標記圖片，分為 9 種食物類別。
   • 使用工具（LabelImg 和 Labelme）進行邊界框與語意分割標註。
2. 驗證資料集
   • 檢測剩餘量與時間，評估預測模型的誤差。

---

APP 開發

• Github
• Figma

1. 開發環境與語言
   • 使用 XCode 和 Swift 開發 iOS 應用程式。
2. 操作介面
   • 店家端：顯示餐桌剩餘時間、剩餘量與模型設定功能。
   • 顧客端：顯示餐廳等待時間、座位狀態與即時更新。

---

預期成果

1. 實現即時估算餐桌剩餘時間，提升餐廳運營效率。
2. 方便顧客安排等待時間，優化用餐體驗。
3. 計畫分為 AI 模型、硬體驗證與應用程式開發三個階段，確保進度。

---

參考文獻

1. Andy Wu 團隊，YOLOv3 模型應用於自助餐菜色辨識結帳系統。
2. YOLOX: Exceeding YOLO Series in 2021.
3. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers.

---