行動數據服務品質監控探討 Part2

上網服務已是大多數使用者每日不可或缺的通訊服務之一，加上3G HSPDA的高速網路讓移動數據服務如虎添翼，而今日的4G LTE高頻寬高速移動網路不僅是高速移動且更提供了各式各樣高頻寬多媒體及IoT服務。行動數據服務品質的優劣將直接影響行動業者之競爭力及用戶使用的信心及依賴度，為了確保更佳的服務品質，應以使用者的感受(QoE)作為服務品質基本判斷的依據，來決定後續各項除錯及優化等實行措施。本文即針對行動數據服務品質監控相對應的解決方案做一探討。

Q1：影響客戶經驗指標可能發生的關鍵點有那些？
A1：在整個點到點的行動應用服務可能發生的瓶頸的部份可歸納成以下四層[3]，

利用良好的工具，可以讓行動業者數據服務品質管理人員做到：
(1) 控制行動應用程式之效能與可用性
(2) 快速及容易發現行動應用程式效能問題
(3) 可以縮短行動應用程式開發者與維運者之間的距離，進而提供更好的彈性及更佳的品質效能
 

Q2：行動網路調整與優化有那些部份？
A2：先排除用戶終端本身因素，其餘可調整及優化的部份包含有：
(1) Wireless Access Network
(2) Core Network
(3) Service Network
(4) Applications (with Database)

Q3：已經有了實際終端量測品質的工具，是否還需要收集網路其它部份的效能資料？
A3：主動式(實際終端量測)及被動式(網路資料收集)二者皆在了解客戶經驗與行為上扮演十分重要的角色。主動式終端模擬用戶行為量測，可以用一致性的客戶操作行為作為輸入進而探索行為網路的回應是否正常，同時以客戶實際看到的回應畫面作為品質判斷的依據；而被動式網路資料收集則是在網路側不中斷的收集即時封包，進而可以分析在一個應用服務使用過程當中，各個交易(Transaction)是否正常。二者相輔相成，例如主動式方式可經由自動化劇本的方式，可不間斷地模擬客戶行為測試服務品質，當發現品質低落時，則可以檢查被動式網路資料收集部份，確認網路各元件是否有異狀，或是同一應用服務其它行動用戶此時是否也遭遇相同的問題，藉此交叉比對，可預先及快速發現問題所在。

Q4：在選擇實際自動終端量測品質工具時考量為何？
A4：選擇實際終端自動化工具應可考量以下幾點：
(1) 支援物件：無論是圖形、文字、文件物件模型(DOM)或混合式皆可支援
(2) 腳本產生：可自動記錄用戶操作過程，產生腳本可直接在被測手機上播放
(3) 單一腳本：產生一次腳本可應用在各種不同類型的行動裝置上
(4) 豐富的腳本互動編輯器：提供彈性豐富的腳本互動編輯平台，可針對事件所對應的動作及判斷可做詳細設定
(5) 報表產出：細部的操作過程報表產出，同時提供視訊串流(Video Streaming)及快照(Snapshot)供事後參考
(6) 支援手勢：針對在手機上所做的手指拖拉、放大縮小、掃描、捲動及長時間按壓皆能支援並忠實記錄。

Q5：找出可能效能瓶頸部份後所在如何進一步除錯？
A5：
(1) App部份：利用APM(Application Performance Management)[5]工具可指出程式效能癥結，如在那一段程式碼或子程式，甚至可以指出延遲是否是消耗在外部的資料庫或檔案存取所導致。示意圖如下：

(2) Network部份：可利用NMS (Network Management System)的PM (Performance Management)模組及FM(Fault Management)模組即時找出網路不順之所在。

參考文獻
[1] QoE-Based E2E Data Service Quality Improvement (SQI), Huawei, 2010
[2] 商業白皮書：移動測試, HP, 2013
[3] Confidently control the health of your mobile business services, HP, 2012
[4] Bridging QoE and QoS for Mobile Broadband Networks, Huawei, 2010

行動數據服務品質監控探討 Part 1

上網服務已是大多數使用者每日不可或缺的通訊服務之一，加上3G HSPDA的高速網路讓移動數據服務如虎添翼，而今日的4G LTE高頻寬高速移動網路更提供了不僅是高速移動且高頻寬各式各樣多媒體及IoT服務。行動數據服務品質的優劣將直接影響行動業者之競爭力及用戶使用的信心及依附度，為了確保更佳的服務品質，應以使用者的感受(QoE)作為服務品質基本判斷的根據，來決定後續各項除錯及優化等措施實行。本文即針對行動數據服務品質監控相對應的解決方案作一探討。

Q1：為何行動數據服務品質監控如此重要？
A1：每天愈來愈多的行動用戶，利用手機/平板隨時隨地享用行動上網服務。無論是email、www、IM、news或online Game等等，皆需要在穩定高品質的情況下進行；而傳統的商業各種服務界面也由Web漸漸轉移至Mobile App，萬一實際使用狀況用戶感受不如預期，根據統計[1]大約只有10%的用戶會向行動業者提出抗議，剩餘的大部份用戶則會默默地轉移至其它的行動業者。所以要避免此類的事件發生，最好的方式就是要有一完整的行動數據服務品質監控方案，在客訴(尤其是VIP客戶)發生前即能發現並找出品質下降的關鍵所在進而儘早解決。

Q2：完整的行動數據服務品質監控應包含那些部份？
A2：完整的行動數據服務品質監控應包含[1]：
(1) 客戶經驗指標
(2) 服務品質監控
(3) 點對點問題界定
(4) 網路調整與優化
此為一循環不己的持續工作，其示意圖如下所示：

Q3：客戶經驗指標應如何達成？
A3：這是最基礎且最重要的部份，無論行動業者再怎麼滿意自己目前的網路設施及應用程式，若客戶使用的感受不佳那就是不好。基本客戶經驗指標的量測應以下五個面向考量[2]
(1) 以實際行動設備測試應用服務
(2) 使用雲端技術來收集、記錄、管理與維護相闗測試結果
(3) 自動化測試
(4) 不同地區及不同網路下測試
(5) 可利用現有的流程與工具
藉由平時的資料收集以建立客戶經驗指標的基準線。若一旦發生品質低於基準線時則發生告警，並觸發後續相闗偵斷除錯等工作。

Q4：行動應用終端之測試與傳統固網終端有何不同？
A4：傳統電腦桌面與Web上應用測試技術是無法完全支援現今之行動裝置的，其原因有下列幾點[2]：
(1) 多型：行動設備正在以驚人的速度改變和演化。每年會引入數百款新的設備。隨著屏幕尺寸、外觀和作業系統的日新月異，這些變化通常會導致應用出現問題。
(2) 緊迫性：要跟上競爭態勢的步伐，行動開發必須快速；而且是非常快速。行動應用開發團隊需要以極短的時間間隔設計、構建、測試和發佈軟體。常規的手動測試根本無法跟上敏捷的行動應用世界的步伐。
(3) 風險：糟糕的應用品質可能會損害行動業者品牌的聲譽。由於用戶會對應用進行評分和公開評論，因此，如果您部署了糟糕的應用，就不可能不面對公眾監督，而且負面評論和評分較低的應用所產生的影響可能是災難性的。
(4) 複雜性：由於移動應用變得日益複雜且依賴於新技術（如基於位置的近場通信 (NFC)、即時事件和彈出式視窗），測試也變得日益複雜（手動和自動均是如此）。
(5) 位置：行動上網在不同的收訊地點，用戶的體驗可能會與測試案例的體驗大不相同。

Q5：點對點服務品質監控應涵蓋那些部份？
A5：最好要能24 X 7 X 365全年不中斷的監控整個點(行動終端)至點(App伺服端)各個關鍵點的效能品質，其網路示意圖[4]如下：

最後應能提供完整且統一的中央監控界面，可以即時收集各段網路元件訊息，進行訊息分類、過濾、分析，快速地分離不相干的網路因素，進而能很容易追踪服務效能與可用度。

參考文獻
[1] QoE-Based E2E Data Service Quality Improvement (SQI), Huawei, 2010
[2] 商業白皮書：移動測試, HP, 2013
[3] Confidently control the health of your mobile business services, HP, 2012
[4] Bridging QoE and QoS for Mobile Broadband Networks, Huawei, 2010