銀行實時生產數據采集
日期：2018-10-28 / 人氣： / 來源：未知
隨著大數據時代的到來，銀行經營將會發生深刻變化，其中最根本的變化，就是銀行功能正在從過去的資金中介逐步向信息中介轉變，由過去單一的存貸匯服務向信息提供者、業務撮合者、財富管理者轉變，從而導致依靠“鼠標+水泥”和存貸利差的傳統銀行經營模式消失，銀行既可以融資也可以融智，傳統銀行業的基本功能將會為新的金融服務所替代。
互聯網技術革命讓商業銀行進入一個重要的轉折點，從過去的支付和融資中介向綜合化信息中介服務轉變，信息是銀行發展的深層基礎和根本，能不能在未來競爭中保持優勢，關鍵在于能不能成為信息掌握的強者，并采取措施通過大數據技術重新發展和鑄造新的金融經濟關系。
有人曾把大數據比作“新時代的石油”大數據對于商業銀行尤其是中小商業銀行的價值是不言而喻的。但是對銀行的數據駕馭能力提出了全新的挑戰。銀行不僅要收集來自網點、信貸等傳統渠道的結構化數據，還要收集來自物聯網、互聯網的各類非結構化數據，甚至還要與歷史數據對照。在數據存儲方面，要達到低成本、低能耗、高可靠性目標，要用到分布式和云計算技術，這是很多銀行所欠缺的。有的數據涉及上百個參數，難以用傳統的方法描述與度量，處理的復雜度相當大，如客服錄音數據等。利用“大數據”的能力將成為決定銀行競爭力的關鍵因素。
近年來，隨著直銷銀行與消費金融這一新型業態在國內的迅猛發展，互聯網金融客戶數與交易量呈幾何級數增長。各家銀行紛紛建立自己的反欺詐風控平臺。一個完善的風控機制必須有足夠的數據源，全量數據采集為大數據分析提供了充足的數據樣本。所以數據采集的重要性日益凸顯。
銀行實時生產數據采集系統主要服務于銀行金融大數據分析平臺，對實時性要求高，需要提供自動化的數據關聯與業務解析。整套系統分為探針實時數據采集和日志數據采集兩部分。其中日志采集系統，從安全設備收集相應的日志和MIB信息，經過簡單處理后進入到kafka緩存隊列中。探針系統則提供底層全量網絡數據采集，為流量分析、網絡安全、交易監控提供素材：
銀行專用硬探針采用旁路采集數據，支持實時可擴展功能分析：采用實時下載/更新業務規則，解析業務流程辨識規則更新及關聯，可產生各個業務流程及相關參數，對新業務及廣域業務DPI如手機銀行可以進行深度DPI及業務解碼、分析及流程關聯。
硬探針具有多個千兆輸入端口，擴展支持4-12個萬兆Combo接口，可以同時兼顧網絡流量和交易生產數據的實時采集、解析與關聯。支持10Gbps~40Gbps（按配置）流量實時處理、輸出解析完的業務及流量信息及數據。
與過去在服務器安裝Agent的軟采集方式相比，探針硬采優勢明顯：非侵入式的部署方式，無需在銀行服務器及交易主機部署監測軟件；采用TAP流量復制或交換機數據端口鏡像，實時復制采集全部生產區域的數據流，匯聚到探針端口進行交易及業務流轉解析及關聯。探針系統與生產主機采用并行的方式部署，探針可靠性不會對生產主機的可靠性造成影響。
非侵入式部署的優勢：
1、全網采集、多層面數據采集、解析、對業務網絡無干擾；
2、快速適應銀行不斷變化的業務需求，及時響應；
3、未來擴展到管理網效率高、成本低；
4、探針工作穩定性和長期運行可靠性高， 輕松應對系統后續擴容；
5、大流量綜合分析（多層面Lay1~Lay7）可與大數據的結合進行統一數據分析。
在交換機節點布置數據采集節點時，在交換機性能許可下，建議盡量采用交換機端口鏡像復制匯聚到采集端口，導引到信息采集匯聚交換機，所有信息經匯聚到匯聚交換機輸出端口，輸出到硬探針設備。在少數交換機無法進行端口鏡像復制，建議裝入TAP設備復制。一般采用1:2或者1:3 TAP復制分路，數據經復制端口輸出后，接入信息采集匯聚交換機，再接入到探針的輸入口。
實時 生產數據采集系統 上線后，整體數據采集效率大大提升，大部分無效數據在探針解析關聯階段就被剔除。經過清洗的數據通過專用消息接口存入銀行大數據平臺。平臺的分析展現層對數據進行多維度的分析透視，根據客群分析、精準營銷、銀行反欺詐等不同業務類型建立分析模型。分析結果以圖表化、可定制的方式呈現在用戶終端或大屏幕上。實現銀行網絡流量分析、銀行設備可用性維護、交易性能監控解析和分析。大數據平臺還對接銀行報警通道，對潛在風險通過報警通道提前預警。
互聯網技術革命讓商業銀行進入一個重要的轉折點，從過去的支付和融資中介向綜合化信息中介服務轉變，信息是銀行發展的深層基礎和根本，能不能在未來競爭中保持優勢，關鍵在于能不能成為信息掌握的強者，并采取措施通過大數據技術重新發展和鑄造新的金融經濟關系。
有人曾把大數據比作“新時代的石油”大數據對于商業銀行尤其是中小商業銀行的價值是不言而喻的。但是對銀行的數據駕馭能力提出了全新的挑戰。銀行不僅要收集來自網點、信貸等傳統渠道的結構化數據，還要收集來自物聯網、互聯網的各類非結構化數據，甚至還要與歷史數據對照。在數據存儲方面，要達到低成本、低能耗、高可靠性目標，要用到分布式和云計算技術，這是很多銀行所欠缺的。有的數據涉及上百個參數，難以用傳統的方法描述與度量，處理的復雜度相當大，如客服錄音數據等。利用“大數據”的能力將成為決定銀行競爭力的關鍵因素。
近年來，隨著直銷銀行與消費金融這一新型業態在國內的迅猛發展，互聯網金融客戶數與交易量呈幾何級數增長。各家銀行紛紛建立自己的反欺詐風控平臺。一個完善的風控機制必須有足夠的數據源，全量數據采集為大數據分析提供了充足的數據樣本。所以數據采集的重要性日益凸顯。
銀行實時生產數據采集系統主要服務于銀行金融大數據分析平臺，對實時性要求高，需要提供自動化的數據關聯與業務解析。整套系統分為探針實時數據采集和日志數據采集兩部分。其中日志采集系統，從安全設備收集相應的日志和MIB信息，經過簡單處理后進入到kafka緩存隊列中。探針系統則提供底層全量網絡數據采集，為流量分析、網絡安全、交易監控提供素材：
銀行專用硬探針采用旁路采集數據，支持實時可擴展功能分析：采用實時下載/更新業務規則，解析業務流程辨識規則更新及關聯，可產生各個業務流程及相關參數，對新業務及廣域業務DPI如手機銀行可以進行深度DPI及業務解碼、分析及流程關聯。
硬探針具有多個千兆輸入端口，擴展支持4-12個萬兆Combo接口，可以同時兼顧網絡流量和交易生產數據的實時采集、解析與關聯。支持10Gbps~40Gbps（按配置）流量實時處理、輸出解析完的業務及流量信息及數據。
與過去在服務器安裝Agent的軟采集方式相比，探針硬采優勢明顯：非侵入式的部署方式，無需在銀行服務器及交易主機部署監測軟件；采用TAP流量復制或交換機數據端口鏡像，實時復制采集全部生產區域的數據流，匯聚到探針端口進行交易及業務流轉解析及關聯。探針系統與生產主機采用并行的方式部署，探針可靠性不會對生產主機的可靠性造成影響。
非侵入式部署的優勢：
1、全網采集、多層面數據采集、解析、對業務網絡無干擾；
2、快速適應銀行不斷變化的業務需求，及時響應；
3、未來擴展到管理網效率高、成本低；
4、探針工作穩定性和長期運行可靠性高， 輕松應對系統后續擴容；
5、大流量綜合分析（多層面Lay1~Lay7）可與大數據的結合進行統一數據分析。
在交換機節點布置數據采集節點時，在交換機性能許可下，建議盡量采用交換機端口鏡像復制匯聚到采集端口，導引到信息采集匯聚交換機，所有信息經匯聚到匯聚交換機輸出端口，輸出到硬探針設備。在少數交換機無法進行端口鏡像復制，建議裝入TAP設備復制。一般采用1:2或者1:3 TAP復制分路，數據經復制端口輸出后，接入信息采集匯聚交換機，再接入到探針的輸入口。
實時 生產數據采集系統 上線后，整體數據采集效率大大提升，大部分無效數據在探針解析關聯階段就被剔除。經過清洗的數據通過專用消息接口存入銀行大數據平臺。平臺的分析展現層對數據進行多維度的分析透視，根據客群分析、精準營銷、銀行反欺詐等不同業務類型建立分析模型。分析結果以圖表化、可定制的方式呈現在用戶終端或大屏幕上。實現銀行網絡流量分析、銀行設備可用性維護、交易性能監控解析和分析。大數據平臺還對接銀行報警通道，對潛在風險通過報警通道提前預警。
作者：hzjuxadmin
上一篇：基于MES的柔性制造系統的數據采集結構
下一篇：便攜式數據采集器
推薦內容 Recommended
相關內容 Related
- 設備生產數據采集系統10-12
- 企業生產性設備數據采集方法10-05
- 生產數據采集系統介紹09-26
- 離散制造企業生產數據采集特點及原則09-17
- MES系統生產數據采集08-22