引言:福州水務集團有限公司(以下簡稱“福州水務”)成立于2008年,注冊資本21.2億元。現(xiàn)有各級參控股子公司60多家,包括1家A股上市企業(yè)及2家國家級高新技術企業(yè)。福州水務是一家集供水、排水、環(huán)保、溫泉、綜合服務五大板塊為一體的綜合環(huán)境服務商,市場拓展至省內外,輻射江西、廣東、江蘇、浙江等16個省、市、自治區(qū)。運營17座水廠,總規(guī)模195萬噸/日,其中福州主城區(qū)供水服務范圍覆蓋福州市四城區(qū)約250平方公里,服務人口超280萬人;運營污水廠24座,污水處理規(guī)模176萬噸/日,原水供應規(guī)模336萬噸/日(含在建),總規(guī)模707萬噸/日(含在建)。
福州水務于2018年成立信息化指揮部并組建數(shù)字水務研究中心,正式啟動數(shù)字水務建設。在數(shù)字水務建設的初級階段,福州水務規(guī)劃了“一個大數(shù)據中心、三大板塊、六大體系、八大重點項目”的“1368”數(shù)字水務戰(zhàn)略。在該戰(zhàn)略指引下,福州水務通過大數(shù)據中心建設,向上支撐集團生產運營、營銷客服、管理管控三大板塊的不同應用,以推進集團的數(shù)字化、智慧化轉型。
項目概況
福州水務大數(shù)據中心項目結合公司發(fā)展戰(zhàn)略的需要,建立適應智慧水務的,具備行業(yè)影響力的大數(shù)據中心,統(tǒng)一數(shù)據標準,提升數(shù)據質量,為各類智慧應用提供堅實的數(shù)據基礎,最終為管理運營提供有效的決策支持,提升數(shù)據的價值。
項目背景
福州水務高度重視營商環(huán)境以及客戶服務工作,持續(xù)不斷推出便民舉措,并引入先進的服務理念以及工具和手段輔助客戶服務工作效率和質量的提升,公司相繼建設了營銷系統(tǒng)、報裝系統(tǒng)、呼叫中心等多個系統(tǒng),這些系統(tǒng)對于客戶服務工作開展起到了良好的支撐作用。
在福州水務集團有限公司“FS1368”數(shù)字水務戰(zhàn)略指引下,為進一步升級和優(yōu)化客戶服務水平,對客戶服務相關的數(shù)據資源進一步集成和整合,充分發(fā)掘利用數(shù)據資產價值,為福州水務的客戶服務工作人員提供更便捷的工具用于支撐服務工作,在進一步提升服務于響應速度和質量的同時,實現(xiàn)更進一步的精準服務和主動服務,為福州市民提供更好的用水服務體驗。
2. 項目簡介
福州水務數(shù)據資源規(guī)劃建立了數(shù)據資源的統(tǒng)一標準體系,描繪了數(shù)字化企業(yè)的數(shù)據流的基礎來源,保證數(shù)據的來源唯一性;對所涉及的數(shù)據進行準確的定義,包括該數(shù)據的各種屬性的描述。通過對業(yè)務管理層、決策分析層和基礎工作層等信息數(shù)據需求的分析,確定出數(shù)據在各層次的具體表現(xiàn)、交換方式、數(shù)據部署狀況,從而在此基礎上制定出企業(yè)數(shù)據規(guī)劃框架設計和實施策略。福州水務大數(shù)據中心即以此為標準進行建設。
大數(shù)據中心平臺覆蓋全鏈路的數(shù)據集成、數(shù)據模型、數(shù)據資產、數(shù)據質量、數(shù)據開發(fā)、數(shù)據運維、數(shù)據共享服務等不同階段的數(shù)據開發(fā)場景。并將原來通過人工經驗+人工約定的數(shù)據模型搭建改為系統(tǒng)化的規(guī)范方式,實現(xiàn)從模型的基礎配置到在線設計的規(guī)范化過程,使得無論從數(shù)據庫、表和字段層面上,形成系統(tǒng)化的命名規(guī)范。定時監(jiān)控規(guī)則運行、即時生成校驗報告,輔助定位數(shù)據質量的問題根源,實現(xiàn)數(shù)據高可信、高可用的目標。
項目目標
通過的統(tǒng)一數(shù)據匯聚和標準管理的能力、統(tǒng)一維護并對外提供服務的模式,盤活融通數(shù)據資產、激活數(shù)據服務能力,促進“產業(yè)數(shù)據化、數(shù)據產業(yè)化”的正循環(huán)效應,從而實現(xiàn)“統(tǒng)一標準規(guī)范、統(tǒng)一數(shù)據存儲、統(tǒng)一數(shù)據資產、統(tǒng)一技術平臺、統(tǒng)一數(shù)據服務、百花齊放應用”的效果。
(1)實現(xiàn)公司海量數(shù)據的集約化管理
建立基于Hadoop大數(shù)據中心,實現(xiàn)為各個應用提供包括離線計算、實時計算、多維分析、統(tǒng)一資源管理及分布式文件系統(tǒng)服務。實現(xiàn)對“原、制、供、排、污”全業(yè)務鏈的生產數(shù)據和業(yè)務數(shù)據,進行集成和整合,構建“人”,“水”,“廠”全方位的水務行業(yè)數(shù)據資產,并提供多維度數(shù)據資產的感知、分析、監(jiān)控的能力;可構建面向水務基礎設施數(shù)字化管理、管養(yǎng)精細化、調度智能化、服務扁平化等應用場景的水務數(shù)據服務總線,實現(xiàn)企業(yè)級的數(shù)據服務發(fā)布和共享,支撐技術中心管理人員,長期高效的運營數(shù)據服務能力,提高企業(yè)整體數(shù)據運營能力和工作效率。
(2)實現(xiàn)公司運營管理的全面降本增效
實現(xiàn)企業(yè)全面大數(shù)據治理,實現(xiàn)跨系統(tǒng)、跨部門自動化數(shù)據流轉,實現(xiàn)生產、管網輸配、營銷客服等業(yè)務統(tǒng)一全面數(shù)據共享和業(yè)務整合,全面提升系統(tǒng)自動化協(xié)同和閉環(huán)能力,建立公司統(tǒng)一數(shù)據標準體系,依托數(shù)據全面整合,整體分析公司運營管理各個節(jié)點和問題環(huán)節(jié),實現(xiàn)制度、流程的優(yōu)化和簡化,全面提升公司工作效率,降低人耗、物耗和流程內耗;實現(xiàn)應用系統(tǒng)數(shù)據和其他業(yè)務領域數(shù)據全面打通和共享,全面提升數(shù)據實時性、精準性、共享能力。例如:1、營收客服數(shù)據能夠為水廠生產、精細化調度提供精準水量預測;2、為全面漏損分析、水質分析提供數(shù)據支撐;3、為產銷差分析提供優(yōu)化分析模型的數(shù)據服務;4、可以通過熱線電話分布區(qū)域信息和管網GIS信息,實現(xiàn)水質等問題精準定位等業(yè)務。從而實現(xiàn)生產體系、管網輸配、二次供水與營銷客服系統(tǒng)全面的數(shù)據打通、業(yè)務協(xié)同,提升整體運營效率,提升整體運營管理水平。
(3)提升公司大數(shù)據管理和大數(shù)據應用能力
建設全面覆蓋公司生產、管網輸配、二次供水、營銷客服體系的大數(shù)據中心和大數(shù)據應用平臺,實現(xiàn)大數(shù)據標準體系建設,實現(xiàn)水務多領域數(shù)據融合,單一來源數(shù)據價值挖掘空間狹窄,更多數(shù)據價值創(chuàng)造將依賴多源數(shù)據融合,建設大數(shù)據中心為基礎的統(tǒng)一的數(shù)據標準體系,從而實現(xiàn)數(shù)據全面共享,標準化交換和價值挖掘,提升公司綜合運營管理能力。通過大數(shù)據標準化數(shù)據模型,實現(xiàn)各個業(yè)務系統(tǒng)數(shù)據全面共享,沉淀數(shù)據資產和共性能力,以平臺+應用的建設模式,最終實現(xiàn)數(shù)據資源集約化利用,提升公司數(shù)據管理能力。
(4)提升公司全面對外數(shù)據服務能力
隨著智慧城市、數(shù)字化城市的發(fā)展,政府機構、社會公眾、工商企業(yè)對水務公共事業(yè)基礎設施、生產運營、營銷客服的數(shù)據共享、服務能力共享的訴求日益增強,公司需要建立基于數(shù)據中臺的標準大數(shù)據服務,對外提供規(guī)范統(tǒng)一、安全穩(wěn)定、高效靈活的數(shù)據服務;構建數(shù)據服務能力平臺,為政府、社會機構提供高效率、智能化大數(shù)據應用服務;通過平臺數(shù)據集成和計算查詢優(yōu)勢、對外提供高效和標準化的數(shù)據服務,而不是通過傳統(tǒng)的應用系統(tǒng)開發(fā)提供定制化接口,從而全面降低對業(yè)務系統(tǒng)的依賴和局限性,全面降低公司對外服務運維成本。通過標準化、高效率、易維護的數(shù)據服務平臺的統(tǒng)一服務接口,為智慧市政、智慧社區(qū)等領域的應用建設提供全面的大數(shù)據技術支撐。
二、項目實施概況
1. 項目總體架構和主要內容
本項目提出了一種基于Hadoop分布式并行計算技術的總體架構。該架構涵蓋了離線數(shù)倉和實時數(shù)倉,提供了數(shù)據批處理與流處理的計算能力,為不同業(yè)務場景提供了一個數(shù)據計算支撐平臺。圖1給出了大數(shù)據中心的總體技術架構圖。

圖1 大數(shù)據中心總體技術架構
Hadoop作為大數(shù)據管理平臺一個核心應用,大數(shù)據管理平臺建設為了更好的滿足應用需求和結合Hadoop的性能、功能,采用Hadoop的HDFS作為分布式大數(shù)據量存儲的核心。大數(shù)據中心平臺通過對Hadoop的定制來滿足實際應用的需求,通過開發(fā)分布式計算程序來提供和支持云計算和大數(shù)據的分析挖掘。
在該系統(tǒng)中,整體分為數(shù)據采集層、模型計算層、數(shù)據服務層和管理運維層等四個層次。覆蓋了水務行業(yè)水廠、管網、二供、營收、客服等全業(yè)務數(shù)據采集、計算與共享等方面。
3. 具體應用場景和應用模式
應用場景
(1)建立統(tǒng)一數(shù)據匯聚中心。將主題數(shù)據進行梳理,通過采集、清洗、轉換工作,匯聚至大數(shù)據中心進行存儲,打破了數(shù)據孤島現(xiàn)狀,并建立數(shù)據存儲標準,為后續(xù)數(shù)據開發(fā)、數(shù)據共享、數(shù)據應用提供數(shù)據支撐。
(2)建立服務總線。大數(shù)據中心建立數(shù)據服務總線,打通并建立統(tǒng)一的業(yè)務系統(tǒng)與異構系統(tǒng)數(shù)據共享通道,將大數(shù)據中心自身數(shù)據以服務形式進行封裝輸出外,也將業(yè)務系統(tǒng)自有接口進行注冊轉發(fā),以此建立數(shù)據服務市場,將企業(yè)內所有數(shù)據服務統(tǒng)一發(fā)布,各類異構系統(tǒng)可瀏覽市場,并按需申請服務。解決對接通道太多、數(shù)據服務無法監(jiān)控、重復接出、對業(yè)務系統(tǒng)造成壓力、無法管理等多種問題。
(3)綜合業(yè)務平臺。該平臺主要面向坐席客服人員,將營收、報裝、表務、工單、熱線、短信等日常坐席人員所使用的系統(tǒng)進行數(shù)據整合,提供匯聚上述系統(tǒng)關鍵用戶信息的綜合查詢頁面。通過綜合業(yè)務平臺,可直觀的展示用戶畫像,通過簡易搜索條件,如用戶手機號、客戶編號等快捷查詢相關用戶的基礎信息、繳費記錄、欠繳信息、抄表信息、短信發(fā)送記錄、報裝記錄、熱線服務工單、熱線錄音等所有關聯(lián)數(shù)據。同時該平臺也可作為企業(yè)客戶信息關系查詢渠道,為營管、客服等相關部門提供業(yè)務輔助。
(4)提供報表工具。大數(shù)據中心提供了自定義報表工具,該工具不受限于報表的格式、統(tǒng)計維度,且能隨時變更報表樣式,快速制作報表。業(yè)務部門只需要提供報表內容的統(tǒng)計邏輯,由信息管理部門利用大數(shù)據中心開發(fā)平臺制作出相關數(shù)據指標,業(yè)務部門即可自己將數(shù)據指標拖拽至表格區(qū),自由定義所需要的報表樣式,極大的縮短了報表制作時長,降低報表制作門檻。
應用情況
外部業(yè)務應用概況
目前大數(shù)據中心支撐了網上營業(yè)廳、微信公眾號、產銷差系統(tǒng)、財務系統(tǒng)的數(shù)據服務。這種模式,相比傳統(tǒng)數(shù)據服務開發(fā)效率提高50%以上,徹底解放即時開發(fā)所帶來的人力消耗,數(shù)據靈活復用有助于提高數(shù)據開放共享能力,推動數(shù)據資產服務化,讓開發(fā)者集中精力關注創(chuàng)新應用的業(yè)務需求。
以網上營業(yè)廳為例,在對接大數(shù)據中心之前,是需要分別與原營業(yè)收費系統(tǒng)對接賬單查詢接口,與工單系統(tǒng)對接工單申報接口,與微信公眾號對接公共信息發(fā)布接口等等,這些接口只能單獨服務于網上營業(yè)廳,其它第三方平臺無法直接復用。
而大數(shù)據中心作為網上營業(yè)廳與營收、報裝、工單、表務、短信平臺等業(yè)務系統(tǒng)數(shù)據交換的唯一通道,幾乎支撐了網上營業(yè)廳所有功能的運行,極大的提升了接口復用性,能夠通過接口訪問權限,為任意第三方平臺提供必要的接口服務。同時,也極大的簡化了數(shù)據流結構,通過大數(shù)據中心的監(jiān)控能迅速定位出故障發(fā)生位置,便于后期數(shù)據管理與監(jiān)控。
內部可視化應用情況
包括1個綜合業(yè)務平臺、2個駕駛艙、2個大屏、3個數(shù)據挖掘主題(改善每月抄表情況、優(yōu)化水表管理、改善工單處理狀況),共計88項指標和19張報表,覆蓋了水表、用戶檔案、抄表、計費、工單、報裝、話務和收費等業(yè)務,極大提升了營銷數(shù)據的使用價值,為基層業(yè)務人員日常工作提供了切切實實的便利。
例如:營管部每月要統(tǒng)計連續(xù)0噸用戶清單,以便篩選出異常用戶,安排人員現(xiàn)場核實處理,減少企業(yè)水量、水費損失。此項工作,據工作人員反饋,每次需要花費將近1周的時間,從原營收系統(tǒng)中各個位置統(tǒng)計、導出,然后再作篩選,工作量大,并且容易出錯。而大數(shù)據中心提供的“連續(xù)0噸用戶清單”報表,可以自定義查詢固定時間段內連續(xù)XX月0噸用戶清單,經業(yè)務人員核對,數(shù)據準確、使用便利,從根本上協(xié)助業(yè)務人員釋放了工作壓力,極大的提高了工作效率。

圖例1:業(yè)務報表工具
綜合業(yè)務查詢平臺匯聚了營收系統(tǒng)、報裝系統(tǒng)、工單系統(tǒng)、表務系統(tǒng)、熱線系統(tǒng)和短信平臺的相關數(shù)據,平臺會根據每個用水戶的用水行為,自動建立用戶畫像,同時也支持通過一個平臺,一次操作,查詢出6個系統(tǒng)的業(yè)務數(shù)據。綜合業(yè)務查詢平臺為客戶服務中心業(yè)務人員提供了統(tǒng)一、便捷、快速的服務平臺,當坐席接到用戶來電時,即可通過來電號碼定位用戶,為坐席人員提供用戶基本信息、用水信息、繳費信息、工單信息、歷史短信、歷史來電情況、停水情況等等全方位的數(shù)據,極大的縮短了服務時長,提高了便民服務體驗。目前該平臺已在“客服熱線中心”進行試運行,該平臺的數(shù)據呈現(xiàn)方式得到了業(yè)務人員和相關領導的認可。
系統(tǒng)相關截圖如下:

圖例2:綜合業(yè)務查詢平臺

圖例3:營銷駕駛艙

圖例4:客服駕駛艙

圖例5:營銷報表
圖例6:客服報表
5. 其他亮點
1.全鏈路基礎營銷體系數(shù)據工廠,支撐大數(shù)據中心多樣性需求。數(shù)據平臺覆蓋全鏈路數(shù)據集成、數(shù)據模型、數(shù)據資產、數(shù)據質量、數(shù)據開發(fā)、數(shù)據運維、數(shù)據共享服務等不同階段的數(shù)據開發(fā)場景,全面支持大數(shù)據中心建設過程中的多樣性需求,開發(fā)過程無需切換多個工具
2.規(guī)范化數(shù)據模型開發(fā),實現(xiàn)數(shù)據資產可視化。將原來通過人工經驗+人工約定的數(shù)據模型搭建改為系統(tǒng)化的規(guī)范方式,實現(xiàn)從模型的基礎配置、到在線設計的規(guī)范化過程,使得無論從數(shù)據庫、表和字段層面上,形成系統(tǒng)化的命名規(guī)范。可實現(xiàn)數(shù)據資產元數(shù)據可更新、可維護,支持多級類目管理,確保數(shù)據資產分門別類,便于后續(xù)的查找和維護。
3.通過全流程監(jiān)控打造數(shù)據治理閉環(huán)機制。基于各行業(yè)實戰(zhàn)經驗,平臺內置多種校驗規(guī)則,滿足大多數(shù)場景下的數(shù)據質量檢驗需求,定時監(jiān)控規(guī)則運行、即時查看校驗報告,輔助定位數(shù)據質量的問題根源,為數(shù)據高可用性保駕護航。最終實現(xiàn)對數(shù)據質量問題實時監(jiān)測,事前準備、事中監(jiān)測、事后報告,讓數(shù)據達到高可信、高可用的目標。
4.零代碼生成API,數(shù)據服務調用全流程監(jiān)控。數(shù)據獲取無需編碼,通過在線配置簡易、快速創(chuàng)建API,并通過在API市場上架,實現(xiàn)對于數(shù)據服務的統(tǒng)一化管理,提高數(shù)據應用效率,挖掘數(shù)據共享價值。根據數(shù)據服務調用情況進行實時監(jiān)管,后臺安全可控。
三、下一步實施計劃
雖然大數(shù)據中心(一期)重點是營銷客服專題,但這并不意味著大數(shù)據中心只支持營銷客服板塊數(shù)據的匯聚、開發(fā)與服務,根據數(shù)字水務規(guī)劃,在大數(shù)據中心的目標就要做成一個支持多元接入的能力平臺。所以,后續(xù)水務集團中排水、溫泉、污水、工程等等不同業(yè)務類型,不同數(shù)據存儲方式,均能通過大數(shù)據中心進行數(shù)據的二次開發(fā)和共享。
四、項目創(chuàng)新點和實施效果
1. 項目先進性及創(chuàng)新點
(1)先進性
1)異構數(shù)據存儲、冗余存儲和PB級別的計算能力
支持多數(shù)據,包括結構化數(shù)據、半結構化(JSON/BSON,XML形式存儲)、非結構化數(shù)據,例如純文本、圖片或者圖層數(shù)據的高效存儲以及讀取。
數(shù)據分片冗余存儲多份以上。
通過使用MPP技術,在高負載下可保持高性能,每機架每小時可處理高達10T的數(shù)據。
2)基于SQL的快速批處理
支持通過SQL語言對數(shù)據進行高效批量統(tǒng)計的能力。同時利用全局/輔助索引進行SQL執(zhí)行加速,可以滿足高速的OLAP數(shù)據分析應用需求和高速的SQL離線批處理。
3)低延時高并發(fā)查詢
支持多種索引,包括全局索引(GlobalIndex)、局部索引(LocalIndex)、高維索引(High-DimensionalIndex)以及全文索引(Full-TextIndex)等;
支持通過SQL進行復雜條件毫秒級高并發(fā)查詢,滿足在線存儲和在線業(yè)務分析系統(tǒng)(OLAP)的低延時需求。
4)高級機器學習功能
內嵌Apache MADLib 機器學習庫,提供大量機器學習算法,支持R、線性代數(shù)和機器學習功能。
5)數(shù)據高度壓縮
采用了業(yè)內領先的壓縮技術,提高性能的同時,顯著地減少存儲數(shù)據所需的空間。客戶可以將所用空間減少3-10倍,并提高有效的I/O性能。
6)動態(tài)擴容
便捷的小規(guī)模或大規(guī)模擴展,同時避免高成本的設備或SMP服務器升級。
7)本次技術選型相對Hadoop、Hive、Spark等常規(guī)大數(shù)據平臺技術的優(yōu)勢
性能:在6臺8核16G的服務器上對30億條記錄做統(tǒng)計分析查詢,Hadoop+Spark花費的時間接近120秒,GP用時1秒;
索引支持:GP支持持二叉搜索樹、哈希、位圖、GiST和GIN,從而能夠實現(xiàn)多種索引功能,提供給數(shù)據架構師實施優(yōu)化設計所必需的工具。
事務支持:同時支持OLAP和OLTP,Hadoop等不支持數(shù)據庫事務;
數(shù)據加載速度:高性能的并行數(shù)據裝載器可以在所有節(jié)點上同步執(zhí)行操作,裝載速度超過4.5TB/小時;
易用性:完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統(tǒng)開發(fā)、維護和管理都大為方便。而現(xiàn)在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統(tǒng)需要單獨開發(fā)和管理,且移植性不好;
數(shù)據壓縮:GP可以對冷數(shù)據進行壓縮,壓縮后減少的磁盤空間10倍以上,并提高有效的I/O性能。
8)報表引擎優(yōu)勢
提供報表設計器,支持多維度報表結構設計,支持多層嵌套的表頭信息,支持多數(shù)據源
(2)創(chuàng)新點
1)集成kettle到大數(shù)據中心
集成kettle到大數(shù)據中心,統(tǒng)一由大數(shù)據中心進行etl邏輯編撰和作業(yè)調度,使用kettle剝離數(shù)據存儲到ODS層,降低近半數(shù)據量存儲。
2)實現(xiàn)了API統(tǒng)一管理
研發(fā)了水務數(shù)據底座技術,建立了API(數(shù)據服務接口)庫,很方便的實現(xiàn)了與第三方軟件產品及數(shù)據對接。
3)整合空間數(shù)據和業(yè)務數(shù)據
通過分析、抽取、整合GIS系統(tǒng)與其它業(yè)務系統(tǒng)的基礎數(shù)據,從而提升了業(yè)務數(shù)據可視化的能力。
4)提供了數(shù)據倉庫建設標準
借助多年的水行業(yè)業(yè)務經驗,課題建設了標準的DW層和DM數(shù)據數(shù)據結構,便于以“USB口”的形式,直接接入任何同類型產品的ODS層數(shù)據,減少了對接難度和時間。
5)提供了常用指標的標準算法邏輯
基于“營銷”和“生產”體系,形成了標準的指標算法邏輯,由于該算法從標準的DW層和DM層獲取數(shù)據,所以可提升各類指標算法的復用性。
6)大數(shù)據中心建設及挖掘數(shù)據價值
基于數(shù)據分析挖掘,實現(xiàn)水務業(yè)務從被動服務到主動服務的轉變。
2. 實施效果
(1)大數(shù)據中心在網上營業(yè)廳的應用
大數(shù)據中心共為網上營業(yè)廳提供98個接口,其中13個接口直接從大數(shù)據中心的數(shù)據倉庫中獲取用戶、賬單等數(shù)據, 85個接口為各關聯(lián)業(yè)務系統(tǒng)接口,在大數(shù)據中心注冊、轉發(fā)和管理。接口日均訪問量超萬次,接口調用成功率99.98%,接口平均調用時長約0.6秒,其中賬單類的接口調用時長在1.2秒左右,其它接口大多數(shù)在1秒以內。
通過接口服務支撐模式,極大的減少了網上營業(yè)廳在系統(tǒng)后端的開發(fā)投入,大數(shù)據中心直接承載了多個業(yè)務后端邏輯的調研、梳理、開發(fā)及服務,包括:應收列表、營收明細、繳費信息、水表信息、用戶代扣信息、系統(tǒng)收費方式、年度賬單用水總量、年度賬單用戶信用等級、年度賬單年繳費類型、年度賬單加價費用、查詢客戶編號、查詢用戶畫像等。
(2)大數(shù)據中心在水務智慧大腦的應用
大數(shù)據中心為福州水務智慧大腦提供5個接口,其中4個接口直接從大數(shù)據中心的數(shù)據倉庫中獲取用戶、工單、停水等數(shù)據,為集團總覽板塊、供水總覽板塊和營銷客服板塊提供數(shù)據支撐。1個接口在大數(shù)據中心注冊、轉發(fā)和管理。接口每日訪問量合計20次以上,接口調用成功率100%,接口平均調用時長約0.5秒。
福州智慧大腦綜合大屏的數(shù)據不僅僅來源于大數(shù)據中心,如果將其接入數(shù)據來源分為大數(shù)據中心與非大數(shù)據中心,非大數(shù)據中心的數(shù)據接入比較繁瑣,信息工程師需要開展數(shù)據情況調研與業(yè)務計算邏輯、指標數(shù)據開發(fā)、結果校驗、服務封裝等整個過程,信息工程師往往對接一個指標數(shù)據需要花費兩周,甚至更久,而來源大數(shù)據中心的數(shù)據則可直接進行服務調用,前期的所有工作由大數(shù)據中心直接接管,甚至后期數(shù)據維護、監(jiān)控管理都不需要參與,水務智慧大腦平臺只管使用即可,大大縮短了水務智慧大腦的建設周期,減輕了后端管理的壓力。
(3)大數(shù)據中心在產銷差分析系統(tǒng)的應用
大數(shù)據中心為產銷差分析系統(tǒng)提供了8個接口,系統(tǒng)每日從大數(shù)據中心接口中獲取抄表數(shù)據與用戶表信息數(shù)據,主要用于計算三級分區(qū)的供水量、一二三級分區(qū)的售水量、監(jiān)控表與戶表對應關系,得到產銷差的計算結果。接口每日調用頻率700次以上,接口調用成功率100%,接口平均調用時長約0.7秒。
在大數(shù)據中心提供支撐之前,產銷差系統(tǒng)為獲取用戶信息與水量開賬信息則需要每日多次請求營業(yè)收費數(shù)據庫,這將增加營業(yè)收費數(shù)據庫的負擔,影響營業(yè)收費系統(tǒng)的日常運行效率。此外獲取到的水量信息還需要進行合并同一戶水表的每月多次開賬記錄等特殊化處理,才能接入產銷差系統(tǒng)正常使用,不僅繁瑣,且時效性極低,通過大數(shù)據中心接口即可避免這一操作,實現(xiàn)數(shù)據標準化規(guī)范化輸出至其他應用系統(tǒng)。
(4)大數(shù)據中心在水力模型業(yè)務的應用
大數(shù)據中心為供水水力模型系統(tǒng)提供了7個服務接口,涉及用戶信息更新、抄表、用戶狀態(tài)、區(qū)域水量等方面,以往水力模型需要直接對接營收系統(tǒng)匯總的“表卡信息表”、“客戶信息表”與“營業(yè)賬子表”,但由于該表按月份分表、分庫存儲的,如果涉及跨月查詢統(tǒng)計時,非常繁瑣,需要對歷史表進行組合、篩選和計算,將會降低查詢效率、增加接口維護難度,水力模型很難做到精準的在線計算。
在與大數(shù)據中心對接后,通過大數(shù)據中心對分歷史數(shù)據的處理計算機制,提供API服務為水力模型高頻輸出和更新用戶、抄表和分區(qū)等營收數(shù)據,支撐模型的爆管處置和方案模擬的計算結果,提高水力模型系統(tǒng)在在線計算時的精準度。接口累計訪問量已近萬次,接口調用成功率100%,接口平均調用時長約0.4秒。
(5)大數(shù)據中心在停水區(qū)域劃定及消息推送業(yè)務的應用
傳統(tǒng)的停水發(fā)布在操作上較為繁瑣,需要大量線下協(xié)調對接,容易出錯和遺漏,特別在營管部做好停水計劃時,需要通過郵件發(fā)送給客服部,客服部再打開短信發(fā)送平臺,將郵件內容復制進去修改發(fā)送。在信息精準度上也沒有辦法把控,如發(fā)送微信停水信息,不論是否受計劃停水影響的用戶全員普發(fā),導致關注“福州水務”公眾號的群眾每天收到無關停水信息,久而久之造成用戶對停水消息麻木對待,真當自己小區(qū)停水時可能也不會關注到,偏離了微信停水推送的初衷。
針對上述情況,大數(shù)據中心團隊聯(lián)合營管與客服部,將大數(shù)據中心能力與GIS平臺能力相結合,通過GIS圈定停水區(qū)域,將停水信息精準的推送到受影響用戶的手機和微信上,整個過程流暢、便捷、精準。如:營管部打開“停水區(qū)域劃定”應用,在GIS上圈定停水區(qū)域,系統(tǒng)將自動分析出受影響的小區(qū)名稱、受影響小區(qū)數(shù)量、受影響用戶數(shù)量等關鍵信息,并與大數(shù)據中心建立數(shù)據通訊,得到受影響的重點用戶、小區(qū)用戶、散戶等詳細信息。客服部可即時收到營管部提交的計劃停水方案,并可進行二次修正,并結合從大數(shù)據中心自動獲取到的用戶手機號、微信ID,一鍵將停水信息精準發(fā)送到用戶的手機和微信上,真正做到誰受影響就發(fā)送給誰。除計劃性停水外,大數(shù)據中心還提供了爆管影響分析等搶修性停水主題的發(fā)布。
(6)大數(shù)據中心在數(shù)據挖掘與分析中的應用
傳統(tǒng)大數(shù)據中心建設的目標較多的都只放在出大屏與報表上,關注點不夠深入,沒有充分發(fā)揮大數(shù)據中心應有的價值。本次項目建設就突破了大數(shù)據中心傳統(tǒng)定位,探索性的開展數(shù)據挖掘分析工作。通過分析原始的業(yè)務數(shù)據,關聯(lián)各個業(yè)務系統(tǒng)的數(shù)據邏輯,從中提煉出有價值的數(shù)據,直觀暴露出已存在的各類管理問題、數(shù)據問題、業(yè)務操作規(guī)范問題及系統(tǒng)功能設計問題,將有助于管理層針對性制定相應的管理措施,對癥下藥,及時堵漏、補缺,從而提高工作效率、改善工作環(huán)境、提升工作質量和客戶滿意度。本次嘗試性的對工單、水表、抄表情況開展了探索分析,樣例時間為2020年12月數(shù)據。
如在水表分析方面:25*****339,該用戶為施工用水,2020年7月水表就已上線,但是當年均無水量記錄,原因是沒去抄表,直到2021年2月才第一次抄表,第一次抄表水量就達3091噸(據觀察,實際后續(xù)每月用水為400噸左右);21*****223,該用戶已于2012年12月就已拆遷,但是水表狀態(tài)一直為正常,經核查,有大量此類未更新水表狀態(tài)的記錄存在;10*****776,該用戶為某物業(yè)公司,水表狀態(tài)正常,但是已連續(xù)12個月以上抄表水量為0噸;10*****055,該用戶為DN40大口徑用戶,2014年水表就已失蹤了,但是水表狀態(tài)正常,2019年還有繳費記錄(轉賬繳費),應核核查該用戶具體用水情況。
(7)大數(shù)據中心在服務能力支撐的應用
大數(shù)據中心目前已不斷的發(fā)揮著自己的作用,在提供大數(shù)據業(yè)務支撐能力之外,也間接的對與大數(shù)據中心無關的業(yè)務提供了支撐。如水司建立的庫管系統(tǒng),根據開發(fā)要求,需要與水務財務系統(tǒng)進行對接,達到資產數(shù)量與金額賬務同步的目的。但在對接過程中心,庫管系統(tǒng)的開發(fā)模式不支持財務系統(tǒng)提供的服務接口類型,導致對接工作無法進行。大數(shù)據中心了解情況后主動充當“中介”角色,將財務系統(tǒng)服務接口注冊至大數(shù)據中心,并將其轉換成庫管系統(tǒng)所能支持的接口類型,使得對賬功能得以順利進行。截至目前,做為通道功能已支撐了上述系統(tǒng)38403次的交互工作。