時間:2022-11-22 03:31:27
序論:寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內心深處的真相,好投稿為您帶來了七篇大數據解決方案范文,愿它們成為您寫作過程中的靈感催化劑,助力您的創作。
關鍵詞:大數據;云計算;虛擬化
1認識大數據
相信大家都還記得2013年5月10日淘寶十周年晚會上,阿里巴巴集團董事局主席馬云在其卸任集團CEO職位的演講中說到:“大家還沒搞清PC時代的時候,移動互聯網來了,還沒搞清移動互聯網的時候,大數據時代來了?!?/p>
什么是大數據?
早在1980年,當時著名的未來學家阿爾文·托夫勒便在其著作《第三次浪潮》中熱情洋溢地將大數據贊頌為“第三次浪潮的華彩樂章”。不過直到時光抵達2009年,“大數據”才開始成為互聯網信息技術行業的流行詞匯。
環顧四周,我們都已經切身感受到了當今的信息量正在以前所未有的速度膨脹。當我們的普通民眾在上世紀90年代剛剛接觸個人計算機的時候,1MB的磁盤,1GB的硬盤已經是不錯的配置。然而現在呢?GB、TB都已經無法滿足我們丈量數據大小的需要,PB、EB、ZB已經義無反顧地承擔起了丈量數據的大任。
隨著互聯網自媒體的普及,每天都有數以億計的人在發微博、寫微信、更新個人主頁、使用社交網站、發表個人評論……全球互聯網上每天會有220萬TB的新數據產生,90%的數據都是在過去的24個月內創造出來的,如今,這個比例還在不斷上升。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中,他們對大數據的表述是:大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。他們對大數據的特性進行了歸納,提出了4V特點,即Volume(數據量大)、Velocity(要求實時性強)、Variety(數據的種類多樣)、Value(數據是有價值的)。
而《互聯網周刊》則認為“大數據”的概念遠不止大量的數據和處理大量數據的技術,或者所謂的“4V特點”之類的簡單概念。大數據是涵蓋了人們在大規模數據的基礎上所能做到的事務,而這些事務在小規模數據的基礎上是無法實現的。換句話說,大數據讓我們能夠以一種前所未有的方式,通過對海量數據進行分析,獲得具有巨大價值的產品和服務,或者深刻的洞見,進而最終形成變革世界的力量。
2大數據應用的現狀分析
最早提出世界已經迎來“大數據”時代的機構則是全球知名的咨詢公司——麥肯錫。麥肯錫在其研究報告中指出:數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產因素;而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。
大家都或多或少地意識到應該能從這些海量的數據中獲取些什么,然而究竟我們能獲取到什么呢?
一個被廣為傳播的典型案例是:在2012年初美國的一家Target超市,一位憤怒的父親突然闖進來對店鋪經理咆哮道:“你們竟然給我17歲的女兒發嬰兒尿片和童車的優惠券,她才17歲?。 苯浝硐乱庾R地認為是店里出了問題,也許是誤發了優惠券,于是立即向這位父親道歉。然而經理卻沒有意識到,其實這是公司正在運行的一套大數據系統得出的分析結論。
Target會從其會員的購買記錄中去了解該顧客的性格、類別等一些列業務活動。上面的例子正是Target為適齡女性創建的一套懷孕期變化分析模型,如果相關客戶第一次購買了嬰兒用品,系統將會在接下去的幾年中根據嬰兒的生長周期向顧客推薦相關的產品,從而培養和提高客戶的忠誠度。
果然,一個月后,該名憤怒的父親打電話給商鋪道歉,因為Target發來的嬰兒用品優惠券不是誤會,他的女兒確實懷孕了。
利用數據挖掘用戶的行為習慣和喜好,在凌亂紛繁的數據背后發掘出更符合用戶興趣和習慣的信息、產品和服務,并對這些目標化的信息、產品和服務進行針對性地調整和優化,這便是大數據能帶給商家最誘人的價值之一。
隨著社交網絡在人們生產生活中地位的快速提升,大量UGC(User Generated Content用戶自生成的內容)進入互聯網,上述價值的實現也變得越來越明顯。
事實上,全球IT業巨頭都已經意識到數據的重要意義和“大數據”時代的到來。包括IBM、EMC、惠普、微軟在內的全球知名跨國公司都陸續通過收購與“大數據”相關的廠商來實現技術整合。
目前典型的大數據應用領域有:
商業智能。例如:用戶行為分析,即結合用戶資料、產品、服務、計費、財務等信息進行綜合分析,得出細致、精確的結果,實現對用戶個性化的策略控制,這在營銷網絡的流量經營分析中占有越來越舉足輕重的地位。個性化推薦,即在各類增值業務中,根據用戶喜好推薦各類業務或應用,這已成為運營商和門戶提供商服務用戶的一個最有效方式之一,比如應用商店的軟件推薦、IPTV視頻節目的點播推薦、購物或旅游網站的猜你喜歡等。
公共服務。一方面,公共機構可以利用大數據技術把積累的海量歷史數據進行挖掘利用,從而提供更為廣泛和深度的公共服務,如實時路況和交通引導;另一方面,公共機構也可以通過對某些領域的大數據實時分析,提高危機的預判能力,如疾病預防、環境保護等,為實現更好、更科學的危機響應提供技術基礎。
政府決策。通過對數據的挖掘,從而有效提高政府決策的科學性和時效性。例如:日本大地震發生后僅僅9分鐘,美國國家海洋和大氣管理局(NOAA)就了詳細的海嘯預警。并且隨即NOAA通過對海洋傳感器獲得的實時數據進行了計算機模擬,制定出詳細的應急方案,并將制作的海嘯影響模型實時在了YouTube等網站上。
3大數據解決方案的現狀分析
以往談及大的數據通常用來形容一個公司創造的大量非結構化和半結構化的數據。如今把“大數據”作為一個專有名詞提及,通常指的是解決問題的一種方法,即通過收集和整理生產生活中方方面面的數據,然后對其進行整理、挖掘、分析、處理,進而從中獲得有用的價值信息。這種衍化出的新的商業模式即為通常意義上的大數據解決方案。
雖然通常意義上的大數據解決方案描述了一種通常的行為,但要實現這種通常的行為,往往會遇到諸多技術和硬件上的問題。一個顯而易見的問題就是:大數據包絡萬象,而且像音頻、文本信息、視頻、圖片等非結構化數據正以突飛猛進的速度增長,加上移動互聯網的普及所帶來的如位置、生活信息等富含價值的數據,現有的,或者傳統的對數據的處理手段和硬件配置已越來越跟不上數據發展的步伐。
于是革命爆發了!
哈佛大學社會學教授加里·金就說道:“這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程?!?/p>
數據需要存儲,存儲需要設備,存儲設備的容量和可擴展性以及讀取的速度成為了一大問題(容量問題);大數據不是一日而成的,往往都需要一定周期的積累,在數據的積累過程中,以前的數據和現在的數據在存儲上應該是能保持一致的,無論設備升級與否,而且這些數據要長期有效,這是一個持久的問題(積累問題);與持久相對應的,互聯網是變化的、經濟活動是變化的、整個世界都是變化的,針對某些實時問題,如交易、金融等,用已經過去的數據顯然是不合適的,這也是一大問題(延遲問題);大數據包絡萬象,有些是可以隨意獲得、和消除的,有些,如金融數據、醫療信息、政府情報等,則是需要按不同級別進行保護和加密的,特別是在需要交叉數據參考的應用中,不同部分的數據有著不同的安全需要,這又是一大問題(安全問題);為了滿足上述問題,我們顯然可以通過不斷加大投入,購買更多的存儲設備、雇傭跟多的工作人員、建設更多的數據中心和分析中心,但這一切都是由成本的,特別是對于以盈利為目的的商業機構而言,成本和收益永遠都是最優先考慮的問題之一(成本問題);當然還有很多其他的問題,這里就不一一羅列了。
驅動商業機構解決上述問題的動力肯定是商業利益。以全球知名的IT制造與服務和咨詢提供商IBM為例,其全球CEO調研顯示,唯有在數據獲取、將數據轉換為洞察力、再將洞察力轉化為行動力等方面表現優秀的企業,才能有持續的績效表現??冃怀稣邚暮A繑祿型诰虺鲇袃r信息的能力是績效不佳者的2倍。
IBM認為由于當今企業、市場、社會、政府之間的聯系變得越來越緊密,傳統的數據分析正日益呈現出“大數據”時代的新特點,即容量要求更高、速度要求更快、數據類型多樣和數據來源復雜4個方面。結合多家領先市場咨詢機構的調研數據顯示:
2010-2015年,“大數據”市場年均符合增長率為39.4%,將是整個信息與通信技術市場增速的7倍;管理及維護數據的成本將是購買存儲設備所需成本的4倍;全球數據量的年均復合增長速度為59%;未來需要分析的信息源中,混合類型數據所占比重將高達85%;數據分析直接受到服務器性能制約的數據量將占到總體的87%;僅2012年一年,服務器在整體“大數據”市場投資中就將占去14%的比重。
這就意味著傳統計算的低效正在為企業發展帶來阻礙,企業感到當前的IT系統變得更加復雜且難以管理。數據顯示:企業用于運營和維護IT系統的費用已經超過整體預算的70%,并且這一比例仍在持續增長;企業有三分之二的IT項目及解決方案部署超出了原定計劃;IT架構的復雜度將以當前速度每兩年就增加一倍。
于是出乎絕大多數人意料的事情發生了:IT部門,這個曾經作為企業現代化和創新化能力標志的部門,正越來越成為企業新創新的阻力而非動力。
怎么辦?
很多人立即想到了另外一個熱詞:“云計算”。
IBM全球高級副總裁Rod Adkins認為,當前全球IT領域有了令人振奮的發展趨勢和挑戰,現在每天有大量數據和信息生成,這為大數據分析提供了機會;數據中心的挑戰也為IT提供了新機會,比如云計算,能降低數據中心成本。
EMC資深產品經理李君鵬認為,大數據本身就是一個問題集,云技術是目前解決大數據問題集最重要有效的手段。云計算提供了基礎架構平臺,大數據應用在這個平臺上運行。目前公認處理大數據集最有效手段的分布式處理,也是云計算思想的一種具體體現。Teradata技術總監Stephen Brobst則表示,公有云架構對數據倉庫沒有影響,因為企業的CIO不會無緣無故把財務數據或者客戶數據放到云上,那樣很危險。然而,是私有云架構確實有影響:第一,通過私有云,可以鞏固數據集市,減少利用率不足的問題;第二,可以通過靈敏的方式將數據集成,實現業務價值。
于是有人就此理解為:大數據的最佳解決方案是采用云計算和分布式處理,利用互聯網將運算能力、存儲能力都做分布式的處理,認為這樣做就可以最大程度上地降低成本、增加擴展性和靈活性。
然而事實真的如此嗎?
讓我們來分析一下最近IBM公司在國內針對百萬人口的城市級信息中心制定的解決方案:
面對數量龐大且增長迅速的各類交通信息:120萬輛機動車電子卡、4萬輛機動車的實時GPS定位、200萬筆公交IC卡數據、518個高清卡口的113億張圖片等,該市信息中心的領導意識到,當前多個項目能源消耗大、占地要求非常高、并且原有的網絡設備難以滿足新增的需求,網絡設備經常更換,并且這些相互獨立的數據庫、服務器和存儲,以及不同的訪問權限和沒有統一的管理界面,讓本就壓力巨大的數據中心的效率大打折扣,同時也極大浪費了寶貴的人力、能源和其他各種資源。
IBM給出的解決方案是:
首先,在基礎平臺上摒棄了分布式的服務器架構,而是采用大型服務器在基礎架構上對處理能力、I/O吞吐和主存儲進行了整合,這樣做的最大亮點是,將原有成百計的分布式服務器整合到了個位數,極大地節省了空間和能源,做到綠色環保;因為不用考慮各分布式服務器之間的互通互聯和各服務器之間的狀態及負載均衡與調配,節省了相當數量的管理人員;另外大型服務器自身端到端的管理功能和適用于異構工作負載且基于策略的框架,有效幫助信息中心實現中心控制,實現極高的性能。
其次,在整合的基礎平臺之上,采用“云計算”框架虛擬化設計,實現了智能交通和政務網站的整合。這一方案讓用戶在使用上可以享受與分布式架構相同甚至更加優越的性能。由基礎平臺通過虛擬化形成的任意數量的虛機,在統一云管理軟件URM的配置下,能夠提供統一的管理視圖和管理機制,簡化在多套異構業務系統環境下系統的運營和維護工作。
而在本方案中的存儲部分則采用了運行穩定、性能領先、技術成熟的SAN網絡架構,具有很好的穩定性,能為前端各應用提供可靠的數據存儲平臺,并且整個SAN網絡中的部件都配置了雙冗余組件,保證任一部件的損壞不會影響整個系統的運行,而關鍵數據庫的數據都通過合理的備份策略,定期備份在了物理磁帶上,保證關鍵數據的絕對安全。
總結下來,整合的基礎平臺,“云計算”框架的虛擬化設計,和定制化的高速存儲,打造出了最穩定、最可靠、最安全、最綠色的運行環境,讓政府的大數據應用完美落地。
可見,大數據的解決方案不同于純粹云計算的解決方案,雖然云計算帶來了看上去更便宜的處理能力和存儲能力,但對于往往都有相當數量級規模的大數據應用而言,在基礎架構上巧妙地整合和部分的集中,反而能更好地解決安全性、可靠性、穩定性和綠色環保的需要。
4結束語
大數據時代科技與科學教育面臨著諸多的問題
首先,科學出現了新的形態?,F代科學之父伽利略是個里程碑式的人物,正是伽利略明確地將實物實驗和數學推理方法引入到了科學研究之中,科學才得以系統而迅速地發展。從那時起,科學家們開始以實物實驗和數學推理的方式認識自然世界,科學因此形成了兩種形態,其一是實物實驗形態,其二是數學推理形態。隨著科學發展到今天的大數據時代,一些科學家和工程師離不開借助計算機手段研究事物,科學出現了基于計算機的第三種形態——計算形態。各個學科的邊界變得模糊,科學研究的范式有了新的變化。以前學科分化越來越精細,但是科學發展到今天,信息科學、納米技術、生物科學和生命科學、認知和神經科學被公認為最具革命性的學科領域,這四種科技的整合,將對人類社會產生深刻的影響,并可能再次改變我們人類的物種。學科在高度分化的基礎之上開始走向學科之間的滲透和融合,特別是開始走向自然與人的融合?;谟嬎銠C的整合是當今科學發展與突破的必由之路。但是如何整合卻是仁者見仁智者見智之事。
其次,技術的高速發展帶來了日益嚴重的社會問題。比如生命科學中的克隆技術直接挑戰人類社會傳統的倫理問題;對于自然界的無節制索取,帶來了日益嚴重的能源危機和生態環境惡化危機等。此外,物質生活的豐富與網絡的言論自由帶來了日益高漲的民主與平等的社會訴求。這些問題可能直接源自高速發展的科技,以致于我們的精神與理解出現相對滯后。諸多危機與問題要得到根治,除了需要加快人類智慧文明發展,還需要科技與科學教育的進一步高度發展,此所謂解鈴還須系鈴人??茖W史上,科學家們為人類積累了豐富的化解人類危機的智慧與知識。
最后,一方面“科教興國”得到普遍共識,人們開始懂得在科學教育之信息化方面投入大量的人力和物力;另一方面人們對技術的發展給生存環境構成影響認識不足,主要表現在看不到現代教育技術的革命性影響潛力,或者在現代教育技術面前感到茫然。這種狀況除了造成設備因為閑置而帶來的嚴重浪費現象之外,還限制了我們破解當今科技與科學教育難題的思考與方法。
為了解決諸多危機與沖突,需要探討各種可行而有效的解決方案。通過分析大數據時代的科學教育的現狀不難發現,如果只是從局部進行個別改動,問題難以有效地得到解決,當今的科學教育問題要想從根本上得以解決,必須運用系統觀念,從整體上改變或者構建科學教育體系,換句話講,需要從整合的角度才能提出可行的解決方案。
數字科學家計劃
針對大數據時代人類面臨的諸多危機,人們提出了一些對策與良方,其中影響最大的是國際21世紀教育委員會在向聯合國教科文組織(UNIESCO)提出的21世紀教育的四大支柱策略:(1)學會認知(Learning to know):培養學生學會運用認知工具求知,學會發現問題,學會探究知識,學會構建知識。即培養學生認知方法,引導學生通過發現、探究和意義構建的途徑獲取知識,培養學生的繼續學習能力。(2)學會做事(Learning to do) :既要學會實踐,也要學會創造。重視建造可供學生參與的環境,激發學生興趣,使學習者通過環境的交互作用,通過實踐,通過做事獲得知識和能力。(3)學會合作(Learning to together) :要培養學生學會與他人共同生活,就要學會合作生活,合作學習,從過去的集中教學方式到個別學習方式,到現在提倡的協作學習。(4)學會生存(Learning to be) :學會生活、學會做人、學會自身的發展。既要傳授知識,還要注重能力和高尚情操的培養。
在科學教育領域之中形成了一種強調親自動手學習科學的潮流。在美國、法國、英國、加拿大等國的國家科學課程改革方案中,科學探究被列為課程目標和課程體系的關鍵而基本的要素。“學習必須是主動的”已成為國際上基本的教育理念。其中影響較大的有“做中學”、“Hands-on”(動手做)、“Minds-on”(動腦做)、“STEM”(科學、技術、工程、數學)等科學教育實踐。這些科學教育實踐旨在使學生以科學的方法學習知識,強調學習方法、思維方法、學習態度的培養。
這些先進的科學教育理念與實踐推動了科學教育的創新與實踐。但是實踐表明,一個好的理念要想轉化為教學行為,往往需要一個較長時期的培訓與轉化過程,這個過程是艱難的,特別是對于教師和學生需要具有一定的專業理解能力。能否綜合上述先進的科學教育理念,提出一種直觀、易懂而且有效的科學教育模式的推廣方案呢?數字科學家計劃(E-Scientist Project, ESP)給出了一種大數據時代下科學教育模式的推廣方案。
所謂數字科學家計劃,就是一種大數據環境下以提高每一位學生科學素養水平為宗旨,以探究式教學為鮮明特征,以科學思想、科學方法和數據挖掘方法為核心,播種未來科學家種子的教學模式的推廣方案。
數字科學家計劃主要有兩方面特征,其一,數字科學家是一種科學教育模式符號,以“科學家”符號將抽象的科學教育理念人物化和直觀化,即準確地表述了現代的科學教育理念,也便于師生理解與實施。榜樣的力量是無窮的,雖然科學不能解決人類所有的問題,但是科學家們為我們積累的知識、思想、方法、科學精神在過去和將來都是破解社會難題的重要途徑;其二,強調發揮大數據環境下第三種科學形態的育人功能,這是當今科技與科學教育創新的重要切入點。
數字科學家的教學模式是在WebQuest(基于網絡的主題探究)模式的基礎上改造而成的。主要有以下五個模塊:(1)核心問題:WebQuest的核心是設置一個開放性的問題。這個問題設定了WebQuest的清晰目標,鼓勵學生回顧原先掌握的知識,激發學習者進一步探索的動機。(2)任務指南:提供一個“腳手架”,引導學生設計、經歷和體驗專家的思維過程?!澳_手架”將令人望而生畏的探究項目打碎成若干個片段,引導學生研究較為復雜的科學問題。(3)海量資源:創建一些到其他互聯網站點的鏈接來共享網絡資源。通過運用多樣化的互聯網資源,可以為不同學習水平或不同學習方式的學生提供信息資源。(4)實施“做中學”:要提供高層次的思維指南,體現“做中學”的教學理念,保證動腦和動手的教學方式落到實處。(5)交流與評價:WebQuest一般用量規提供了自我評估的標準,提示學生已經學到了什么,并鼓勵把這種探究的經驗擴展到其他領域。評價人員可以是教師,也可以是家長和同學。
數字科學家計劃產生于筆者主持的北京市教育科學“十一五”規劃課題《數字科學家計劃:基于數據探究理論的物理選修課程建設與研究》(2010年立項),已經在北京景山學校、北京一零一中學、北京師范大學亞太實驗學校等學校展開實驗。該項目在課題階段探討了校本特色選修課程的建設,但是隨著課題研究的深入開展,數字科學家計劃已經不再局限于校本選修課程,開始運用到正規的物理課堂教學;也不僅局限在物理學科教學,已經開始運用到小學高年級的科學課程與教學;還不僅局限在學??茖W教學,已經開始運用于北京市東城區青少年科技館的科普性質科學課程,并配合教學,于2013年11月成功地舉辦了北京市東城區“數碼探科學”大賽。大賽令人耳目一新,引起了學者和教師的廣泛關注。著名教育家顧明遠先生在頒獎會上講到,這次大賽讓人們看到了大數據環境下的教學實踐,學生們在數碼探究中有模有樣,學到了科學思想、科學方法,體驗到了數碼探究的樂趣。
經過三年的探索與實踐,數字科學家計劃已經從課題研究轉向項目推廣的初期階段。初步建設了數字科學家網站,形成了一種大數據環境下的科學教育模式,也形成數字科學家課程的教師培訓經驗,還形成低、中、高端數字環境裝備下課程實施經驗,已經具備了在更大范圍試驗與推廣的條件。
數據探究理論——數字科學家計劃的基石
探討破解大數據時代的科學教育難題的途徑涉及大而復雜的社會問題,僅憑經驗而沒有理論的指導是難以理解與完成的。但是數字科學家計劃已經形成了一些基本的概念與教學原理。這些基本概念與教學原理構成了所謂的數據探究理論。數據探究理論是數字科學家計劃的基石。
信息(Information)是數據探究理論的邏輯起點。何謂信息?這是一個復雜而神奇的概念,學者們有著不同的見解,美國數學家和控制論創始者維納不得已這樣定義信息:信息就是信息,既非物質,也非能量。筆者考慮到人的因素,對信息進行了如下的定義:信息既不是物質,也不是能量,而是物質的波-粒二像性與人相互作用的存在形式。
數據(Data)是數據探究理論的另一個重要概念。數據是載荷或記錄信息而留下的明確印跡。數據可以是數字、文字、圖像、錄像,也可以是計算機代碼等。對數據背景的解讀是獲取意義的一種途徑。數據背景是接收者針對特定數據的意義準備,即當接收者了解數據序列的規律,并知道每個數據或數據組合的指向性目標和含義時,便可以獲得數據所載荷的意義。觀察數據或者數據挖掘就是對數據背景的解讀過程。數字科學家計劃的核心環節在于信息觀測、數據挖掘和數據價值與交流。
探究式教學是一種以科學探究為基本特征的教學模式,其實質是引導學生通過類似科學家的探索過程理解科學概念和科學本質。依據科學的三種形態,將探究式教學分成實物實驗探究、數學推理探究和數據探究。所謂數據探究是一種基于計算機的探究式教學,是提高學生數據素養水平的必要途徑。數據探究與其說是一種適應大數據時代的手段和途徑,不如說是大數據時代的一種生活理念和生活態度。
數據探究在教師觀、學生觀、學習觀和評價觀上均具有新的內涵。簡單介紹如下:(1)教師是數據探究的促進者與合作者。(2)學生是具有創造能力的學習主體。數據探究應該把學生置于一個有社會意義的團體中,培養“共生性”與“交互性”,體驗創造的意義和價值。還應該體現STS教育,強調人對自然、社會、人生的責任和義務。(3)數據探究是一個建構的、社會化的綜合體驗過程。學習者總是依據已有經驗、心理結構和信念來選擇一些信息或者數據,從中經過數據挖掘得到推論,并根據推論來構建關于世界的認識。(4)評價是開放、多元的反饋過程。數據探究評價認為學習是一種建構獨特意義的過程,注重對于探究過程的評價,關注評價的開放性與多元性。
總之,數字科學家計劃在理論與實踐上為我們提供了一種大數據時代科學教育整合的解決方案。
11月25日,國內領先的軟件基礎平臺與解決方案提供商普元信息技術股份有限公司在北京隆重召開了普元政務大數據解決方案會。在此次會上,普元還推出了《共享、開放、融合政務大數據平臺最佳實踐》這一普元政務領域大數據平臺解決方案白皮書,將實踐提升到方法論層面,用“三級規劃、五層能力”助力政府在國家戰略下搭建政務大數據生態,推進政務大數據開啟“共享、開放、融合”時代。
普元此次的政務大數據解決方案,涵蓋“三級規劃、五層能力”,能夠有效幫助政府客戶全面掌控與運營政務大數據。普元政企事業部副總經理王克強在演講中提到,按照政務大數據現狀及發展趨勢,“三級規劃”即按步調實現政務大數據平臺的共享共用、開放服務、融合應用大階段建設。在共享共用階段,建立并完善數據標準,梳理并搭建共享主題庫,依據標準實施數據集成,建立動態信息資源目錄,實現先主后次、先易后難的政務數據共享體系建設落地;在開放服務階段,支撐數據服務集成管理,建立政務數據開放平臺,實現自主可控、逐項開放的政務數據開放生態構建;在融合應用階段,提供全端數據可視化,建立實時響應機制,建設智慧生態政府,實現精準集約、動態敏捷的應用融合形態。
那么,如何達成上述三個階段的發展目標呢?普元大數據產品線總經理王軒如此說道,圍繞業務、技術和管理策略,政府大數據的落地需要存儲、質量、共享、開放、應用五層實施能力提供支撐。這五層能力具體是指存儲處理是根基,數據質量是底線,共享共用是關鍵,數據開放是趨勢,融合應用是目標。通過這五大核心能力,可以充分挖掘數據價值,提升政府大數據技術服務能力,促進大數據與各行業應用的深度融合,以應用帶動大數據技術和產品研發,從而形成成熟的大數據解決方案。
在產品支撐體系上,普元圍繞五大核心能力,提供包括存儲與處理、大數據集成、大數據治理、大數據運營和大數據應用五部分內容的一系列政務大數據平臺,為政府客戶提供最為有利的技術支撐。目前,普元擁有政府、金融和電信等多行業數據治理經驗,能夠長期為政府客戶提供專業產品和服務,協助政務大數據可視化應用創新。
普元CTO焦烈焱進一步表示,普元成熟的解決方案,不僅能夠在政務大數據領域全方位滿足政府用戶的深層需求,提供安全可靠、共享開放融合的政務大數據解決方案,還能夠提供SOA、大數據、云計算三大系列產品以及相關的一站式解決方案。這個全面、高度集成的軟件平臺體系,可以為客戶IT管理提供堅實支撐,幫助客戶采用大平臺、微應用模式建設新一代IT架構,實現“互聯網+”時代的業務轉型,提高核心競爭力。
數據的變化,從來不是一個循序漸進的過程。隨著信息的砰然爆發,誰能合理地分析、管理、挖掘海量數據的內在價值,誰就有可能成為下一個行業巨頭。無論從應用、需求還是解決方案層面,大數據都已經到了“應時而生”的時代。
“可以說,這是一場數據的‘工業革命’,數據迎來了量與質的改變,非結構性數據激增,計量單位已從T級升至P級,甚至是E級。”英特爾亞太研發有限公司總經理何京翔在接受本刊記者采訪時稱,“目前這些數據大部分是‘冷數據’,即采集完成后并沒有進行實時分析,沒有挖掘其潛在價值。”
包裝的藝術
大數據涉及數據采集(存儲)、數據傳輸(網絡)、數據處理(計算),而這些恰恰都是英特爾的專長?!癐ntel Distribution for Hadoop是對傳統英特爾平臺的優化,然而,對Hadoop(目前最受歡迎的對網絡搜索關鍵詞進行內容分類的工具)進行逐一模塊式的優化仍然是零散的,需要形成整體的、打包式的解決方案,這就進一步涉及管理?!焙尉┫杞忉?,“目前僅Hadoop涵蓋的20個模塊是開源的,僅將開源軟件定為企業級應用,其穩定性、可靠性、可維護性都成問題。因此,如何把零散的模塊包裝起來,形成整體效益,才是英特爾的‘絕活’,換句話說,Hadoop管理才是讓‘1+1>2’的核心?!?/p>
何京翔表示,英特爾正在利用不同級別的處理器架構、不同的數據應用架構,以及相關的解決方案,幫助用戶從端到端找到完整的解決辦法。綜合解決方案,意味著從芯片到存儲,再到網絡,最后到軟件應用,形成鏈型優化,其直接效果就是原先4小時的處理時間能夠被壓縮至7分鐘。
英特爾的綜合解決方案并非一站式服務,這符合英特爾一貫主推的橫向商業模式(Horizontal Model)。何京翔稱:“英特爾大數據解決方案的客戶都是我們的合作伙伴,我們認為,為不同客戶提供不同層次的、靈活、強大和開放式的解決方案,方能真正為企業預留出創造價值和發揮優勢的空間,幫助企業解決實際難點?!?/p>
群狼與雄獅
目前,英特爾大數據技術主要應用于四大領域:電信、金融、智能交通和醫療。
以電信行業為例,中國用戶群龐大,自動產生的數據量大,數據分析是個很現實的問題?!半娦殴镜目蛻敉ㄓ崝祿a生的時候是結構化數據,但是數量太龐大,傳統的結構化數據分析方式做起來比較吃力,所以現在我們先把它轉成非結構化的,輸入Hadoop,通過分布式處理,生成并存任務,然后再將結果寫回結構化數據,最后我們合作伙伴看到的還是結構化的分析數據?!焙尉┫璞扔髡f,“這是一個典型的‘一頭雄獅子斗不過一群狼’的例子?!?/p>
提出“五級”轉型戰略
盡管當前很多企業都在積極采用大數據分析技術和解決方案來變革業務模式,提升企業的核心競爭力,但是很多企業都對自身的大數據項目并不滿意。全球領先的基準研究和咨詢機構Ventana Research的研究@示,79%的企業用戶不具備運用高級分析技術的必備技能。
姜欣介紹,今年Teradata通過《經濟學人》雜志在全球所做的一個調研結果顯示,在大數據利用方面,企業主要存在以下三方面問題:第一,數據整合問題,57%的被訪企業認為難以獲取重要的業務數據;第二,數據應用問題,42%的受訪企業認為數據過于繁雜,應用不夠友好;第三,數據治理問題,75%的受訪企業為因異構數據而浪費時間感到困擾。
“我們目前推出的解決方案和技術,就是為了解決以上三方面問題?!苯澜榻B說,為此Teradata提出了五級轉型戰略:
其一,堅定地走一體化數據分析平臺的道路,不斷完善一系列平臺產品,其中包括最近推出的Teradata IntelliFlex數據倉庫架構和Teradata Aster大數據探索平臺
其二,全面向云轉型,支持私有云、公有云和托管云等多種部署方式,并在這種云生態下提供咨詢和開發部署服務。
其三,打造分析生態系統,將統一數據架構(UDA),以及Unity、QueryGrid和Listener等工具整合起來,形成一個大數據生態,并在這個生態下提供咨詢和實施服務。
其四,從完全技術中立的角度為客戶提供大數據咨詢服務,如大數據戰略規劃服務、敏捷開發咨詢服務、數據建模服務。
其五,堅持客戶至上而非產品至上,用多元化的產品全面滿足客戶需求,幫助客戶挖據數據價值。
由此可見,Teradata在大數據領域,除了不斷完善產品和技術以外,還不斷強化咨詢服務能力。
推出無邊界分析功能
作為Teradata多年的老客戶,瑞典最大的工業企業集團沃爾沃汽車公司從2006年開始建立數據分析平臺。一直以來,沃爾沃汽車公司面臨的一個問題,就是數據散布在超過30個系統中。公司的整合數據存儲庫和數據模型中,除了有客戶、經銷商、車輛與車輛配置信息、質保和故障診斷等數據外,還有很多外部數據。這些數據有結構化數據,也有非結構化數據。
沃爾沃汽車公司亟須一個彈性好、敏捷性高的平臺來處理所有這些數據。為此,沃爾沃汽車公司部署了Teradata統一數據架構,將所有需要處理的數據全部整合起來進行處理,從而解決數據孤島和數據治理混亂問題。在部署了Teradata統一數據架構后,沃爾沃汽車公司構建了全球統一的敏捷的數據驅動環境,從而可以借助可靠的數據分析結果降低運營成本,提高盈利能力和客戶滿意度;形成基于事實的決策機制和文化,使得公司更加開放和透明;有效支撐“數據創客”活動,員工和合作伙伴可以基于數據平臺開發數據產品。
沃爾沃汽車公司成功應用Teradata統一數據架構的案例,是Teradata新推出的無邊界分析功能的一個應用典范。據悉,Teradata無邊界分析打破了過去在進行數據分析時單一系統、單一技術分析的界限,突破時間、地點,以及所需數據和平臺的限制,幫助企業高效完成數據分析工作。
Teradata無邊界分析功能通過最新版本的Teradata QueryGrid軟件和可以自動協調多系統Teradata環境的Teradata Unity軟件來實現。其中,Teradata Unity軟件具有高可用性特點和工作負載分配功能,從而確保用戶在權限范圍內可隨時訪問相關數據和分析。全新升級的Teradata Unity具有強大的跨系統功能,可進一步消除分析環境界限。
電子專業制造服務公司偉創力公司數據與分析團隊主管森迪爾(Sendil Thangavelu)認為,采用多個分析引擎來分析來自多個數據存儲庫的數據以獲得更全面、可視化的分析結果,將成為企業強化競爭優勢的重要因素。“我們的Teradata數據管理環境已經非常卓越,但我們一直還在尋找解決方案來提高我們的能力。Teradata的無邊界分析概念與我們的企業發展方向不謀而合。”森迪爾補充說。
推出快速分析咨詢服務
姜欣告訴記者,2015年年底,Teradata總結出了在新形勢下具有較強競爭力的新型企業――技術感知型企業。技術感知型企業應具有敏捷平臺、行為分析、協同思維、自助應用和自動決策五大核心能力。
姜欣表示,技術感知型企業對內能夠提供數據洞察能力,實現數據驅動流程,提升運營的ROI;對外可以整合數據價值,創新數據盈利模式,實現信息運營。
但是,成為技術感知型企業并不容易。為了幫助客戶更加順利、快速地成為技術感知型企業,Teradata還推出了Teradata RACE(快速分析咨詢服務)和Teradata業務價值框架。據介紹,RACE是一套敏捷、技術中立的方法論,能夠幫助客戶在正式投資前了解分析解決方案的潛在業務價值。不僅如此,借助豐富的行業經驗和專業的數據分析技術,Teradata還可以幫助客戶將項目實施所需時間從數月縮短至6~10周。
據悉,作為Teradata RACE服務的核心,Teradata業務價值框架是Teradata從數千次與客戶成功合作中積累的豐富經驗的結晶。該框架通過發現切實有用的分析解決方案,幫助客戶更快地從分析和數據技術投資中獲取回報。
值得一提的是,隨著物聯網傳感器數據等新型數據源的不斷出現,新分析技術的不斷涌現,用戶部署和應用分析解決方案的難度越來越大。但依托適用Teradata業務價值框架詳盡的可視化信息,接受RACE服務的客戶可以在實施分析解決方案時,掌握清晰的路線圖,了解該項目在何時、以怎樣的方式帶來投資回報。
姜欣介紹,RACE方法包含三個主要階段:
第一階段,溝通(Align)。Teradata的分析業務咨詢顧問以業務價值框架作為出發點,幫助客戶發現最具潛在價值的業務案例,并對準該業務案例開展工作,確認支持該使用案例關鍵數據資產的可用性。
第二階段,創建(Create)。Teradata的數據科學家為選中的業務案例載入并準備數據,開發新分析模型或調整既有模型。本階段數據科學家會與業務發起人對方案進行多次快速迭代,以確保分析結果能帶來預期業務效果。
第三階段,評估(Evaluate)。Teradata的分析業務咨詢顧問分析結果,評估部署分析使用案例的潛在投資回報率,并為客戶設計、部署方案。
Ventana Research高級副總裁兼研究主管大衛(David Menninger)指出,企業對數據分析項目不滿的主要原因是相關技能短缺,而Teradata的業務價值框架將為企業提供所需技能和最佳實踐案例,幫助企業獲得豐碩的成果和可觀的投資回報。
在互聯網+時代,商業環境瞬息萬變,無論是互聯網企業還是亟待轉型升級的傳統企業,要想保持自身業務具有競爭力,就一定要走在變化的前沿。如今,越來越多的企業都在通過數據分析的手段來把握未來業務走向??梢钥吹?,無論是全球還是中國大數據市場的規模都在迅速擴大。IDC最新研究結果,預測到2018年全球大數據技術和服務市場的2018年的復合年增長率將達到26.4%,規模達到415億美元,是整個IT市場增幅的6倍。而根據易觀智庫的中國大數據應用行業的報告顯示,2015-2018年中國大數據市場營銷規模達到258.6億人民幣。環比增長率為37.2%。
“在大數據時代,應對海量數據增長不僅需要有強大性能的計算和存儲基礎設施,” IDC中國企業級研究部研究經理胡向東談到:“隨著應用的復雜化,人們信息需求不斷增加,現有數據中心出現了不少自身無法解決的問題,必須要對現有數據中心進行優化或重建,尤其是數據中心網絡的重建。而數據量的不斷激增也促使企業用戶在部署大數據解決方案的過程中,更加需要靈活、開放的網絡解決方案。高速的帶寬能夠幫助企業數據中心逐步實現軟件定義的網絡、加速數據的分析,并進一步為企業業務提供強勁支撐?!?/p>
在實現軟件定義網絡并進一步推進大數據、云計算應用部署的過程中,對于需要保持競爭力、實現轉型升級的企業而言,提高帶寬、靈活性和可擴展性變得十分必要。“Spectrum’交換機作為我們開放式以太網交換機的最新產品,能夠提供數據中心客戶所需的萬兆、2.5、4、5和10萬兆以太網交換機解決方案的公司,使其能夠跟上網絡升級對數據獲取和處理的要求,并進而保持競爭優勢、降低其資本和運營開支,”Mellanox公司市場副總裁Gilad Shainer表示:“我們所推出的全新的端到端以太網解決方案為互聯網企業與傳統行業用戶在云、Web 2.0、數據分析、人工智能等方面的應用開啟了一扇大門,使他們可以重新構思數據中心對于不斷變化的實際業務需求所能提供的價值?!?/p>
互聯網公司一直以來都是創新技術應用的風向標。作為中國最大的自營式電商企業,京東擁有豐富的商品、海量的用戶、最大規模物流基礎設施。為了更好地滿足消費者的個性化需求,提升庫存配置、物流管理等方面的運轉效率,京東在大數據、云計算方面也展開了實踐?!按髷祿夹g可以為京東提供智能銷量的預測、精準的庫存配置、解決物流行業浪費的問題、提升零售行業運轉的效率;而借助京東云,我們也能更好地滿足賣家和買家的電商應用和IT服務需求,與廣大商家、用戶、ISV和應用開發者,共同培育電商應用生態,”京東集團副總裁、京東云總經理何剛分享道:“在我們推進大數據、云計算技術在京東應用的過程中,我們深刻體會到,從數據的快速收集、處理、分析到個性化的預測,速度是至關重要的因素。為此,Mellanox所提供的高速、低延遲的開放式網絡創新是我們的不二選擇?!?/p>
在互聯網巨頭的帶動下,在中國,零售、電信、金融服務、媒體等傳統行業也迎來了日新月異的變化。傳統企業會因互聯網而發生裂變、重構和創新,并借助大數據技術實現業務的轉型、升級?!皳溈襄a全球研究所的調查數據顯示,美國17個行業所擁有的數據總量排名中,傳媒業占據第三位。因此,在大數據時代來臨之際,數據成為我們傳媒產業相關經營活動的核心資源,”至頂網總經理、總編輯高飛談到:“面對數據吞吐量出現出指數級的增加趨勢,媒體也需要對海量信息進行深度挖掘,提煉更有價值的內容,并進行科學合理的包裝,同時還需要通過對數據進行詳細分類、加工、進行深度挖掘,再將這些洞察提供給有需求的企業用戶或合作伙伴。因此,大數據技術的應用在傳媒行業的轉型中已經成為趨勢,而Mellanox以太網解決方案能夠在媒體行業運用大數據的過程中,實現降低網絡延時,提升信息時效的作用?!?/p>
“作為國內領先的基礎云服務商,青云一直致力于為用戶打造簡單、高效、可靠、易擴展的云計算平臺,”青云創始人、CEO黃允松談到:“眾所周如,云計算的效率主要取決于網絡的高效。因此,除了借助高性能的服務器、存儲以及軟件之外,高效的以太網解決方案也是構建靈活的、性價比極高的私有云、公有云或是混合云解決方案的重要因素。本次的Spectrum以太網交換機,能夠為我們提供無阻塞6.4Tb/s全線速交換能力和路由能力以及業界領先的延遲和最低的功耗,能夠幫助我們和最終用戶提升數據中心效率、減少相關投入?!?/p>
戴爾亞太及日本地區總裁、全球新興市場董事長閔毅達表示,戴爾目前更加清晰地將定位聚焦在云計算、大數據、移動和安全四大領域,通過這些解決方案來改善人們生活、業務運營與全球協作?!俺晒崿F私有化后,戴爾將更具靈活性,為客戶提供更好的解決方案與服務,并攜手渠道伙伴、合作伙伴,持續堅持為客戶帶來端到端解決方案提供增值服務的戰略。”
據介紹,戴爾本著利用先進技術、幫助客戶轉型創新的宗旨,根據市場需求,在其原先由不同專業團隊根據消費類客戶、中小企業、公共事業、大型企業等不同客戶提供個性化解決方案的基礎上,更加強調和構建各產品領域的專業化能力。戴爾企業級解決方案管理部門總經理Antonio Julio表示,目前,戴爾已經在全球范圍內完成了終端用戶計算、企業解決方案、軟件和服務等四大業務部門的組織架構調整。在當前企業IT擁抱開放的趨勢下,戴爾以PowerEdge服務器、EquaILogic、Compellent、PowerVault等存儲系統,以及PowerConnect、Force10等網絡產品為用戶搭建安全、穩定的基礎平臺,并開發出多項創新的基礎架構融合產品。
作為企業級IT端到端解決方案提供商,戴爾以更加清晰的定位與整合解決方案為用戶提供云計算、大數據、移動以及安全等解決方案,改善人們生活、工作方式,并結合戴爾在國內多年深耕行業的經驗,為互聯網、移動互聯網、教育、金融、醫療、制造等行業提供定制化的行業解決方案,助力各類企業以面向未來就緒的IT基礎架構輕松擁抱開放新未來。
此次大會前,戴爾剛剛了13G PowerEdge服務器。戴爾全新PowerEdge 服務器依循三個根本原則,包括加速應用性能、在任何環境下提升工作負載,以及簡化系統管理。通過這三方面的改進,客戶可以將傳統和新的IT模式相連,為在數據中心內采用創新技術和優化新應用做好準備。據IDC 2014年第二季亞太區x86服務器市場季度跟蹤報告顯示,在中國這個成長速度最快的市場,戴爾x86服務器連續第9個季度排名市場第一,充分顯示在戴爾在這方面的實力。