緒論:寫作既是個人情感的抒發,也是對學術真理的探索,歡迎閱讀由發表云整理的11篇統計學大數據分析范文,希望它們能為您的寫作提供參考和啟發。
關鍵詞:
大數據;統計學;研究方法
中圖分類號:
F27
文獻標識碼:A
文章編號:16723198(2015)11005201
隨著信息技術的日益發展與普及,信息以及數據在社會經濟發展過程中發揮的作用越來越重要。現如今,“大數據”時代已經來臨,于是如何更有效地利用數據快速做出科學決策也已成為眾多企業甚至是國家所共同關注的焦點問題。在數據處理和分析方法方面,《統計學》以及在其基礎上發展而來的實證統計方法是當前的主流,這些方法可以幫助數據持有者從大量的數據中挖掘有價值的信息,并為其相關決策提供理論支撐和方法支持。然而,傳統的實證統計方法在最新出現的大數據情境下,卻呈現出了諸多缺陷,例如傳統數據收集方法無法實現大規模(甚至是總體)數據的收集,傳統統計方法和分析軟件無法處理大規模數據,等等。于是,在將傳統統計學方法應用于最新的大數據情境和問題之前,需要首先明確大數據所要求的處理方法與傳統的統計學處理方法存在哪些關聯和區別,然后才能夠決定是否可以應用既有統計學理論和方法來處理某些大數據問題。
1大數據的界定
根據一位美國學者的研究,大數據可以被定義為:it means data that’s too big, too fast, or too hard for existing tools to process。也就是說,該學者認為:在關于大數據的所有定義中,他傾向于將之定義為那類“太大”、“太快”,或現存工具“太難”處理的數據。一般而言,大數據的特征可以概括為四個V:一是量大(Volume);二是流動性大(Velocity),典型的如微博;三是種類多(Variety),多樣性,有結構化數據,也有半結構化和非結構化數據;四是價值大(Value),這些大規模數據可以為持有企業或者組織創造出巨大的商業或社會價值。
Victor在其最新著作《大數據時代――生活、工作與思維的大變革》中指出,大數據時代,思維方式要發生3個變革:第一,要分析與事物相關的所有數據,而不是依靠分析少量數據樣本;要總體,不要樣本。第二,要樂于接受數據的紛繁復雜,而不再追求精確性。第三,不再探求難以捉摸的因果關系,應該更加注重相關關系。這些變革反映出了大數據處理方式與傳統統計學分析方法的很多關聯以及主要不同。因此,下面我們分別針對兩者的聯系和區別進行討論。
2大數據與統計學分析方法的聯系
從18世紀中葉至今,統計學已經經歷了兩百多年的發展歷程,不論是基礎理論還是社會應用都極其堅實而豐富。大數據作為一種新興的事物規律認知和挖掘思維,也將會對人類的價值體系、知識體系和生活方式產生重要影響,甚至引發重大改變。作為兩種認知世界和事物規律的基本方法,它們在以下兩個方面存在緊密關聯。
(1)挖掘事物規律的基本思想一致。統計學(statistics)探索事物規律的基本方法是:通過利用概率論建立數學模型,收集所觀察系統的數據,進行量化分析和總結,做出推斷和預測,為相關決策提供依據和參考。對于大數據,維克托指出,大數據思維的來臨使人類第一次有機會和條件,在非常多的領域和非常深入的層次獲得和使用全面數據、完整數據和系統數據,深入探索現實世界的規律,獲取過去不可能獲取的知識。通過這兩個定義可以看出,不論是傳統的統計學方法還是新興的大數據分析方法,都是以數據為基礎來揭示事物特征以及發展趨勢的。
(2)均采用量化分析方式。大數據分析的基礎是數據化,也就是一種把各種各樣現象轉變為可制表分析的量化形式的過程。不論是傳統統計學中所應用的數據(定性和定量數據),還是大數據時代即將被轉化和采用其他形式數據(如文字、圖像等),最終都是通過量化分析方法來揭示數據中所蘊含的事物特征與發展趨勢。
3大數據與統計學分析方法的區別
(1)基礎數據不同。在大數據時代,我們可以獲得和分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴于隨機抽樣。這意味著,與傳統統計學數據相比,大數據不僅規模大,變化速度快,而且數據來源、類型、收集方法都有根本性變化。
①在數據來源方面,在大數據背景下,我們需要的紛繁多樣的數據可以分布于全球多個服務器上,因此我們可以獲得體量巨大的數據,甚至是關于總體的所有數據。而統計學中的數據多是經由抽樣調查而獲得的局部數據,因此我們能夠掌握的事“小數據量”。這種情況下,因為需要分析的數據很少,所以必須盡可能精確的量化我們的數據。綜上,大數據情況下,分析人員可以擁有大量數據,因而不需要對一個現象刨根問底,只需要掌握事物大體的發展方向即可;然而傳統的小數據情況下則需要十分注意所獲得數據的精確度。
②在數據類型與收集方面,在既往模式下,數據的收集是耗時且耗力的,大數據時代所提出的“數據化”方式,將使得對所需數據的收集變得更加容易和高效。除了傳統的數字化數據,就連圖像、方位、文本的字、詞、句、段落等等,世間萬物都可以成為大數據范疇下的數據。屆時,一切自然或者社會現象的事件都可以被轉化為數據,我們會意識到本質上整個世界都是由信息構成的。
(2)分析范式不同。在小數據時代,我們往往是假想世界是如何運行的,然后通過收集和分析數據來驗證這種假想。也就是說,傳統統計實證分析的基本范式為:(基于文獻)提出理論假設-收集相關數據并進行統計分析-驗證理論假設的真偽。然而,在不久的將來,我們將會在大數據背景下探索世界,不再受限制于傳統的思維模式和特定領域里隱含的固有偏見,我們對事物的研究始于數據,并可以發現以前不曾發現的聯系。換言之,大數據背景下,探索事物規律的范式可以概括為:數據觀察與收集――數據分析――描述事物特征/關系。
(3)數據分析方法不同。傳統統計學主要是基于樣本的“推斷分析”,而大數據情境下則是基于總體數據的“實際分析”,即直接得出總體特征,并可以分析出這些特征出現的概率。
(4)分析視角不同。傳統的實證統計意在弄清事物之間的內在聯系和作用機制,但大數據思維模式認為因果關系是沒有辦法驗證的,因此需要關注的是事物之間的相關關系。大數據并沒有改變因果關系,但使因果關系變得意義不大,因而大數據的思維是告訴我們“是什么”而不是“為什么”。換言之,大數據思維認為相關關系盡管不能準確地告知我們某事件為何會發生,但是它會提醒我們這件事情正在發生,因此相關關系的發現就可以產生經濟和社會價值了。
4結語
綜上,相對于傳統而言,大數據思維主要包括三個重大轉變。首先,要分析與某事物相關的所有數據,而不是依靠分析捎來能夠的數據樣本;其次,研究人員應樂于接受數據的紛繁復雜,而不再追求精確性;最后,認知世界的思想發生了轉變,不再探求難以捉摸的因果關系,轉而關注事物的相關關系。以上三個轉變構成了大數據思維的核心。在統計學的進一步應用和發展完善過程中,需要結合以上轉變所產生的挑戰,思考有效的統計學發展對策。
參考文獻
一、引言
“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。”(麥肯錫咨詢公司)大數據時代已經到來了,決策將日益基于數據和分析而做出,而并非基于經驗和直覺。大數據應用已經在商業、經濟等領域取得了顯著的成功。而在目前,教育領域中,各種數字學習環境的普及和推廣,越來越多的人員在網絡環境下發生學習行為。學習者與學習系統之間,學習者與學習者之間,學習者與設備之間,每天都在發生大量的交互數據,這些數據有著海量的數據規模(Volume)、多樣的數據類型(Variety)、快速的數據流動和動態的數據體系(Velocity)、巨大的數據價值(Value),這些都符合大數據的4V特性。海量的數據給傳統教育數據的存儲和分析都帶來了巨大的挑戰。如何通過技術手段對教育大數據進行分析處理,使教育領域的方方面面都受益,最終有效促進教與學,已經越來越受到研究者的重視。而學習分析理念的提出,為教育大數據的應用找到了很好的途徑。
二、學習分析概述
早在2010年美國新媒體聯盟的《地平線報告》中就預測學習分析技術將在未來的四到五年內成為主流。第一屆學習分析和知識國際會議認為:學習分析技術是測量、收集、分析和報告有關學生及其學習環境的數據,用以理解和優化學習及其產生的環境的技術。
學習分析所服務的對象涉及教育系統的各個相關人員,學習者、教育者、教育研究者、教育管理者、學習服務提供者等等。使用數據挖掘、社會網絡分析、統計分析等多種技術對教育大數據進行解釋和分析,根據解釋與分析的結果,評估學習者的學習進展,預測未來的表現,并發現潛在問題,以便學習者能更準確地把握自己的學習情況,優化學習過程,教育者能及時調整教學活動和教學內容,優化教學方法和教學策略,為學生提供個性化的教學資源與建議,同時也能為教育管理者的決策提供科學依據。國外對學習分析技術的研究已經取得了一定的效果,而國內還處在理論研究和綜述階段。基于教育大數據的學習分析系統的構建可以為學習分析的應用和實踐提供重要指導,更好地提高學習效率,有效促進教與學。
三、學習分析系統的總體架構
國內外許多學者都從不同角度對學習分析進行了整體框架的設計,但每個框架都有其局限性,經過實踐驗證的框架依然很少。學習分析的基礎和核心是海量的教育數據。圍繞數據開展數據的采集、存儲、分析、表示以及應用五個環節的活動。本文以數據為核心,依據數據流動的過程來構建一個更加靈活和可擴展的學習分析系統的架構模型(見圖1所示)。
圖1 學習分析系統架構圖
學習者的學習行為發生在各種數字環境中,如傳統的學習管理系統、網絡課程以及開放學習環境(MOOCs)等,社會性學習系統,如博客,微博,各種社交網絡等。交互當中所產生的數據都會被記錄到原始數據庫中,而原始數據來源眾多,形式不一,存儲和處理都有困難。通過聚集、抽樣、維歸約、離散化和二元化等預處理,讓原始數據更加適合挖掘,將預處理得到的學習數據存儲到學習數據庫中,與學習者相關的一些基本數據存儲在學生信息庫中。在特定的時間中學習分析引擎會從學習數據庫和學生信息庫中獲取數據進行分析,依據需求不同,在分析過程中使用不同的數據挖掘和分析工具及模型。分析結果作用于學習者、教育者、研究者、教育管理者等不同層次,提供相應的教育干預,學習內容和過程、教學設計和策略優化。當然,分析結果也要以報告或可視化圖表等形式在展示平臺輸出。
四、結束語
學習分析是大數據技術在教育領域中的應用。在大數據技術的支持下,深度挖掘學習行為模式,交互數據之間所隱藏的潛在價值,學習質量分析,個性化教學內容推送等都將成為可能。在對學習分析進行不斷深入研究的同時,也存在許多挑戰。如何快速有效地收集和預處理來源多樣的原始數據,使用哪種工具、算法能更準確地得到有效預測,如何做到保護學生隱私等,都是我們要考慮的問題。相信這些挑戰都將在不久的將來得到解決。
【參考文獻】
[1]Barwick H.The “four Vs” of Big Data.Implementing Information Infrastructure Symposium[EB/OL].2012-10-02.
一、引言
在現如今的社會,無論是干什么都離不開信息。小到穿衣吃飯,大到國防軍事,每一樣都需要信息才能完成。信息是一個名詞,圍繞著它有信息的產生、信息的處理加工、信息的傳遞、信息技術的發展等等的一系列環節。所以在現代社會信息就如同一個核心細胞,其他細胞的工作都是圍繞它展開進行的。我們對信息一定要敏感而精準。
二、何為大數據時代
大數據最初是由麥肯錫公司所提出來的,它在物理、生物、化學、金融、通訊行業出現并存在已經有一段時日,但它真正為人們所熟知認識卻是因為互聯網行業的飛速發展。人們總是用它來表述現時代是一個信息爆炸、海量、共享的時代。現如今一個決策的出臺不再是憑借昔日的經驗和感覺,而是數據的收集、整理、處理、分析所得出的結論。這就表示了一個新的時代,也就是信息數據時代的到來,經濟、商業、金融、貿易等多個領域,信息已經成為主宰。這就是大數據時代,也是信息的年代。
三、統計學專業基本概況
統計學,從名稱來看貌似是一個新興專業,其實不然,它是一門非常古老的學科。它最早始于希臘雅典的亞里士多德時代,距今已有兩千多年的歷史。統計學是通過對數據信息的搜索、整理、分析、描述,以達到窺測所測對象的本質的目的,它是預測對象未來性的一門綜合性科學。運用到了大量的數學和其他學科的專業知識,它的使用范圍幾乎涵蓋了社會科學和自然科學的各個領域。統計學家王見定的研究已經說明了數理統計學永遠打不敗社會統計學,所以在以后的發展道路上,將是社會統計學與數理統計學共存與互補共同前行的模式。
目前作為高校所開設的一門學科,統計學專業主要有一般統計、經濟統計兩類專業方向,它所培養的是具有良好的數學、經濟學素養,熟練掌握統計學的基本理論和方法,熟練地運用計算機分析數據,在企業、事業單位、經濟管理部門從事統計調查、統計信息管理、數量分析等開發、應用和管理工作,或在科研、教育部門從事研究和教學工作的專業型精英類人才。
四、如何很好發展大數據時代下的統計學專業
首先從上文的論述中我們可以得出以下結論:統計學的技術手段是,搜索、整理、分析、描述數據,它的目的是預測、推斷檢測對象的本質,它是一門綜合性非常強的科學性學科。從它的使用廣度上來看,它幾乎覆蓋了社會科學和自然科學的各個領域。所以統計學的“勢力”非常大。
而統計學所依賴的基礎則是數據,傳統的統計學中數據的收集主要包括實驗數據、調查數據以及各種途徑收集到的第二次數據。但是在經過一段時期的實踐后人們發現這種方法得到的數據經常會存在一定范圍內的誤差,這對樣本的客觀性是一個根本上的影響,同時樣本選取結果產生影響,因此傳統的數據收集方法很難適應統計學的飛速發展的需要。從這個層面上來說,大數據的出現是科學發展到一定階段的必然結果。因此大數據的產生和統計學的發展有著密不可分的關系。從另一面來看大數據的出現也是統計學中的核心環節實現,也就是數據的采集實現了大幅度的跨越。大數據時代的到來意味著檢測對象的任何數據都能應用到統計過程中,打破了數據采集處理的局限性,再加上精準、合理的統計處理方法,使得統計結果將更具有代表性和說服力。
同時大數據、統計學、云計算技術三者的強強聯合,預計未來的統計學勢必會發生革命性的變革。大數據將對未來產生深刻影響,目前可以預見的統計學未來發展的前景有以下兩個關鍵的點:第一點是在數據中科學性將和數據本身形成聯盟。數據科學獨立門戶成為一門專門的學科勢不可擋,數據的重要性不言而喻。統計學也將乘浪前行迎來新的發展的奇跡。對于數據平臺,也將實現跨領域共享,最終將數據的共享擴展到企業層面,成為未來產業的一員。第二點則是數據的管理處理的競爭力大大增強,數據管理成為企業競爭力中的核心競爭力,直接關乎財務表現。數據資產是一個企業的核心資產,這個理念會逐步深入人心。之后,企業對于數據管理便有了更加精準的定位,企業就會將數據管理作為企業核心競爭力,持續發展,戰略性規劃與運用數據資產。數據資產管理效率與主營業務收入增長率、銷售收入增長率顯著正相關。屆時,統計學的相關知識將會有大作為,每一位統計學專業的學生的就業前景將是不可估量的。統計學的發展前景也是一片大好,大數據、云計算、統計學三者則是珠聯璧合,我國乃至全世界的信息技術又會迎來新的浪潮,并且是一浪高過一浪,讓我們拭目以待。
五、結束語
本文就大數據,統計學二者的定義、概念首先做了介紹。其次是對統計學和大數據包括云計算在內的聯合后的優勢,以及未來的發展前景做了合理的分析與預測。數據時代已經起航,我們每一個人萬萬不可落后,我們要追趕信息技術的時代潮流,乘風破浪,迎難而上。為我國信息技術的發展增磚添瓦,為實現自我的價值奮斗不息。
參考文獻:
[1] 薛艷.大數據時代統計學專業教學體系的改革[J].教育教學論壇,2015(4):110-111.
[2] 周茂袁.大數據時代統計學專業教學改革的初步探索[J].教育教學論壇,2015(35):105-106.
1 引言
甘肅省作為我國西部經濟欠發達省份,以教育信息化帶動教育現代化發展,堅持以深度融合、機制創新、企業參與、應用驅動為導向,在教育管理信息化基礎建設、深化應用、創新融合方面,克服基礎條件差等困難,努力實現跨越式發展。
認真貫徹落實《教育信息化十年發展規劃(2011—2020年)》精神,(簡稱《十年規劃》)。《十年規劃》提出了我國教育信息化未來十年的8項任務和5個行動計劃,這8項任務和5個行動計劃又被概括為“三通兩平臺建設”。三通即:“寬帶網絡校校通、優質資源班班通、網絡學習空間人人通”,兩平臺即“教育資源公共服務平臺、教育管理公共服務平臺” [1]。
2 甘肅省教育管理公共服務平臺頂層設計
“十二五”期間,重點建立覆蓋全省各級各類教育的基礎數據庫及其管理信息系統,為各級教育行政部門和各級各類學校提供教育管理基礎數據和管理決策平臺。
按照教育管理信息系統“兩級建設、五級應用”原則,堅持“核心系統國家建、通用系統省級建、特色系統本級建”的建設模式。以甘肅省教育數據中心為依托,集中省級硬件基礎環境、人員技術力量,統籌建設教育管理公共服務平臺和教育資源公共服務平臺,兩平臺硬件環境共建共享,充分發揮效益,為全省教育管理和應用提供服務。國家級核心系統全面部署,省級通用系統基本完善,各級特色系統逐步推進。
在整體推進過程中,以硬件基礎環境建設為基礎,以保證國家核心系統部署與落地應用為第一要務,以省級通用系統建設與應用為特色,利用大數據統計分析為各級各類教育行政部門提供科學的決策服務,促進教育公平和教育現代化發展。
3 甘肅省教育管理公共服務平臺基礎運行環境[2]
為保障我省教育管理信息化的整體推進,向全省各級各類教育行政部門提供教育管理公共服務和基礎數據支撐,從2010起,加強省級教育數據中心建設工作,為省級和不具備機房環境的市州提供網絡基礎環境。按照“國家教育管理公共服務平臺《省級數據中心建設指南》”中總體要求進行建設,按照B類數據中心建設標準,建成了面積達250多平方米,安全、高效、節能、功能齊全、服務到位的省級教育數據中心。
4 甘肅省教育管理公共服務平臺建設情況
從2013年截至目前,我省教育數據中心已部署的國家核心管理系統有:中小學生學籍管理系統、中小學校舍安全管理系統、學生資助管理信息系統、中等職業學校學生管理信息系統、學前教育管理系統、教師管理信息系統、基礎數據庫、應用支撐平臺、安全運維監測平臺等,基本完成了教育部要求的全部系統的部署。
5 運用技術手段,實現各系統數據挖掘整合
2014年在國家核心系統建設的基礎上,為了便于各業務系統數據分析報表的查看和檢索,我省專門開發了甘肅省教育綜合數據監測系統,通過統一的教育管理數據監測平臺,對所有業務系統數據進行監測,通過統一的門戶平臺進行展示。
該系統設計面向服務的體系結構(SOA),使用J2EE和HTML5程序設計并且在數據的抽取、轉換和加載運用了目前先進的ETL技術,通過對中小學學籍系統數據庫、教師管理系統、中等職業學校學生管理信息系統數據庫、校舍安全管理系統數據庫的關聯,動態提取各種數據,生成教育行政部門所需的各種統計報表。系統通過學生、教師和學校三個橫向維度,按照學前、基礎教育、中等職業教育和綜合四個縱向維度,把各業務系統報表統一進行展示,并跨系統進行數據關聯和對比,按照教育決策部門需要,靈活方便地生成的各種類型報表,按照折線圖、餅狀圖、柱狀圖和數據報表等形式直觀方便地進行展示。
6 利用大數據分析共享,提高社會公共服務能力
按照“核心系統國家建、通用系統省級建、特色系統本級建”的原則,進一步落實“一庫五應用”建設目標,甘肅省在國家核心系統建設的基礎上,對各孤立分散的業務系統數據進行跨系統整合,科學、精準、可持續的獲取數據,深度挖掘分析數據,從而打造甘肅省教育管理數據監測服務系統,為全省教育行政部門提供科學有效的決策數據。
根據我省當前的信息系統實際情況,結合今后教育信息化的長遠發展和規劃,將各業務系統數據通過抽取、轉換、加載等環節,加載到甘肅省教育管理數據監測服務系統中,滿足甘肅省教育管理數據監測及分析需要。如:學籍系統、教師系統、校安系統、學期系統、中職系統等都是原始的基礎數據,如要跨系統進行數據分析對比和提取,應了解:①農村六年制小學按照學生人數統計教師的分配情況,初級、中級、高級教師的分配情況,教師的年齡結構情況,音體美藝術類專業教師的分配情況。②根據學校片區分布和片區學生教師人數,分析片區學校布局是否合理。③通過小學入學人數、幼兒園入園和畢業人數、義務教育人口監測中適齡入學人數對比,分析入園和入學情況。④查看全省大班情況等。要得到這些分析報表,必須通過對各業務系統源數據進行動態抽取、轉換、加載和分析,最后生成所需要的報表。
7 結語
大數據在如今社會已經成為熱點詞匯,不僅在計算機領域,在其他各個行業都能夠得到運用,為各個行業提供便捷,為了讓大數據能夠得到充分利用,下文將對大數據分析相關方面進行討論。
一、大數據與大數據時代
(一)大數據大數據是在當今科技飛速發展的情況下,一種新興的信息數據處理技術。隨著社會科技的進步,各行各業對于數據的應用也越來越廣泛,傳統的數據處理技術耗時較長且精準度較為低下,已經不能滿足現代科技對數據應用的要求。新時代的大數據系統具有超大的數據容量,同時兼容半結構化與結構化的數據,遠遠超出傳統數據庫管理系統的管理能力。因此新的大數據技術就此誕生。大數據在發展過程中,具有比為鮮明的特點。與傳統數據處理技術相比,大數據具有數量龐大、多樣化、速率快、價值高的特點。在信息處理的速度不斷加快的當今社會,這樣的特點為大數據的廣泛應用打下了堅實基礎。由于數據的數量較為龐大,且各種數據近年來的增長趨勢呈指數型,其數據的種類和形式也各有不同。其次,合理利用大數據技術,能夠在一定程度上降低成本,提高效率,因此,大數據處理各項關鍵技術的進一步的開發與利用已成為了提高自身效率,實現核心競爭力的重中之重。
(二)大數據時代大數據時代是指在物聯網技術、計算機技術、數據信息處理技術的基礎上,通過互聯網途徑,大量收集并處理分析數據資源,而形成一種新型的信息時代。大數據時代的主要核心內容是對龐大的數據體系進行處理以發揮價值,從而提升數據分析效率以及數據應用價值。大數據時代是由多種信息技術共同組成,可以有效地避免數據處理中不同步、使用不方便的情況發生,具有高效可靠的數據處理、整合、分析及匯總的功能。因此,大數據時代的新型數據處理技術可最大程度的對數據進行分析與挖掘,極大提高處理數據的效率。
二、大數據時代與統計學
(一)大數據時代與統計學的關系統計工作是集數據的搜集、整理、分析和解釋為一體的系統的過程。大數據與統計二者互相依存,通過統計的方法和原理對數據進行整理和分析,提高數據的精確度和適用度,以此來實現數據的價值和利用率。由此看來,大數據與統計學的聯系既緊密,又存在區別。大數據與統計學的關系甚為密切,它們都是關于數字的學科。統計學為大數據提供了了施展方向,而大數據將統計學引領至更深更廣的空間。共性之一就是社會與數據。幾乎所有的行業與大數據都有著密切聯系,這些聯系或直接或間接,而人們正是通過獲取數據并進行分析,從而才能得到商業知識和社會服務等能力。大數據與統計學的區別。首先,信息規模不同。大數據的分析對象是與某事物有關聯的所有數據,要求數據量龐大。統計學則是用樣本來分析和推斷總體的數量特征。在大數據時代,則可以通過各種方法和渠道獲得全面而又完整的的信息資料,從而完成更多從前無法完成的事情。其次,動靜標準不同。數據經過了搜集、整理、分析的過程就很有可能因為精確性不足而被認為失去了用處。而大數據時代,則不必再擔心這個問題,數據的精確性和原始性不在被過分重視,人們可以接受復雜數據。第三,數據搜集形式不同。在以往數據搜集形式主要是抽樣調查,方法局限。而在大數據時代,特點是信息爆炸和互聯網飛速發展,這一情況得到改觀。最后,思維方式不同。大數據時代人們的思維發生轉變,人們開始更多的關注事物的相關關聯。
(二)大數據對統計學研究工作的影響首先,大數據豐富了統計學的研究對象。在大數據時代,我們既可以以結構化數據作為測量單位對文本、圖像和視頻等進行分析,還可以對非結構化數據實行分析。其次,大數據影響了統計學的工作進程。統計數據需求豐富,原有的統計抽樣分析不能在適應時代的發展,而現代科技方法如透過傳感器自動收集數據等方法取代了傳統方法,更加便捷有效。
三、大數據數據分析理念
關鍵詞:
大數據;人才培養模式;教學模式
2015年9月5日,我國政府公開《國務院關于印發促進大數據發展行動綱要的通知》,大數據逐步走上我國經濟社會發展的大舞臺,在社會各個領域中發揮著巨大的促進作用。高等教育作為我國培養高素質人才的主要陣地,避免不了受到大數據的沖擊和影響。有效利用大數據是化解沖擊并促進高等教育改革的明智之舉。高等教育改革的關鍵是改革人才培養模式,將大數據融入人才培養模式改革的各個環節會達到事半功倍的效果。
一、大數據引領統計學專業人才培養模式的改革方向
1.大數據引領培養目標的改革方向。隨著大數據的迅猛發展,大數據分析公司不斷涌現,傳統的調查公司、數據分析公司紛紛轉型,社會急需大量的大數據分析人才。統計學專業按以往培養目標培養的數據分析人才已經不能滿足社會需要,因此必須對人才培養目標進行改革,培養目標應從培養專門的統計人才轉換為培養精通統計學知識、計算機技術(大數據分析技術),了解相關行業背景的復合型統計人才,保障統計學專業能夠為社會經濟發展輸送高質量的大數據分析人才。2.大數據引領課程設置的改革方向。課程設置是實現培養目標的關鍵環節,為實現培養大數據分析人才的目標,課程設置應該與培養目標相配套。課程設置的核心課程中應該引入大數據技術相關的計算機軟件、語言及算法課程,選修課程中應該增設一些輔助大數據分析的數據挖掘類相關課程及不同行業的相關專業背景課程。3.大數據引領實踐教學的改革方向。實踐教學環節設計的基本原則是能夠有效檢驗理論教學環節的學習效果,同時鍛煉學生的分析問題,解決問題的能力。因此,相應于培養目標和課程設置的改革,實踐教學環節的改革應注重學生大數據分析能力的檢驗和鍛煉,積極為學生創造豐富的大數據分析實踐機會。例如,在調查分析課程中引導學生改變傳統的調查方法,盡量通過數據挖掘揭示某一類現象背后的發展規律,積極開展與大數據分析公司或者相關行業的企業的合作,為學生進行大數據分析實踐提供數據及技術支持。4.大數據引領教學方法和手段的改革方向。MOOC、翻轉課堂和大量的在線資源的出現為統計學專業教學方法和手段的改革提供了豐富的資源基礎,有效構建充分利用各種資源的混合教學模式將成為統計學專業人才培養模式改革的一個重要組成部分。5.大數據引領評價方法的改革方向。傳統的評價方法主要注重期末時的總結性評價,忽略過程評價,因此應廣泛和合理利用教學各個環節留下的痕跡,即形式各樣的數據,創新教育教學評價方法,以此達到對學生、教師及教學效果的科學評價。
二、大數據融入統計學專業人才培養模式的構建
1.大數據融入人才培養目標的制定。人才培養目標的制定一方面要適應經濟社會發展的需要,另一方面要從生源質量,辦學條件出發,不能盲目追求高目標,因此適當對本校統計學專業歷屆生源質量和辦學軟硬件條件等相關數據進行挖掘和分析,有利于制定切實可行的人才培養目標。當然這需要人才培養目標制定者有一定的數據挖掘和分析的能力,需要學校各個相關部門的配合,實際操作起來存在一定困難。2.大數據融入教學方法和手段的選擇。教學方法和手段的選擇一方面依靠豐富的資源,打破傳統的大客廳式的封閉教學模式,另一方面要注重以學生為本和因材施教,這就需要對每個學生的基本素質有客觀的把握,僅靠教師的力量很難做到這一點,因此應適當引入相關技術和設備幫助收集課堂教學,課后作業等教學各個環節的實時數據,利用大數據技術全方位綜合考量每一位學生的基本素質,為教學方法和手段的選擇提供客觀的依據,真正意義上做到因材施教。對于一些利用計算機或其他電子設備完成的環節,收集數據的同時,應適當建立針對不同學生的教學策略,以此實現個性化教育。3.大數據融入實踐教學環節的設置。統計學專業的實踐環節設置應充分考慮利用學習分析和數據挖掘技術分析學生的學習心理,學習行為及學習能力,充分了解學生的前期學習情況,分析教師課堂教學水平和教學能力,充分挖掘教師的特長,以此為基礎打造實踐教學環節師生的完美匹配,不再拘泥于一個班級或一個專業的學生同時進行相同的實踐項目,可以有效提高實踐教學的水平和學生的實踐能力。4.大數據融入教學評價體系的完善。傳統的教學評價體系不能夠客觀評價人才培養的各個環節的效果,通常是對結果的評價。因此,學校需要利用大數據技術全面分析和挖掘每一個環節的相關數據,包括學生的學習過程,教師的教學過程等,有效利用數據說話,避免對學習效果及教學效果的片面評價,完善統計學專業的教學評價體系。大數據為統計學專業人才培養模式的構建帶來了機遇的同時也提出了挑戰,我們不能盲目跟風,應認真結合統計學專業學科特點及各方面的條件,合理利用大數據,構建切實可行的人才培養模式。
參考文獻:
2011年2月,國務院學位委員會進行了學科調整,統計學完全從數學和經濟學中獨立出來,上升為一級學科,設在理學門類中,編號為0714。統計學上升為一級學科后,下設的二級學科包括數理統計學、社會經濟統計學、生物衛生統計學、金融統計、風險管理和精算學、應用統計學。統計學上升為一級學科對統計學專業的教學帶來巨大影響。
同時,隨著大數據時代的到來,使得傳統的統計數據收集、處理與分析方法面臨新的挑戰,從而推動統計學的發展進入了一個全新的階段。在統計學上升為一級學科以及大數據時代已經到來的大背景下,統計學專業的課程教學也面臨著新的挑戰,需要進一步改革與調整。
一、大數據時代的到來
(一)大數據的生成
伴隨著人類對客觀世界各領域數字化程度的不斷提高,每天都有大量的數據產生,并且其產生的速度也越來越快。這些數據來源廣泛,其中最主要的來源有:科學研究(如天文學、生物學、高能物理等實驗數據)、社交網絡、電子商務、物聯網、移動通信等。
(二)大數據的定義
為了應對數據大規模增長帶來的機遇和挑戰,美國《Nature》雜志在2008年9月4日率先提出了“大數據”的概念。國際數據中心IDC 是研究大數據及其影響的先驅,在2011年的報告中定義了大數據:“大數據技術描述了一個技術和體系的新時代, 被設計于從大規模多樣化的數據中通過高速捕獲、發現和分析技術提取數據的價值”。但是大數據是一個新興而且內涵不斷發展的概念,尚沒有統一公認的定義,只能從其特點上加以認識。
(三)大數據的特點
與傳統數據相比,大數據的特征可以用五個“V”來表示,即Volume(容量大)、Variety(種類多)、Velocity(時效性強)、Value(價值高)、Visualization(可視化呈現)。大數據容量大是個相對的概念,受時間、行業和數據類型等因素的影響;種類多是指數據集的結構異質性,科技進步導致了結構化、半結構、非結構化數據的日益增多;時效性強是指大數據被生成、處理、移動的速度相當快,是區別于傳統數據最顯著的特征,這也增加了對即時分析、加工數據的需求;價值高是指大數據潛在的高價值能為評價和決策提供依據。可視化是大數據分析的關鍵步驟,是對有價值信息加以提煉并顯示的過程。
(四)大數據的應用
大數據具有5Vs(Volume、Velocity、Variety、Value、Veracity)特點,蘊含著巨大的社會價值、經濟價值和科研價值,已引起了產業界、學術界、政府部門和其他組織的高度關注和重視。
近年來,世界發達國家相繼布局大數據戰略,諸如聯合國“數據脈動”計劃、美國大數據戰略、英國“數據權”運動,大力推動大數據發展和應用。大數據已納入我國國家發展戰略,國務院2015年8月31日印發了《促進大數據發展行動綱要》的通知(國發[2015]50號),指出:“大數據成為推動經濟轉型發展的新動力,大數據成為重塑國家競爭優勢的新機遇,大數據成為提升政府治理能力的新途徑。以數據流引領技術流、物質流、資金流、人才流,將深刻影響社會分工協作的組織模式,促進生產組織方式的集約和創新。探索發揮大數據對變革教育方式、促進教育公平、提升教育質量的支撐作用”
二、大數據給傳統統計學帶來的沖擊
(一)數據收集方法上
不同于傳統的調查抽樣方法獲取數據,大數據的收集來源渠道通常為現代網絡渠道,如互聯網、物聯網等。不同的數據源的數據采集需要專用數據采集技術, 如包含格式文本、圖像和視頻的網站數據,通常需要web爬蟲技術。
(二)數據存儲上
大數據的存儲不同于傳統的數據存儲方式,有固定的格式和結構,對于大數據的數據庫來說,可以直接將所探測到的信號自動容納到其中;大數據需要有先進的存儲設備,傳統的存儲設備已經不能容納如此大量的數據。
(三)數據分析上
傳統的統計分析方法,難以勝任對非結構化的大數據的分析。當前大數據分析技術的研究可以分為6個重要方向:結構化數據分析、文本數據分析、多媒體數據分析、web數據分析、網絡數據分析和移動數據分析。
(四)數據展示上
數據可視化的目標是以圖形方式清晰有效地展示數據的信息。一般來說,圖表和地圖可以幫助人們快速理解信息。但是,當數據量增大到大數據的級別,傳統的電子表格等技術已無法處理海量數據。大數據的可視化展示需要專業的軟件來完成。
三、大數據時代統計學專業教學改革
大數據時代的到來對統計學也帶來了新的機遇和挑戰,特別是大數據對于數據分析人才產生了巨大需求,同時也要求統計專業學生掌握更為復雜統計軟件的編程和操作。大數據背景下,統計學要適應新的形勢,需要對課程教學進行有針對性的改革。
(一)大數據時代統計學專業畢業生就業方向定位
大數據時代的到來,使各行各業,包括政府、企業、個人都希望能從大數據這座金礦中挖掘出對自己有價值的金子,從而增加了對統計專業畢業生的需求。一直以來,我國統計工作領域主要是政府統計、部門統計、民間統計。傳統意義上,政府及各個部門是統計學學生就業的首選。然而,隨著大數據時代的來臨,越來越多的畢業生選擇發展空間更為廣闊的民間統計。民間統計相對于政府統計來說,涉及范圍十分廣泛,包括各類統計咨詢公司、統計調查公司、統計研究院等,介于市場和企業、行業之間。民間統計的發展前景十分廣闊,可以預見,隨著大數據時代的來臨,統計學作用的提高,民間統計必會成為統計專業畢業生選擇就業的主要渠道之一。
(二)大數據時代統計學專業課程設置改革
大數據時代,在對統計數據分析人才需求增加的同時,也對統計專業畢業生的大數據處理能力提出了更高的要求,這就需要統計學專業在課程設置上,增加大數據處理與分析方法課程,如《大數據分析方法》、《數據挖掘》等,培養學生能夠使用專業統計軟件(R/SAS/Python)進行大數據的挖掘、清洗、分析等。
(三)大數據時代統計學專業學生實踐能力培養改革
在課堂教學之外,通過廣泛舉辦大數據技術創新大賽、大數據技術創新與創業大賽、數據挖掘挑戰賽,支持學生成立大數據研究協會,舉辦大數據相關講座論壇等方式,增強學生分析和處理大數據的能力。另外,還要加強校外大數據實踐教學基地建設,通過與通信、互聯網、電子商務等企業大數據開發中心以及大數據研究咨詢機構合作,為學生提供給更多的實習、實踐機會。
四、總結
總之,面對大數據時代的到來,統計學專業需要積極改革與調整課程的設置,注重學生實踐能力的培養,以適應各行各業對大數據分析與挖掘人才的需求。
2019年12月,農業農村部、中央網絡安全和信息化委員會辦公室關于印發《數字農業農村發展規劃(2019-2025年)》的通知,部署了用數字化引領驅動農業農村現代化,加快農業農村生產經營、管理服務的數字化改造的發展戰略,將全面提升農業農村生產智能化、經營網絡化、管理高效化、服務便捷化水平作為農業農村發展的目標[1]。農業農村的數字化建設離不開專業人才的培養。農林經濟管理專業畢業生的就業方向主要有農業經營單位、面向農業農村的政府管理部門、事業單位、科研院所等。隨著農業農村數字化發展戰略的推進,給傳統的農經人才培養帶來了一系列的挑戰[2]。在數字經濟和智慧農業的時展背景下,數據分析能力是農經專業學生重要的核心競爭力。如何提升農經專業學生數據分析能力,是農經專業人才培養中面臨的重要課題[3]。
1農業農村數字化發展戰略給農經人才培養帶來的挑戰
1.1對農經人才的數據思維的更高要求
在大數據時代,無論是農業生產經營活動,還是農村的行政管理中都有大量的數據資源。農業企業、農業合作經營組織、農產品產銷數據、農產品溯源數據為農業經營者提供了生產、物流、銷售環節大量的數據資源。經營者需要認識到數據是一種新的生產要素,要調動數據作為生產要素的屬性,讓數據分析為管理決策服務[4]。在數字中國的建設進程中,各級政府部門工作人員通過各級各部門的行政管理智能,收集了大量省、市、區、縣級的區域經濟社會發展數據。社區網格化管理下收集了微觀層面的農業經營單位數據、農村常住人口數據、醫保數據、扶貧數據、農村小額信貸數據。這些數據資源是政府提高行政效率、提高政務服務質量的寶貴資源。
1.2對農經人才的數據分析能力的更高要求
在大數據時代,每天都有海量數據生成,如何能更好地利用這些數據,讓數據能發揮其為管理決策服務的功能,與數據使用者的數據分析能力是密切相關的。例如,農業經營單位在農業生產環節的農業投入數據、農產品銷售數據、電商平臺的客戶反饋評論、農產品庫存的動態數據,如何整合分析這些數據,要求農業經營者系統掌握數據分析、數據挖掘、文本分析等多元化的數據分析方法。政府管理部門掌握的農業人口的遷移數據、農村常住人口網格管理數據、農村居民醫保數據、扶貧數據等,數據類型豐富,數據量龐雜,如何實現數據庫的整合,要求政府部門工作人員掌握數據庫管理、大數據分析技術。
2農經專業數據分析課程群建設中存在的問題
2.1課程之間連貫性不足
以筆者所在的高校為例,為農經專業本科生開設的數據分析類課程,見表1。數據分析課程群包括了通識教育、專業教育和實踐教育。從目前的課程設置來看,涵蓋了數據庫、統計學、經濟計量學、多元統計、大數據分析等領域,內容豐富。數據庫應用由計算機學院開設,是一門通識教育課程,在授課時教師往往將其視為一門計算機類的入門課程,在教學中沒有針對農經專業學生的特質,將數據庫的教學與其在農經領域的應用結合起來。學生在學習中往往會覺得該課程與專業聯系不夠緊密,教學內容枯燥,缺乏學習興趣。
2.2學生學習的軟件種類繁多,但不夠深入
在統計學和多元統計課程中,學生將學習EXCEL、SPSS或者R語言的應用,在經濟計量學課程中學生將學習Eviews或STATA的應用,在數據挖掘與大數據分析課程中學生將學習Python語言的應用。在每一門課程中學習的軟件都不同,對于軟件的學習缺乏連貫性和延續性,雖然學生接觸的軟件種類多,但是由于學時所限,每一種軟件都只是入門級的介紹,無法進入到深度學習。
2.3與專業課學習聯系不夠緊密,缺乏應用機會
學生缺乏在專業課學習中運用數據分析類課程所學知識的機會。數據分析類課程主要介紹數據分析方法和軟件的應用,但大部分都安排在第5學期和第6學期。學生在學習了數據分析方法后,缺少在專業學習領域里運用這些方法的機會。例如學生若要完成產業經濟學、農業技術經濟學、農產品國際貿易學的專題研究、課程論文,需要用到統計學、經濟計量學、大數據分析的方法,但在第2-4學期開設大量專業課的學期,數據分析類課程還沒有開設。若能將數據分析類課程盡量靠前安排,學生可以在后續的專業學習、課題研究中運用所學的方法,一方面夯實數據分析技能,另一方面也可以增加學生對專業課的學習興趣。
2.4排課不夠科學
在大三階段,學生可以選修多元統計、數據挖掘與大數據分析、Python語言三門選修課。但到了大三,學生專業課的學習任務重,選修課種類考慮繁多,學生選課可能出于興趣、學分安排或者準備考研保研考慮,并不是每一位同學都會選修上述課程。尤其是計算機能力不太強、對數學類課程感到困難的同學,會傾向于選擇難度小的課程。
3基于項目驅動式教學理念的數據分析課程群改革
3.1開展項目驅動式教學的意義
項目驅動教學法是基于行動導向的探究式教學方法,是將真實的或模擬的項目轉化為教學項目,結合課程內容將項目分解為若干工作任務,創設工作情境,引導學生完成任務,進而實現項目教學目標的教學活動[4-5]。項目驅動式教學法最顯著的特點是“以項目為主線、教師為主導、學生為主體”,改變了以往“教師講,學生聽”被動的教學模式,完善了學生主動參與、自主協作、探索創新的新型教學模式。與傳統教學方法相比,教學實施過程中,學生的目標更清晰明確,可避免傳統課堂教學的被動性,進而提高學生學習知識的興趣和主動性[6]。在數據分析課程群中引入項目驅動教學,一方面能讓學生運用所學的數據分析方法分析現實問題,創設數據分析情境,加深對所學方法的理解和運用,激發學習興趣,培養自主學習能力;另一方面也可以有針對性地創設圍繞“三農”問題的數據分析項目,讓學生從數據分析中加深對“三農”問題的感性認識,培養對農經專業學習的興趣,提升對農經專業的認同度。具體來講,可以從以下方面開展對數據分析課程群的改革[7]。
3.2統籌規劃教學內容,加強課程間的連貫和遞進
農經專業數據分析課程群目前主要包括必修課數據庫應用、統計學和經濟計量學,選修課多元統計、數據挖掘與大數據分析,以及實踐課R語言與統計應用、Python語言。統計學教學的重點在于對基礎性的統計方法的運用,經濟計量學教學的重點在于讓學生掌握經濟計量分析的范式,如何利用經濟計量模型開展實證分析。多元統計強調對復雜多維數據信息的提煉。數據挖掘與大數據分析教學的重點在于大數據時代數據挖掘方法的應用。此外,針對于目前學生所學的軟件門類過多,軟件操作不夠熟練,建議在統計學、多元統計、數據挖掘大數據分析中統一采用R語言進行教學,讓學生通過幾門課程的學習,能夠熟練掌握一種統計分析軟件。
3.3基于項目驅動對教學內容進行整合及優化,調動學生主動參與
例如統計學課程介紹了基礎性的統計分析方法,在后續課程經濟計量學、多元統計、數據挖掘與大數據分析中引導學生運用基礎性統計分析方法,對數據進行初步的統計分析和整理,為經濟計量分析、多元統計、數據挖掘做好數據處理上的準備,讓學生體會到關聯課程中所學知識的聯結。鼓勵學生積極參與“三下鄉”活動,開展田野調查實踐,圍繞“三農”開展調研,運用統計和計量方法對調研數據進行分析,鼓勵學生參與到教學中來,培養學生的學習興趣,學以致用。
3.4建設“項目驅動”實踐教學模塊
結合農經專業課程體系,建設數據分析課程群“項目驅動”實踐教學模塊。在農經專業的課程體系中開設的農業經濟學、農產品貿易、農村社會學等專業性課程對大量的“三農”問題進行了探討,這類課程中涉及的城鄉差異問題、收入和消費問題、農產品價格波動、農產品貿易等現實問題的研究,都離不開基于現實數據的定量分析。因此,在農經專業的數據分析課程群中可以結合教學內容引導學生對專業課學習中熱點問題的研究,圍繞課程教學大綱,建設“項目驅動”實踐教學模塊,理論聯系實際,讓學生在研究項目中運用所學的數據分析方法,加深對專業知識的理解。
4農經專業數據分析課程群優化方案
在大數據時代,數據分析能力是學生的核心競爭力之一。數據分析類課程在建設中要強調理論與實踐的結合,不能只是將教學停留在課堂上,引入體現專業特色的實踐教學環節。可以從以下幾方面開展數據分析課程群的優化:第一,數據分析基礎類必修課安排在大一學年。在第1學期,可以安排R入門、Python入門、數據可視化課程,讓學生盡早接觸當前主流的數據分析軟件,激發學生對R或Python的學習興趣,讓學生自我拓展學習空間。R入門、Python入門、或者數據可視化課程都屬于數據分析的基礎課程,無需其他先修課程。在這一時期,讓學生開始接觸數據分析軟件,學習數據可視化的分析工具,有利于培養學生的數據思維、數據意識和軟件實操能力。第二,將與農經專業課有關的專業必修課統計學、經濟計量學安排在第3-4學期學習。統計學課程需要學生先行修讀高等數學和概率論課程,經濟計量學需要學生先行修讀微觀經濟學、宏觀經濟學,因此可安排在第3-4學期。讓學生在掌握了一定經濟管理專業知識后,可以更好地體會統計學、經濟計量學方法論學科的應用價值。第三,將數據分析進階類選修課多元統計、大數據分析、數據挖掘、機器學習等課程安排在第5-6學期。為高年學生提供豐富的數據分析類選修課,讓學生結合自己的興趣、未來的發展規劃學習更加多元化的數據分析技術。鼓勵學生能在專業論文習作、學科競賽中有更多的機會運用自己所學的數據分析方法,增加學生的收獲感和成就感,挖掘學生的學習潛力。第四,改革課程考核評價體系,采用項目式管理和評估的思路,由學生自主開展一個數據分析項目,從收集數據、提出問題、分析數據到提煉研究結論,開展小組團隊成員互評。教師跟蹤學生的項目開展過程,從學生的學習態度、投入程度、數據分析質量等綜合評價學生的學習效果。
5結束語
將項目驅動教學引入到農經專業數據分析課程群的建設,讓學生參與到教學中去,突破傳統教學中“教師教學生學”的局面,讓學生通過參與項目,運用數據分析方法解決項目中的實際問題,激發學生的學習興趣和潛能,讓學生體會到所學知識的應用價值,讓學生不再對數據分析類課程望而生畏。本文的研究對于農經專業學生數據分析能力的培養有重要的意義,強調理論與實踐的結合,提高學生數據分析的高階能力,也能為同類課程開展項目驅動教學提供借鑒。
參考文獻:
[1]農業農村部中央網絡安全和信息化委員會辦公室關于印發《數字農業農村發展規劃(2019-2025年)》的通知[EB/OL].(2019-12-25)[2020-4-14].
[2]李虹賢.農業經濟管理專業人才培養模式創新研究與實踐[J].智慧農業導刊,2022,2(7):110-112.
[3]馮開文,陶冶.農業經濟管理專業實踐教學改革———以中國農業大學經濟管理學院為例[J].教育現代化,2017,4(23):54-56+63.
[4]杜洪燕,陳俊紅.鄉村振興背景下中國數字農業高質量發展路徑研究[J].南方農業,2021,15(21):213-214.
[5]金娥.基于項目式學習的《現代教育技術應用》課程學習框架的設計與實踐研究[D].武漢:華中師范大學,2021.
中圖分類號:G642.0 文獻標志碼:A 文章編號:1674-9324(2014)49-0248-02
隨著社交網絡的逐漸成熟,移動帶寬迅速提升,云計算、互聯網應用的豐富,更多的傳感設備、移動終端接入到網絡,由此產生的數據及增長速度將比歷史上的任何時期都要多,都要快。“大數據”時代已經來臨,它對人類的數據駕馭能力提出了新的挑戰,也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。大數據是指海量數據集,其來源包括動漫數據、企業IT應用帶來的數據、博客、點擊流數據、社交媒體、機器和傳感數據等。它是互聯網、電子商務的又一次重大革命,對數據處理、數據挖掘、數據分析提出了新的挑戰。如今互聯網行業、電子商務行業中的數據應用及分析已經相當普遍,為了應對大數據時代的要求,同時要具備較強的統計學功底和嫻熟的計算機軟件運用能力,而今完全具備這些能力的數據分析專業人才是極其匱乏的。數據分析師便應運而生,不僅互聯網行業、電子商務行業需要大量的數據分析師,近年來項目數據分析事務所不斷涌現,而項目數據分析師因其專業技能及量化的數據分析為客戶以及所在單位控制決策風險、保證利益最大化而備受各界青睞,以待遇優厚和地位尊崇而聞名國際,也被視為我國21世紀的黃金職業。《華商報》將項目數據分析師納入了新七十二行,《HR管理世界》將項目數據分析師評為七大賺錢職業。本文就如何在統計學專業開展數據分析方向進行了闡述,首先論述了數據分析的重要意義,其次討論了數據分析方向的課程構建,最后分析了如何加強理論與實踐環節的結合。
一、數據分析的重要意義
大數據預測美國總統:美國時代周刊報道稱,數據驅動的競選決策才是奧巴馬競選獲勝的關鍵。數據分析團隊在籌集競選經費、鎖定目標選民、督促選民投票等各個環節的決策中都發揮了重要作用。這意味著華盛頓競選專家的作用極具下降,能夠分析大數據的量化分析家和程序員的地位卻大幅提升。如今從事專業數據分析工作的企業如項目數據分析師事務所、數據挖掘公司等都應市場需求而大力發展,并且受到風險投資的青睞。如美國社交數據挖掘公司Datasift于2012年宣布,獲得1500萬美元風險投資。2013年,DataSift成為Twitter的“認證合作伙伴”,主要負責海量微博社交數據分析。這是該公司今年第二筆融資,五月份其曾融資720萬美元。又如面向開發者的大數據應用軟件平臺服務提供商Continuity最近獲得1000萬美元的融資,目前融資總額已經達到1250萬美元。
數據分析的應用無處不在,那什么是數據分析呢?數據分析就是用適當的統計方法對數據進行分析,以求最大化地開發數據的功能,發揮數據的作用。是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。數據分析技術不僅能通過對真實數據的分析去發現問題,還能夠通過經濟學原理建立數學模型,對投資或其他決策是否可行進行分析,預測未來的收益及風險情況,為做出科學合理的決策提供依據。在提高工作效率的基礎上,也增強企業管理的科學性。無論是在國家政府部門,還是企事業單位中,數據分析工作都是進行決策和做出工作決定之前至關重要的一個環節。因此,針對項目可行性、風險承載力、投資回報率以及相關經濟效益指標等方面的分析工作顯得格外重要。在這個工作過程中,專業的數據分析人員扮演著無比重要的角色,數據分析成果的質量高低直接決定著項目投資、企業經營決策計劃最終的方向。所以,各個行業對數據分析人員的需求之多是不言而喻的。傳統行業,如政府機構:一類是計委、經委、統計局等一些經濟綜合管理部門所設有的調研處、研究室和情報所。第二類是商業、糧食、物資、銀行等經濟主管業務部門會設有信息中心或調研室,從本系統、本部門的業務出發進行專業性調研,提供支持本部門的市場信息。而伴隨著數據分析應用的擴大,其在新興行業中也得到了發展,如計算機軟硬件及IT行業、電子商務與網絡游戲、金融保險、消費品、咨詢業與廣告媒體、大型設備與重工業以及房地產行業等對數據分析師的需求量很大,尤其是電子商務,由于利用互聯網,能夠比傳統零售業具有更好的數據收集和管理能力,能積累海量的數據,因此更看重從海量數據中挖掘出用戶偏好和市場機會。研究機構:比如市場研究公司、咨詢公司、證券公司、研究院。自主創業:取得注冊項目數據分析師(CPDA)資格證可以自主創建或就業于項目數據分析師事務所等。所以,數據分析的行業應用是極其廣泛的,并且隨著大數據時代的到來,數據分析尤其是數據挖掘將借助互聯網的發展,逐步形成人們依靠的重點,并可能成為未來發展與競爭的重點之一。由此我們可以看到數據分析師的就業前景是非常廣泛而樂觀的,無論是數學專業、統計專業,還是計算機專業的學生,都可以通過系統的學習數據分析課程來適應對數據分析人才的要求。
二、課程體系構建
1.主干課程。主干課程包含高代、數分、概率論、數理統計、多元統計分析、時間序列分析、市場調查與分析、統計預測與決策、數據結構、C語言、數據分析、數據挖掘、大數據分析與展示。理論課程的學習可以使學生了解數據分析的基本內容,學會如何對已獲取的數據進行加工處理,如何對實際問題進行定量分析,以及如何解釋分析的結果。掌握幾種常用數據分析方法的統計思想及基本步驟,并具備一定的分析論證能力。
2.實驗課程。數據分析的操作離不開計算機。目前數據分析行業常用的一些統計軟件有SAS、SPSS和R軟件。SAS軟件是一個模塊化、集成化的大型應用統計系統。它的功能包括數據訪問、數據儲存及管理、應用開發、圖形處理、數據分析、報告編制、運籌學方法、計量經濟學與預測等。SPSS軟件是一個社會科學統計軟件包,是采用圖形菜單驅動界面的統計軟件,SPSS的基本功能包括數據管理、統計分析、圖表分析、輸出管理等。R軟件是一套完整的數據處理、計算和制圖軟件系統,包括:數據存儲和處理系統、完整連貫的統計分析工具、優秀的統計制圖功能、可操縱數據的輸入和輸入等功能。這三個軟件在數據分析中針對不同行業的需求有不同方向的應用。
3.專業課程。從數據分析的行業需求出發,好的數據分析人員不僅要有較強的數據分析能力,還要有該行業的背景及相關知識的儲備,這樣才能將數據分析與行業特性聯系起來,發揮數據分析的最大功能,即所謂的“因地制宜”。同時要兼顧學生的興趣與學習的聯系,需提供多領域的課程選擇,如:經濟學、金融學、保險學、管理學、會計學等。而在軟件學習方面也要拓寬渠道,除了實驗課程安排學習的軟件,學生可根據自身發展意向再多掌握一些軟件如:SQL數據庫,熟悉office常用功能,尤其熟練運用Word和PowerPoint、Excel圖表及數據分析等。同時還應該結合對數據分析師的要求設置一些相關課程:投資數據分析、市場調研與預測、預測技術分析、現金流量表編制、風險投資項目篩選、不確定性分析、編制數據分析報告等。
三、實踐環節
培養數據分析的專業型人才目的就是為了學以致用。數據分析本身就是為了從數據中發現問題、建立模型、預測收益風險企業決策進而做出合理正確的決策判斷。因此,學習了基本的知識和技能就要運用到實際操作中。學校可以和本地的數據分析事務所,或者大量需求數據分析人員的互聯網行業建立實訓基地,進行合作式教學,使得學生在實習的過程中能夠理論聯系實際,切身體會數據分析的商業操作體系,這樣就能夠促進學生有目的、有取舍地針對自身情況學習鉆研,繼而就能夠培養出適應經濟發展,滿足市場需求的應用型人才。
四、結語
在大數據時代到來之時,數據分析在互聯網中的應用將會空前廣泛,與此同時對數據分析師的需求也將會井噴,無論是在軍事、工業、企業還是在政治上,大數據分析都將會十分緊缺。因此,目前對數據分析師的培養刻不容緩。本文從分析數據分析行業發展及其重要意義、數據分析專業課程設置以及教學實踐環節方面對構建數據分析課程體系進行了探討。不僅從教學課程的內容上予以安排,而且更加注重引導學生自主學習,特別強調理論結合實踐的合作式教學。希望能夠結合行業需求合理地構建課程,培養出專門從事數據分析的項目數據分析師,從而能夠滿足市場需求和自身發展。
參考文獻:
[1]范金城.數據分析[M].科學出版社,2010.
中圖分類號:G642.0 文獻標志碼:A 文章編號:1674-9324(2016)43-0101-03
一、研究背景
自2002年桂林理工大學在廣西開辦了第一個統計學本科專業以來,針對當時理學學位的統計學專業培養的學生雖然數理基礎相對扎實,但普遍統計思想不夠,實際應用能力較弱的現狀和特點,對統計學專業進行了全方位的改革研究,確立了"數學與統計學相融,從培養學生扎實的數理基礎和極強的統計分析應用能力有機相結合的理念出發,構建了新的課程體系和教學內容,取得了系列研究成果。2009年研究成果開創“應用性、實驗性、案例性”一體化的統計學專業課程體系和教學模式,獲得廣西高等教育自治區級教學成果二等獎[1],并在其后分別把統計學學科建成廣西重點學科和廣西高等學校優勢特色專業,以及把應用統計實驗室建成廣西高等學校重點實驗室。
雖然我校統計學專業的教學改革和建設取得了許多成果,但近幾年,我們也逐漸感覺到在大數據新形勢下,我校應用統計學專業的教學體系還有一些不適應的地方,且某些問題還有日益凸顯的趨勢,我們原來的某些研究成果已不再適應新時代的要求,這就迫使我們繼續進行改革研究,探討在大數據背景的新形勢下,如何培養統計學專業復合型和應用型人才,如何準確把握統計學的發展方向與發展形勢,如何調整人才培養模式,如何調整相關課程和課程內容,以培養適應大數據背景下社會經濟發展需要的統計學專業人才。
許多國家越來越重視數據在大數據時代重要作用,我國也不例外,2012年9月,國家統計局第7次局務會提出,盡快開展在政府統計中應用大數據的研究。2013年可以看作是我國政府統計之大數據元年。2015年9月《國務院關于印發促進大數據發展行動綱要的通知》(國發〔2015〕50號)[2]頒布,標志著我國正逐步進入大數據建設的新時代,為此,國家統計局積極推動大數據在各方面的應用與實踐。而大數據的核心是數據,應用統計學學科是與數據分析處理聯系最為緊密的應用性學科,因此,應用統計學專業的教學體系應順應大數據發展的趨勢。在大數據背景下,應用統計學專業在繼承傳統數據分析技術的基礎上,對所需的數據處理技能提出的需求更高了。這就是說,大數據對應用統計學的培養目標,以及教學內容等的沖擊無疑是最大且不可避免的,這給應用統計學專業帶來了巨大的挑戰,同時也為應用統計學學科的發展帶來了前所未有的機遇。
大數據逼迫人們改變分析、處理數據的手段、思維和理念,這就逼迫應用統計學專業改革必須引入新手段、新思維和新理念。培養應用統計學人才必須與時俱進,才能不斷適應大數據新時代的要求,這關系到應用統計學專業培養的人才能否適應和滿足社會的需求,因此,這一研究是十分必要、十分迫切且有著重要的理論和實際應用意義。
預測性分析。大數據分析最終要的應用領域之一就是預測性分析,從大數據中挖掘出特點,通過科學的建立模型,之后便可以通過模型帶入新的數據,從而預測未來的數據。
語義引擎。非結構化數據的多元化給數據分析帶來新的挑戰,我們需要一套工具系統的去分析,提煉數據。語義引擎需要設計到有足夠的人工智能以足以從數據中主動地提取信息。