一、大數據工程定義

大數據工程需求處理數據的定義、搜集、核算與保存的作業(yè)，因而大數據工程師們在規(guī)劃和布置這樣的體系時首要考慮的是數據高可用的問題，即大數據工程體系需求實時地為下流事務體系或剖析體系供給數據效勞。

二、大數據工程技術人員就業(yè)前景

我國行業(yè)大數據總體發(fā)展水平較好，在各行業(yè)都有應用。既然大數據的市場規(guī)模這么大，在各個領域企業(yè)的受重視程度高。那么隨之而來的就是大數據人才的需求量。因為目前大數據行業(yè)正在飛速的發(fā)展，企業(yè)也已經看到了大數據人才對公司的重要性。因為行業(yè)極缺人才，所以掌握好相關技能，找到一份好工作是不難的。而自從“互聯網+”這一概念以來，政府越來越重視互聯網行業(yè)及傳統(tǒng)行業(yè)和互聯網的融合，行業(yè)的發(fā)展肯定會需要更多的人才。并且互聯網的技術崗位分分鐘月薪過萬。

   三、大數據人員都需要掌握哪些技術

1、 掌握至少一種數據庫開發(fā)技術：Oracle、Teradata、DB2、Mysql等，靈活運用SQL實現海量數據ETL加工處理

2、 熟悉Linux系統(tǒng)常規(guī)shell處理命令，靈活運用shell做的文本處理和系統(tǒng)操作

3、 有從事分布式數據存儲與計算平臺應用開發(fā)經驗，熟悉Hadoop生態(tài)相關技術并有相關實踐經驗著優(yōu)先，重點考察Hdfs、Mapreduce、Hive、Hbase

4、 熟練掌握一門或多門編程語言，并有大型項目建設經驗者優(yōu)先，重點考察Java、Python、Perl

5、 熟悉數據倉庫領域知識和技能者優(yōu)先，包括但不局限于：元數據管理、數據開發(fā)測試工具與方法、數據質量、主數據管理

6、 掌握實時流計算技術，有storm開發(fā)經驗者優(yōu)先

   四、大數據工程技術人員工作介紹

定義：從事大數據采集、清洗、分析、治理、挖掘等技術研究，并加以利用、管理、維護和服務的工程技術人員。

主要工作任務：

1.研究和開發(fā)大數據采集、清洗、存儲及管理、分析及挖掘、展現及應用等有關技術；

2.研究、應用大數據平臺體系架構、技術和標準；

3.設計、開發(fā)、集成、測試大數據軟硬件系統(tǒng)；

4.大數據采集、清洗、建模與分析；

5.管理、維護并保障大數據系統(tǒng)穩(wěn)定運行；

6.監(jiān)控、管理和保障大數據安全；

7.提供大數據的技術咨詢和技術服務。