作者：紅(hóng)掌網絡 &n北慢bsp; 訪問量：350 &nb還章sp;發布時間(jiān)：2020-05-25 07:22錢學
想要成為(wèi)一名合格的(de)大數據研發工程師（Bigdatar熱河esearchanddevelopmentengineers），首先就要了匠村解大數據軟件開發這個職業，大數據非傳統型的(de)互聯網數據信息，大數微見據也包含了很多新的(de)特征。互聯網時代的(de請不)發展，每天都(dōu)産生各種各樣的(de)數據信看房息，數據來源很廣，每天都(dōu)有(yǒu)從各方遠術面來臨的(de)數據信息，大數據格式多種多雨為樣，非結構化數據（Unstructureddata）、結構化數村雜據（structureddata）、excel文件等等，而且門那大數據數量很大，至少要是(shì)TB級别的(de)，問開甚至會達到PB級别的(de)。既然數據總用業量如此之多，又(yòu)各種類型的(de)都(dōu)有(yǒu)，增長數據也請森很快，那(nà)數據該如何彙總并且轉化運用(yòng)成自己所需要民海的(de)數據信息呢?這就誕生了大數據研發工程師，大數據研發爸話工程師在充分了解行情的(de)基礎之上，發揮其自身(shēn)所具備的服訊(de)專業技能。
先扯一下大數據的(de)4V特征：
1：數據量大，TB->PB
2：數據類型繁多，結構化、非結構化文本、日志、視頻、圖片、地(d空件ì)理位置等；
（datatypeisvarious,structur樹大edandunstructuredtext,logs拿姐,video,images,thegeographic一區alposition,etc.;）
3：商業價值高，但是(shì)這種價志問值需要在海量數據之上，通過數據分析與機器學習更快速的放視(de)挖掘出來；
（highcommercialvalue,butth件離isvaluetakeonhugeamountsofdata,路有throughdataanalysisandmachinele歌銀arningmorerapidexcavation;）
4：處理時效性高，海量數據的(de)處理需求不再局限在離線計算年業當中。
（processingtimelinessishigh,th不她erequirementofthehugeamountsofda分知taprocessingisnolonger但愛limitedinoff-linecalcu科月lation.）
大數據軟件開發工程師需要學什(shén)麼呢？
我們從全國(guó)幾個大城市(shì)招聘信息來了解，大數據軟綠都件開發工程師到底需要學什(shén)麼及畫煙相應的(de)月(yuè)薪。
大數據開發工程師杭州（20000-40000元/月(yuè))
1、熟悉java或scala開發語言，業從了解python或go等語言，有(yǒu)3年以視們上開發經驗2、了解hadoop生态，Hadoop，hi黑會ve，HBase，Spark等，了解實時計算技術(shù)，包括s通光torm,kafka，flume，druid等3、熟悉雜場linux各項基本操作4、熟悉數據結構，對常用(yòng)算法有(作討yǒu)所了解，有(yǒu)良好的(de)門件數據思維5、有(yǒu)大規模數據分析、推薦、廣告相關研筆年發經驗的(de)優先6、有(yǒu)BI數據平台、數據倉庫、店制日志采集，多維實時分析平台設計、開發、架構經驗優先。
崗位職責(responsibility匠還)：
1、負責大數據平台基礎組件功能設計、研發及維護工作黃低；2、負責大數據采集、清洗、整合等工作；3、負花冷責大數據平台文本挖掘分析等工作；4、負責相關功能設計文檔撰寫；5、負快妹責BI及報表開發。任職要求：1、深厚的(de)Ja器車va功底，多年的(de)并發編程經驗；2、參與過分布式高性能服務的(de飛水)設計開發過程，有(yǒu)大規模分布式系統的(de)實踐經驗；3藍行、熟悉HDFS/HBase/Hive/M人雜apReduce/Storm/Spark等相關技術(shù),有(yǒ土靜u) MapReduce&a農黃mp;nbsp;程序的(de)實戰開發經驗；4、熟悉Had腦風oop運行監控及調優技術(shù)；5、熟悉常見存儲技術(shù)中村（Sqlserver ,Orac日見le, Mysql,&歌草nbsp;NosqlDB、Redis、ElasticSe藍能arch），WebService/WebAPI（SOAP/json）；6、熟悉森作Scala語言優先；7、計算機、軟件工程街畫及相關專業本科或以上學曆，3年以上相關項目開發經驗；
大數據開發工程師安徽合肥(5000-10000元/報但月(yuè))
崗位職責(responsibility)：
1、大數據平台的(de)産品及解決方案設計、開發，實現大數據存儲、查詢、藍區分析、挖掘的(de)目标；
3、對大數據（雲計算）的(de)主流技術(shù)、産品跟蹤研究，設計适合文的公司業務的(de)、有(yǒu)競争力的(de)銀紅方案和産品；
3、具體工作包括技術(shù)預研、方案設計、構件資民選型、開發、集成、優化等；
4、能根據公司産品和業務特征不斷提出改進建議，持續創新、開發新年分産品及方案。
任職資格(responsibility)：
1.計算機或者相關專業本科以上學曆，1年實際工作經驗
2.精通java。熟悉shell/perl/python任意關的一門腳本語言，有(yǒu)紮實的(de)編程功底。
3.熟悉Hadoop+spark+hba風暗se生态和常見的(de)開源分布式計算/存儲相關技術(shù)
4.精通SQL，有(yǒu)較好的(de房還)SQL性能調優經驗，理解Hive/Mysql基本原理裡上和調優策略；有(yǒu)開源貢獻者優先
5.有(yǒu)文檔編制基礎，能夠流暢編寫技北服術(shù)方案及實施方案
大數據開發工程師北京(15001-20000元/月(yuè少是))
崗位職責:
1、負責公司級的(de)通用(yòng)數據平台和分析型産品做要，服務于全公司各個用(yòng)戶産品線；
2、面向PB級超大規模數據問題，每天處理千億增量的(de)用(yòng但行)戶行為(wèi)數據；
3、為(wèi)大數據的(de)全生命慢討周期提供服務，覆蓋數據産生，傳輸，計算，建模，統計分析，實驗評估，可視化媽來的(de)全流程；
4、構建設計良好的(de)數據流、數據倉庫、調度系統、地玩kv存儲，查詢引擎，數據服務、分析系統、刀懂流程規範，數據工具/産品，降低數據的(d女銀e)使用(yòng)門檻，保證系統穩定高效運行，以實現數據的(d熱南e)最大價值。
任職資格:
1、熟悉linux編程環境，有(yǒ請為u)較強的(de)開發能力（java/scala/c++/遠子python等);
2、強悍的(de)編碼能力，對新技術(shù)有(yǒu)強烈會章的(de)學習熱情；
3、加分，熟悉一項或多項大數據處理/分析相關的(de)工具/框章她架，e、g、azkaban,hadoop遠北,Hive,Spark,kylin,druid,flume,kafk生場a,hbase,mesos,kubernets,見影redisetc。
4.對數據建模有(yǒu)一定了解。
