一区二区视频_久久久精品国产_一级在线观看_欧美福利_国产精品免费看_国产大片在线观看

　　好程序員大數(shù)據(jù)培訓(xùn)簡述Hadoop常見問題，近期有不少剛剛接觸或者是剛參加大數(shù)據(jù)培訓(xùn)的小伙伴詢問Hadoop常見問題有哪些，下面是好程序員大數(shù)據(jù)培訓(xùn)小編簡單整理的一些內(nèi)容，現(xiàn)在分享給大家，希望對小伙伴們有所幫助。

　　1、現(xiàn)在企業(yè)中使用Hadoop版本主要是1.x還是2.x?

　　目前百度，騰訊，阿里為主的互聯(lián)網(wǎng)公司都是以hadoop。

　　a.X為基準(zhǔn)版本的，當(dāng)然每個公司都會進行自定義的二次開發(fā)以滿足不同的集群需求。

　　b.X在百度內(nèi)部還沒有正式使用，還是以1.X為主，不過百度針對1.X的問題開發(fā)了HCE系統(tǒng)(HadoopC++Expand系統(tǒng))。

　　補充：Hadoop2.x在其他公司應(yīng)用的很多，比如京東等。

　　2、以后想從事大數(shù)據(jù)方面工作，算法要掌握到什么程度，算法占主要部分嗎?

　　首先，如果要從事大數(shù)據(jù)相關(guān)領(lǐng)域的話，hadoop是作為工具來使用的，首先需要掌握使用方法。可以不用深入到hadoop源碼級別細(xì)節(jié)。

　　然后就是對算法的理解，往往需要設(shè)計到數(shù)據(jù)挖掘算法的分布式實現(xiàn)，而算法本身你還是需要理解的，例如常用的k-means聚類等。

　　3、現(xiàn)在spark，storm越來越火，谷歌也發(fā)布了Cloud Dataflow，是不是Hadoop以后主要應(yīng)該學(xué)習(xí)hdfs和yarn，而且以后Hadoop程序員的主要做的就是把這些東西打包，只提供接口讓普通的程序員也能使用，就像Cloudera和Google一樣?

　　這位同學(xué)，你多慮了，hadoop和spark,strom是解決不同的問題，不存在哪個好那個壞，要學(xué)習(xí)Hadoop還是以主流的hadoop-1.X為版本，2.X最主要的就是多了yarn框架，很好理解的。如果你是hadoop本身研發(fā)建議都看，如果你是hadoop應(yīng)用相關(guān)研發(fā)，看主流的1.X就行。

　　4、小白問一句，大數(shù)據(jù)處理都是服務(wù)器上安裝相關(guān)軟件嗎，對程序有什么影響呢，集群、大數(shù)據(jù)是屬于運維的工作內(nèi)容還是攻城獅的呢?

　　傳統(tǒng)的程序只能運行在單機上，而大數(shù)據(jù)處理這往往使用分布式編程框架編寫，例如hadoopmapreduce，只能運行在hadoop集群平臺上。

　　運維的責(zé)任：保證集群，機器的穩(wěn)定性和可靠性

　　hadoop系統(tǒng)本身研發(fā)：提高Hadoop集群的性能，增加新功能。

　　大數(shù)據(jù)應(yīng)用：把hadoop作為工具，去實現(xiàn)海量數(shù)據(jù)處理或者相關(guān)需求。

　　5、大的文件拆分成很多小的文件后，怎樣用Hadoop進行高效的處理這些小文件?以及怎樣讓各個節(jié)點盡可能的負(fù)載均衡?

　　a.怎樣用Hadoop進行高效的處理這些小文件?

　　hadoop在處理大規(guī)模數(shù)據(jù)時是很高效的，但是處理大量的小文件時就會因為系統(tǒng)資源開銷過大而導(dǎo)致效率較低，針對這樣的問題，可以將小文件打包為大文件，例如使用SequcenFile文件格式，例如以文件簽名為key，文件內(nèi)容本身為value寫成SequcenFile文件的一條記錄，這樣多個小文件就可以通過SequcenFile文件格式變?yōu)橐粋€大文件，之前的每個小文件都會映射為SequcenFile文件的一條記錄。

　　b.怎樣讓各個節(jié)點盡可能的負(fù)載均衡?

　　在hadoop集群中負(fù)載均衡是非常關(guān)鍵的，這種情況的導(dǎo)致往往是因為用戶的數(shù)據(jù)分布的并不均衡，而計算資源槽位數(shù)確實均衡分布在每個節(jié)點，這樣在作業(yè)運行時非本地任務(wù)會有大量的數(shù)據(jù)傳輸，從而導(dǎo)致集群負(fù)載不均衡，因此解決不均衡的要點就是將用戶的數(shù)據(jù)分布均衡，可以使用hadoop內(nèi)置的balancer腳本命令。

　　對于因為資源調(diào)度導(dǎo)致的不均衡則需要考慮具體的調(diào)度算法和作業(yè)分配機制。