全部 Python+大數(shù)據(jù)新聞動(dòng)態(tài) Python+大數(shù)據(jù)技術(shù)文章 Python+大數(shù)據(jù)學(xué)習(xí)常見問題 技術(shù)問答

• • 

    kafka什么時(shí)候會(huì)做rebalance重平衡?

    當(dāng)一個(gè)新的消費(fèi)者加入到群組中時(shí)，或者一個(gè)已經(jīng)離開的消費(fèi)者重新加入，都可能觸發(fā)Rebalance。這可能是由于新的消費(fèi)者希望加入消費(fèi)者群組，或者舊的消費(fèi)者重新加入，這樣就需要重新分配分區(qū)。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-02-02 |傳智教育 |kafka什么時(shí)候會(huì)做rebalance重平衡

  • 

    從原理上說一下mpp和mr的區(qū)別?

    MPP(Massively Parallel Processing)和MR(MapReduce)是兩種不同的數(shù)據(jù)處理框架，用于處理大規(guī)模數(shù)據(jù)集。它們有一些相似之處，但在原理和實(shí)現(xiàn)上存在一些顯著的區(qū)別。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-02-01 |傳智教育 |從原理上說一下mpp和mr的區(qū)別

  • 

    簡述Hive的行轉(zhuǎn)列和列轉(zhuǎn)行函數(shù)

    Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉庫工具，用于處理大規(guī)模的數(shù)據(jù)集。在Hive中，有一些函數(shù)可用于行轉(zhuǎn)列(Pivot)和列轉(zhuǎn)行(Unpivot)操作。這些函數(shù)主要用于將表中的數(shù)據(jù)在行和列之間進(jìn)行轉(zhuǎn)換。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-31 |傳智教育 |Hive的行轉(zhuǎn)列和列轉(zhuǎn)行函數(shù)

  • 

    reduceBykey和groupBykey有啥區(qū)別嗎?

    reduceByKey和groupByKey是Spark中的兩個(gè)不同的轉(zhuǎn)換操作，用于處理鍵值對(duì)(key-value pairs)的RDD(Resilient Distributed Dataset)。它們之間的主要區(qū)別在于它們執(zhí)行的操作和結(jié)果的組織方式。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-30 |傳智教育 |reduceBykey和groupBykey有啥區(qū)別

  • 

    fsimage和edit的區(qū)別是什么?

    在Hadoop分布式文件系統(tǒng)(HDFS)中，fsimage和edits是兩個(gè)關(guān)鍵的元數(shù)據(jù)文件，用于記錄文件系統(tǒng)的狀態(tài)和變更。它們一起工作以維護(hù)文件系統(tǒng)的一致性和持久性。以下是它們的主要區(qū)別： 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-29 |傳智教育 |fsimage和edit的區(qū)別

  • 

    scrapy的去重原理是什么?

    Scrapy是一個(gè)用于爬取網(wǎng)站數(shù)據(jù)的Python框架，它內(nèi)置了一個(gè)去重(Duplicate Removal)的機(jī)制，以確保在爬取過程中不會(huì)重復(fù)獲取相同的數(shù)據(jù)。Scrapy的去重原理主要基于請(qǐng)求的指紋(fingerprint)來進(jìn)行判斷。以下是Scrapy去重的詳細(xì)說明。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-26 |傳智教育 |scrapy的去重原理

  • 

    Namenode、Job tracker和task tracker的端口號(hào)是?

    在Hadoop 1.x版本中，NameNode、JobTracker和TaskTracker的默認(rèn)端口號(hào)如下。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-25 |傳智教育 |Namenode、Job tracker和task tracker的端口號(hào)

  • 

    Map到Reduce默認(rèn)的分區(qū)機(jī)制是什么?

    在MapReduce中，默認(rèn)的分區(qū)機(jī)制是基于鍵(key)的哈希分區(qū)(Hash Partitioning)。MapReduce框架將Map階段產(chǎn)生的鍵值對(duì)按照鍵進(jìn)行哈希運(yùn)算，然后將結(jié)果對(duì)分區(qū)數(shù)取模，從而確定每個(gè)鍵值對(duì)應(yīng)的分區(qū)。這樣可以確保具有相同鍵的鍵值對(duì)會(huì)被分配到相同的分區(qū)，方便后續(xù)的Reduce階段進(jìn)行處理。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-24 |傳智教育 |Map到Reduce默認(rèn)的分區(qū)機(jī)制

  << < 1 2 3 4 5 6 7 8 9 ... 159 > >>