傳智播客旗下品牌:|||||

全國咨詢/投訴熱線:400-618-4000

Spark有什么特點?【大數據培訓】

更新時間:2020年04月24日15時32分 來源:傳智播客 瀏覽次數:

Spark計算框架在處理數據時,所有的中間數據都保存在內存中。正是由于Spark充分利用內存對數據進行計算,從而減少磁盤讀寫操作,提高了框架計算效率。同時Spark還兼容HDFS、Hive,可以很好地與Hadoop系統融合,從而彌補MapReduce高延遲的性能缺點。所以說,Spark是一個更加快速、高效的大數據計算平臺。推薦了解傳智播客大數據培訓課程

學大數據就來傳智播客


Spark具有以下幾個顯著的特點:

1、速度快

小生根據官方數據統計,與Hadoop相比,Spark基于內存的運算效率要快100倍以上,基于硬盤的運算效率也要快10倍以上。Spark實現了高效的DAG執行引擎,能夠通過內存計算高效地處理數據流。

2、易用性

Spark編程支持Java、Python、Scala及R語言,并且還擁有超過80種高級算法,除此之外,Spark還支持交互式的Shell操作,開發人員可以方便地在Shell客戶端中使用Spark集群解決問題。

3、通用性

Spark提供了統一的解決方案,適用于批處理、交互式查詢(SparkSQL)、實時流處理(SparkStreaming)、機器學習(SparkMLlib)和圖計算(GraphX),它們可以在同一個應用程序中無縫地結合使用,大大減少大數據開發和維護的人力成本和部署平臺的物力成本。

4、兼容性

Spark開發容pSpark可以運行在Hadoop模式、Mesos模式、Standalone獨立模式或Cloud中,并且還可以訪問各種數據源,包括本地文件系統、HDFS、Cassandra、HBase和Hive等。

猜你喜歡:

Spark生態系統包含哪些組件?

javaee

python

web

ui

cloud

test

c

netmarket

pm

Linux

movies

robot

uids

北京校區

    14天免費試學

    基礎班入門課程限時免費

    申請試學名額

    15天免費試學

    基礎班入門課程限時免費

    申請試學名額

    15天免費試學

    基礎班入門課程限時免費

    申請試學名額

    15天免費試學

    基礎班入門課程限時免費

    申請試學名額

    20天免費試學

    基礎班入門課程限時免費

    申請試學名額

    8天免費試學

    基礎班入門課程限時免費

    申請試學名額

    20天免費試學

    基礎班入門課程限時免費

    申請試學名額

    5天免費試學

    基礎班入門課程限時免費

    申請試學名額

    0天免費試學

    基礎班入門課程限時免費

    申請試學名額

    12天免費試學

    基礎班入門課程限時免費

    申請試學名額

    5天免費試學

    基礎班入門課程限時免費

    申請試學名額

    5天免費試學

    基礎班入門課程限時免費

    申請試學名額

    10天免費試學

    基礎班入門課程限時免費

    申請試學名額
    2019免费网赚挂机 秒速赛车平台 贵州11选5 什么都不会怎么网赚 加拿大28 安徽快3 五大互联网赚钱 有哪些靠谱的网赚平台 2019网赚项目 贵州快3走势