Spark 服務上線

spark Spark 是繼 Hadoop 之后新一代的大數據分布式處理平臺。它是一個基于內存、容錯型的分布式計算引擎,與 Hadoop MapReduce 相比,計算速度要快100倍。 Spark 卓越的用戶體驗以及統一的技術堆?;旧辖鉀Q了大數據領域所有的核心問題,使得 Spark 迅速成為當前最為熱門的大數據基礎平臺。 除此之外,青云 QingCloud 提供的 Spark 還包括在線伸縮、監控和告警等功能,幫助您更好地管理集群。更多詳情請參看“ Spark 服務指南”。

集成 HDFS

青云 QingCloud 既提供純計算引擎的 Spark 集群,也提供和 Hadoop HDFS 集成的 Spark 集群。在創建 Spark 時可以選擇是否集成 Hadoop HDFS。 create_spark_1create_spark_3

在線伸縮

青云的 Spark 集群支持橫向與縱向的在線伸縮, 而且橫向伸縮時,用戶的業務連續性不會中斷。 resize_spark

實時監控

青云提供了 Spark 節點的主機的監控信息,服務、應用級別的監控由 Spark、Hadoop 提供。 hadoop_monitor對主機的監控包括如下監控項:
  • CPU
  • 內存
  • 硬盤使用率
  • 硬盤 IOPS
  • 硬盤吞吐量

監控告警

Spark 的監控告警策略會監控 Spark 節點,包括如下監控項:
  • CPU:CPU 使用百分比
  • 內存:內存使用百分比
  • 硬盤:硬盤使用百分比

測試

Spark 創建完成之后可以測試其可用性。具體測試方法請參看“文檔”。
熱門標簽
Ubuntu
邊緣計算
飛騰
教育
超融合
云易捷
數據
存儲
U10000
云服務器
RadonDB
數據庫
復制成功