什么是大数据计算MaxCompute
 |
大数据计算服务(MaxCompute)是基于飞天操作系统分布式平台的海量数据离线处理服务。MaxCompute提供针对TB/PB级别数据、实时性要求不高的批量处理能力,主要应用于日志分析、机器学习、数据仓库、数据挖掘、商业智能等领域。
MaxCompute的目的是为您提供一种便捷的分析处理海量数据的手段。您可以不必关心分布式计算细节,从而达到分析大数据的目的。
|
产品特点
• MaxCompute是面向大数据处理的分布式系统,主要提供结构化数据的存储和计算,是天工云大数据平台的基础计算平台。MaxCompute中的多租户、数据安全、水平扩展等特性是MaxCompute的核心设计目标,采用抽象的作业处理框架为不同用户对各种数据处理任务提供统一的编程接口和界面。
• 采用分布式架构,规模可以根据需要平行扩展。
• 自动存储容错机制,保障数据高可靠性。
• 所有计算在沙箱中运行,保障数据高安全性。
• 以RESTful API的方式提供服务。
• 支持高并发、高吞吐量的数据上传下载。
• 支持离线计算、机器学习两类模型及计算服务。
• 支持基于SQL、MapReduce、Graph、MPI等多种编程模型的数据处理方式。
• 支持多租户,多个用户可以协同分析数据。
• 支持基于ACL和policy的用户权限管理,可以配置灵活的数据访问控制策略,防止数据越权访问。
• 支持ElasticSearch的增强应用,即ElasticSearch on MaxCompute。
• 支持Spark的增强应用,即Spark on MaxCompute。
• 支持访问及处理非结构化数据。
• 支持单Region多集群部署。
• 支持多Region部署。
• 采用列式存储,支持KMS对数据文件的加密。
• 支持对审计日志的存储,并转存至指定服务器的指定目录下,便于长期存储、管理审计日志信息。