大数据的计算模型及关键技术

招生

2、数据存储与管理3、数据处理与分析4、数据隐私与安全1.5大数据关键技术分布式存储分布式处理大数据1.5大数据关键技术

分布式存储：解决海量数据存储问题群集分布式存储无法存储海量数据的存储1.5大数据关键技术1

分布式数据库Bigtable分布式文件系统GFS分布式并行处理技术Mapreduce1.5大数据关键技术

“每个密钥需要不同的密钥”每个大数据技术必须使用不同的计算模式，每个产品必须使用不同的一大数据关键技术，以便企业中的每个APP场景都有不同的计算模式

批处理

流数据需要实时处理图表计算，需要处理实时计算的交互式查询分析交互式计算

不同的计算模式需要使用不同产品的MapReduce批处理计算模式的典型代表性批处理计算

专科是大专吗

流媒体数据(网购数据、游戏中的玩家活动、社交网站信息、金融交易大厅或地理空间服务、来自数据中心内连接机器或设备的遥测数据)需要实时处理、实时响应否则，分析结果将失去商业价值。 图表计算

代表性技术：将Pregel、GraphX、社交网络数据转换为地图结构进行分析计算

典型技术： Dremel、Hive、Cassandra、Impala等数据计算模式大数据计算模式问题求解典型产品批量计算批量数据处理MapReduce、Spark等流计算流数据的实时计算

图表计算处理大型图表结构数据，包括Storm、S4、Flume、Streams、Puma、DStream、Super Mario和银河流数据处理平台

Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查询分析计算大数据的存储管理和查询分析

表1-3大数据计算模式，包括Dremel、Hive、Cassandra和Impala，以及分布式存储分布式处理大数据的代表性产品

德国双元制职业教育

企业无需自行建立IT基础架构，即可租用云资源享受云计算带来的好处

企业无需自建IT基础设施，可以借用云资源图1-7云计算服务模式、云计算服务模式和公有云混合云私有云

软件即服务(SaaS )、平台即服务(PaaS )、基础设施即服务(IaaS )公共云面向所有公共私有云

面向企业内部的混合云部分向自己，部分向外部

infrastructureasaserviceplatformasaservicesaastwareasaservicepaasiaas

谷歌apps，微软“软件服务”作为面向用户(云软件) Sina APP Engine，谷歌app engine面向APP应用开发者)的服务开发平台IBM Blue Cloud，Sun Grid适用于网络设计者(将基础架构作为服务出租) serverstorageserverstoragevisualizationinfrastructureplatform

因为是主流服务，所以SaaS可以租赁APP公司并计算费用

IaaS将PaaS作为服务租用基础架构(计算资源和存储)与IaaS类似，但它包含以操作系统和特定APP应用为中心的必要服务SaaS

云计算关键技术包括虚拟化、分布式存储、分布式计算、多租户等云计算关键技术建设蚂蚁全球云计算数据中心