大数据技术与应用---大数据处理与分析---Spark---第四课

重电教务系统

教育信息化促进教育公平研究

军事职业教育

%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Manager%E5%8F%AF%E4%BB%A5%E6%98%AFSpark%E8%87%AA%E5%B8%A6%E7%9A%84%E6%88%96mesos%E6%88%96YARN%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Application%E7%9A%84%E8%BF%90%E8%A1%8C%E6%9E%B6%E6%9E%84%E7%94%B1%E4%B8%A4%E9%83%A8%E5%88%86%E7%BB%84%E6%88%90%EF%BC%9Adriver%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%E8%BF%90%E8%A1%8C%E6%9E%B6%E6%9E%84%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%9B%BE%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.4.2%20%E8%BF%90%E8%A1%8C%E6%9E%B6%E6%9E%84%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%B9%B2%E4%B8%AAexecutors%20%20%E9%9B%86%E7%BE%A4%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E5%99%A8Cluster%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%E2%80%A2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Scheduler%E9%80%9A%E8%BF%87%E5%88%86%E6%9E%90RDD%E4%B9%8B%E9%97%B4%E7%9A%84%E5%AE%BD%E3%80%81%E7%AA%84%E4%BE%9D%E8%B5%96%E5%85%B3%E7%B3%BB%E5%B0%86DAG%E5%88%92%E5%88%86%E6%88%90%E5%A4%9A%E4%B8%AAStage%EF%BC%8C%E5%B9%B6%E5%B0%86%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Graph%29%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Node%E7%9A%84Executor%E8%BF%9B%E7%A8%8B%E7%9A%84%E7%BA%BF%E7%A8%8B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201%EF%BC%89Spark%E4%B8%BA%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E5%88%9B%E5%BB%BARDD%EF%BC%8C%E7%BB%8F%E8%BF%87%E4%B8%80%E7%B3%BB%E5%88%97%E7%9A%84Transformation%E6%93%8D%E4%BD%9C%E5%90%8E%E7%A2%B0%E5%88%B0Action%E6%93%8D%E4%BD%9C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202%EF%BC%89Action%E6%93%8D%E4%BD%9C%E4%BC%9A%E8%A7%A6%E5%8F%91SparkContext%E7%9A%84runJob%E6%96%B9%E6%B3%95%E6%8F%90%E4%BA%A4Job%EF%BC%8C%E5%9C%A8%E6%9E%84%E5%BB%BA%E5%AE%8CDAG%28RDD%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Worker%20%20%20%20%20Threads%20%20Block%20%20manager%20%20execute%20tasks%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Task%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20TaskScheduler%20%20Cluster%20%20Manager%20%20%20%20%20launch%20tasks%20via%20%20cluster%20manager%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Scheduler%E9%80%9A%E8%BF%87%E9%9B%86%E7%BE%A4%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E5%99%A8%E5%9C%A8%E8%8B%A5%E5%B9%B2Worker%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Taskset%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20DAGScheduler%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Split%20graph%20into%20%20stages%20of%20tasks%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.4.3%20%E8%BF%90%E8%A1%8C%E6%B5%81%E7%A8%8B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Scheduler%E5%A4%84%E7%90%86%20%20Stage%EF%BC%88TaskSet%EF%BC%89%E4%BA%A4%E7%BB%99TaskScheduler%E5%A4%84%E7%90%86%20%20DAG%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%90%8E%E4%BA%A4%E7%BB%99DAG%20%203%EF%BC%89DAG%20%20%20%20%204%EF%BC%89Task%20%20%E6%B1%A0%E4%B8%AD%E8%BF%90%E8%A1%8CTask%20%20RDD%20Objects%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rdd1.join%28rdd2%29%20%20%20%20%20%20%20%20%20%20%20.groupBy%28...%29%20%20%20%20%20%20%20%20%20%20%20.filter%28...%29%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.5%20Spark%E7%BC%96%E7%A8%8B%E5%AE%9E%E8%B7%B5%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%80%A2%202.5.1%20Spark%20Shell%202.5.2%20Spark%20RDD%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3E%E2%80%9D%E7%9A%84%E5%91%BD%E4%BB%A4%E6%8F%90%E7%A4%BA%E7%AC%A6%EF%BC%8C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%9C%A8Spark%E5%AE%89%E8%A3%85%E7%9B%AE%E5%BD%95%E6%89%A7%E8%A1%8C./bin/spark-shell%E5%91%BD%E4%BB%A4%E5%90%AF%E5%8A%A8Spark%20Shell%E3%80%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%90%AF%E5%8A%A8Spark%20Shell%E6%88%90%E5%8A%9F%E5%90%8E%E5%9C%A8%E8%BE%93%E5%87%BA%E4%BF%A1%E6%81%AF%E7%9A%84%E6%9C%AB%E5%B0%BE%E5%8F%AF%E4%BB%A5%E7%9C%8B%E5%88%B0%E2%80%9CScala%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%20Shell%E5%8F%AF%E4%BB%A5%E4%BB%A5%E5%AE%9E%E6%97%B6%E3%80%81%E4%BA%A4%E4%BA%92%E7%9A%84%E6%96%B9%E5%BC%8F%E6%9D%A5%E5%88%86%E6%9E%90%E6%95%B0%E6%8D%AE%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%20Shell%20%E6%8F%90%E4%BE%9B%E4%BA%86%E7%AE%80%E5%8D%95%E7%9A%84%E6%96%B9%E5%BC%8F%E6%9D%A5%E5%AD%A6%E4%B9%A0Spark%20API%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.5.1%20Spark%20Shell%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E6%9C%AC%E7%AB%A0%E8%8A%82%E5%86%85%E5%AE%B9%E9%80%89%E6%8B%A9%E4%BD%BF%E7%94%A8Scala%E8%BF%9B%E8%A1%8C%E7%BC%96%E7%A8%8B%E5%AE%9E%E8%B7%B5%E3%80%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%20Shell%E6%94%AF%E6%8C%81Scala%E5%92%8CPython%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%A6%82%E4%B8%8B%E5%9B%BE%E6%89%80%E7%A4%BA%EF%BC%9A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%EF%81%AC%20%20%20%20%20%EF%81%AC%20%20%20%20%20%EF%81%AC%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%8F%A3%EF%BC%8C%E8%B4%9F%E8%B4%A3%E5%88%9B%E5%BB%BARDD%E3%80%81%E5%90%AF%E5%8A%A8%E4%BB%BB%E5%8A%A1%E7%AD%89%E3%80%82%E5%9C%A8%E5%90%AF%E5%8A%A8Spark%20Shell%E5%90%8E%EF%BC%8C%E8%AF%A5%E5%AF%B9%E8%B1%A1%E4%BC%9A%E8%87%AA%E5%8A%A8%E5%88%9B%E5%BB%BA%EF%BC%8C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%80%A2Spark%E7%9A%84%E4%B8%BB%E8%A6%81%E6%93%8D%E4%BD%9C%E5%AF%B9%E8%B1%A1%E6%98%AFRDD%EF%BC%8CRDD%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E5%A4%9A%E7%A7%8D%E6%96%B9%E5%BC%8F%E7%81%B5%E6%B4%BB%E5%88%9B%E5%BB%BA%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87%E5%AF%BC%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E4%BD%9C%E4%B8%BA%E7%A4%BA%E4%BE%8B%EF%BC%8C%E6%88%91%E4%BB%AC%E9%80%89%E6%8B%A9%E4%BB%A5Spark%E5%AE%89%E8%A3%85%E7%9B%AE%E5%BD%95%E4%B8%AD%E7%9A%84%E2%80%9CREADME.md%E2%80%9D%E6%96%87%E4%BB%B6%E4%BD%9C%E4%B8%BA%E6%95%B0%E6%8D%AE%E6%BA%90%E6%96%B0%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%80%A2%E5%9C%A8Spark%E7%A8%8B%E5%BA%8F%E4%B8%AD%E5%BF%85%E9%A1%BB%E5%88%9B%E5%BB%BA%E4%B8%80%E4%B8%AASparkContext%E5%AF%B9%E8%B1%A1%EF%BC%8C%E8%AF%A5%E5%AF%B9%E8%B1%A1%E6%98%AFSpark%E7%A8%8B%E5%BA%8F%E7%9A%84%E5%85%A5%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.5.2%20Spark%20RDD%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%85%A5%E5%A4%96%E9%83%A8%E6%95%B0%E6%8D%AE%E6%BA%90%E5%BB%BA%E7%AB%8B%EF%BC%8C%E6%88%96%E8%80%85%E4%BB%8E%E5%85%B6%E4%BB%96%E5%B7%B2%E5%AD%98%E5%9C%A8%E7%9A%84RDD%E8%BD%AC%E5%8C%96%E8%80%8C%E6%9D%A5%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%BB%BA%E4%B8%80%E4%B8%AARDD%EF%BC%8C%E4%BB%A3%E7%A0%81%E5%A6%82%E4%B8%8B%EF%BC%9A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E5%8F%98%E9%87%8Fsc%E8%BF%9B%E8%A1%8C%E8%AE%BF%E9%97%AE%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textFile%20%3D%20sc.textFile%28%22file%3A///usr/local/spark/README.md%22%29%20%20//%20%E9%80%9A%E8%BF%87file%3A%E5%89%8D%E7%BC%80%E6%8C%87%E5%AE%9A%E8%AF%BB%E5%8F%96%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%20%20Spark%20RDD%E6%94%AF%E6%8C%81%E4%B8%A4%E7%A7%8D%E7%B1%BB%E5%9E%8B%E7%9A%84%E6%93%8D%E4%BD%9C%EF%BC%9A%20%E5%9F%BA%E4%BA%8E%E7%8E%B0%E6%9C%89%E7%9A%84RDD%E5%88%9B%E5%BB%BA%E4%B8%80%E4%B8%AA%E6%96%B0%E7%9A%84RDD%20%E5%8A%A8%E4%BD%9C%EF%BC%88action%EF%BC%89%EF%BC%9A%E5%9C%A8RDD%E4%B8%8A%E8%BF%9B%E8%A1%8C%E8%BF%90%E7%AE%97%EF%BC%8C%E8%BF%94%E5%9B%9E%E8%AE%A1%E7%AE%97%E7%BB%93%E6%9E%9C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3E%20val%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%BD%AC%E6%8D%A2%EF%BC%88transformation%EF%BC%89%EF%BC%9A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Scala%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%E6%8F%90%E4%BE%9B%E4%BA%86%E9%9D%9E%E5%B8%B8%E4%B8%B0%E5%AF%8C%E7%9A%84API%EF%BC%8C%E4%B8%8B%E9%9D%A2%E4%B8%A4%E8%A1%A8%E6%A0%BC%E5%88%97%E5%87%BA%E4%BA%86%E5%87%A0%E4%B8%AA%E5%B8%B8%E7%94%A8%E7%9A%84%E5%8A%A8%E4%BD%9C%E3%80%81%E8%BD%AC%E6%8D%A2API%EF%BC%8C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.5.2%20Spark%20RDD%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%B8%B8%E7%94%A8%E7%9A%84%E5%87%A0%E4%B8%AAAction%20API%E4%BB%8B%E7%BB%8D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E6%9B%B4%E8%AF%A6%E7%BB%86%E7%9A%84API%E5%8F%8A%E8%AF%B4%E6%98%8E%E5%8F%AF%E6%9F%A5%E9%98%85%E5%AE%98%E6%96%B9%E6%96%87%E6%A1%A3%E3%80%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%BF%94%E5%9B%9E%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%AD%E7%9A%84%E5%85%83%E7%B4%A0%E4%B8%AA%E6%95%B0%20%E4%BB%A5%E6%95%B0%E7%BB%84%E7%9A%84%E5%BD%A2%E5%BC%8F%E8%BF%94%E5%9B%9E%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%AD%E7%9A%84%E6%89%80%E6%9C%89%E5%85%83%E7%B4%A0%20%E8%BF%94%E5%9B%9E%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%AD%E7%9A%84%E7%AC%AC%E4%B8%80%E4%B8%AA%E5%85%83%E7%B4%A0%20%E4%BB%A5%E6%95%B0%E7%BB%84%E7%9A%84%E5%BD%A2%E5%BC%8F%E8%BF%94%E5%9B%9E%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%AD%E7%9A%84%E5%89%8Dn%E4%B8%AA%E5%85%83%E7%B4%A0%20%E9%80%9A%E8%BF%87%E5%87%BD%E6%95%B0func%EF%BC%88%E8%BE%93%E5%85%A5%E4%B8%A4%E4%B8%AA%E5%8F%82%E6%95%B0%E5%B9%B6%E8%BF%94%E5%9B%9E%E4%B8%80%E4%B8%AA%E5%80%BC%EF%BC%89%E8%81%9A%E5%90%88%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%AD%E7%9A%84%E5%85%83%E7%B4%A0%20%E5%B0%86%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%AD%E7%9A%84%E6%AF%8F%E4%B8%AA%E5%85%83%E7%B4%A0%E4%BC%A0%E9%80%92%E5%88%B0%E5%87%BD%E6%95%B0func%E4%B8%AD%E8%BF%90%E8%A1%8C%20%E5%B8%B8%E7%94%A8%E7%9A%84%E5%87%A0%E4%B8%AATransformation%20API%E4%BB%8B%E7%BB%8D%20%20%E7%AD%9B%E9%80%89%E5%87%BA%E6%BB%A1%E8%B6%B3%E5%87%BD%E6%95%B0func%E7%9A%84%E5%85%83%E7%B4%A0%EF%BC%8C%E5%B9%B6%E8%BF%94%E5%9B%9E%E4%B8%80%E4%B8%AA%E6%96%B0%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%20%E5%B0%86%E6%AF%8F%E4%B8%AA%E5%85%83%E7%B4%A0%E4%BC%A0%E9%80%92%E5%88%B0%E5%87%BD%E6%95%B0func%E4%B8%AD%EF%BC%8C%E5%B9%B6%E5%B0%86%E7%BB%93%E6%9E%9C%E8%BF%94%E5%9B%9E%E4%B8%BA%E4%B8%80%E4%B8%AA%E6%96%B0%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%20%E4%B8%8Emap%28%29%E7%9B%B8%E4%BC%BC%EF%BC%8C%E4%BD%86%E6%AF%8F%E4%B8%AA%E8%BE%93%E5%85%A5%E5%85%83%E7%B4%A0%E9%83%BD%E5%8F%AF%E4%BB%A5%E6%98%A0%E5%B0%84%E5%88%B00%E6%88%96%E5%A4%9A%E4%B8%AA%E8%BE%93%E5%87%BA%E7%BB%93%E6%9E%9C%20%E5%BA%94%E7%94%A8%E4%BA%8E%28K%2CV%29%E9%94%AE%E5%80%BC%E5%AF%B9%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%E6%97%B6%EF%BC%8C%E8%BF%94%E5%9B%9E%E4%B8%80%E4%B8%AA%E6%96%B0%E7%9A%84%28K%2C%20Iterable%3CV%3E%29%E5%BD%A2%E5%BC%8F%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%20%E5%BA%94%E7%94%A8%E4%BA%8E%28K%2CV%29%E9%94%AE%E5%80%BC%E5%AF%B9%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%E6%97%B6%EF%BC%8C%E8%BF%94%E5%9B%9E%E4%B8%80%E4%B8%AA%E6%96%B0%E7%9A%84%28K%2C%20V%29%E5%BD%A2%E5%BC%8F%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%EF%BC%8C%E5%85%B6%E4%B8%AD%E7%9A%84%E6%AF%8F%20%E4%B8%AA%E5%80%BC%E6%98%AF%E5%B0%86%E6%AF%8F%E4%B8%AAkey%E4%BC%A0%E9%80%92%E5%88%B0%E5%87%BD%E6%95%B0func%E4%B8%AD%E8%BF%9B%E8%A1%8C%E8%81%9A%E5%90%88%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%AF%B4%E6%98%8E%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%AF%B4%E6%98%8E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Action%20API%20%20count%28%29%20%20collect%28%29%20%20first%28%29%20%20take%28n%29%20%20reduce%28func%29%20%20foreach%28func%29%20%20Transformation%20API%20%20filter%28func%29%20%20map%28func%29%20%20flatMap%28func%29%20%20groupByKey%28%29%20%20reduceByKey%28func%29%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.5.2%20Spark%20RDD%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%80%A2%E4%BD%BF%E7%94%A8action%20API%20-%20count%28%29%E5%8F%AF%E4%BB%A5%E7%BB%9F%E8%AE%A1%E8%AF%A5%E6%96%87%E6%9C%AC%E6%96%87%E4%BB%B6%E7%9A%84%E8%A1%8C%E6%95%B0%EF%BC%8C%E5%91%BD%E4%BB%A4%E5%A6%82%E4%B8%8B%EF%BC%9A%20%20Scala%20%3E%20textFile.count%28%29%20%E2%80%9CLong%3D95%E2%80%9D%E8%A1%A8%E7%A4%BA%E8%AF%A5%E6%96%87%E4%BB%B6%E5%85%B1%E6%9C%8995%E8%A1%8C%E5%86%85%E5%AE%B9%EF%BC%89%E3%80%82%20Long%20%3D%2095%EF%BC%88%20%20%E8%BE%93%E5%87%BA%E7%BB%93%E6%9E%9C%20filter%28%29%E5%8F%AF%E4%BB%A5%E7%AD%9B%E9%80%89%E5%87%BA%E5%8F%AA%E5%8C%85%E5%90%ABSpark%E7%9A%84%E8%A1%8C%EF%BC%8C%E5%91%BD%E4%BB%A4%E5%A6%82%E4%B8%8B%EF%BC%9A%20%E2%80%A2%E4%BD%BF%E7%94%A8transformation%20API%20-%20%3D%20textFile.filter%28line%20%3D%3E%20line.contains%28%22Spark%22%29%29%20linesWithSpark%20%20%3E%20val%20%20Scala%20%3E%20linesWithSpark.count%28%29%20%20Scala%20%E7%AC%AC%E4%B8%80%E6%9D%A1%E5%91%BD%E4%BB%A4%E4%BC%9A%E8%BF%94%E5%9B%9E%E4%B8%80%E4%B8%AA%E6%96%B0%E7%9A%84RDD%EF%BC%9B%20%E8%BE%93%E5%87%BA%E7%BB%93%E6%9E%9CLong%3D17%EF%BC%88%E8%A1%A8%E7%A4%BA%E8%AF%A5%E6%96%87%E4%BB%B6%E4%B8%AD%E5%85%B1%E6%9C%8917%E8%A1%8C%E5%86%85%E5%AE%B9%E5%8C%85%E5%90%AB%E2%80%9CSpark%E2%80%9D%EF%BC%89%E3%80%82%20%E4%B9%9F%E5%8F%AF%E4%BB%A5%E5%9C%A8%E5%90%8C%E4%B8%80%E6%9D%A1%E4%BB%A3%E7%A0%81%E4%B8%AD%E5%90%8C%E6%97%B6%E4%BD%BF%E7%94%A8%E5%A4%9A%E4%B8%AAAPI%EF%BC%8C%E8%BF%9E%E7%BB%AD%E8%BF%9B%E8%A1%8C%E8%BF%90%E7%AE%97%EF%BC%8C%E7%A7%B0%E4%B8%BA%E9%93%BE%E5%BC%8F%E6%93%8D%E4%BD%9C%E3%80%82%E4%B8%8D%E4%BB%85%E5%8F%AF%20%E4%BB%A5%E4%BD%BFSpark%E4%BB%A3%E7%A0%81%E6%9B%B4%E5%8A%A0%E7%AE%80%E6%B4%81%EF%BC%8C%E4%B9%9F%E4%BC%98%E5%8C%96%E4%BA%86%E8%AE%A1%E7%AE%97%E8%BF%87%E7%A8%8B%E3%80%82%E5%A6%82%E4%B8%8A%E8%BF%B0%E4%B8%A4%E6%9D%A1%E4%BB%A3%E7%A0%81%E5%8F%AF%E5%90%88%E5%B9%B6%E4%B8%BA%E5%A6%82%E4%B8%8B%E4%B8%80%E8%A1%8C%20%20%E4%BB%A3%E7%A0%81%EF%BC%9A%20Scala%20%3E%20val%20linesCountWithSpark%20%20%3D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%E6%94%AF%E6%8C%81MapReduce%E8%AE%A1%E7%AE%97%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%9B%A0%E6%AD%A4%E4%B9%9F%E5%8F%AF%E4%BB%A5%E5%AE%9E%E7%8E%B0MapReduce%E7%9A%84%E8%AE%A1%E7%AE%97%E6%B5%81%E7%A8%8B%EF%BC%8C%E5%A6%82%E5%AE%9E%E7%8E%B0%E5%8D%95%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.5.2%20Spark%20RDD%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%AF%8D%E7%BB%9F%E8%AE%A1%EF%BC%88WordCount%EF%BC%89%EF%BC%8C%E5%8F%AF%E4%BB%A5%E4%BD%BF%E7%94%A8%E5%A6%82%E4%B8%8B%E7%9A%84%E5%91%BD%E4%BB%A4%E5%AE%9E%E7%8E%B0%EF%BC%9A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wordCounts%20%3D%20textFile.flatMap%28line%20%3D%3E%20line.split%28%22%20%20%22%29%29.map%28word%20%3D%3E%20%28word%2C%201%29%29.reduceByKey%28%28a%2C%20b%29%20%3D%3E%20a%20%2B%20b%29%20%3E%20wordCounts.collect%28%29%20//%20%E8%BE%93%E5%87%BA%E5%8D%95%E8%AF%8D%E7%BB%9F%E8%AE%A1%E7%BB%93%E6%9E%9C%20//%20Array%5B%28String%2C%20Int%29%5D%20%3D%20Array%28%28package%2C1%29%2C%20%28For%2C2%29%2C%20%28Programs%2C1%29%2C%20%20%28processing.%2C1%29%2C%20%28Because%2C1%29%2C%20%28The%2C1%29...%29%20%E2%80%A2%E9%A6%96%E5%85%88%E4%BD%BF%E7%94%A8flatMap%28%29%E5%B0%86%E6%AF%8F%E4%B8%80%E8%A1%8C%E7%9A%84%E6%96%87%E6%9C%AC%E5%86%85%E5%AE%B9%E9%80%9A%E8%BF%87%E7%A9%BA%E6%A0%BC%E8%BF%9B%E8%A1%8C%E5%88%92%E5%88%86%E4%B8%BA%E5%8D%95%E8%AF%8D%EF%BC%9B%20%E2%80%A2%E5%86%8D%E4%BD%BF%E7%94%A8map%28%29%E5%B0%86%E5%8D%95%E8%AF%8D%E6%98%A0%E5%B0%84%E4%B8%BA%28K%2CV%29%E7%9A%84%E9%94%AE%E5%80%BC%E5%AF%B9%EF%BC%8C%E5%85%B6%E4%B8%ADK%E4%B8%BA%E5%8D%95%E8%AF%8D%EF%BC%8CV%E4%B8%BA1%EF%BC%9B%20%E2%80%A2%E6%9C%80%E5%90%8E%E4%BD%BF%E7%94%A8reduceByKey%28%29%E5%B0%86%E7%9B%B8%E5%90%8C%E5%8D%95%E8%AF%8D%E7%9A%84%E8%AE%A1%E6%95%B0%E8%BF%9B%E8%A1%8C%E7%9B%B8%E5%8A%A0%EF%BC%8C%E6%9C%80%E7%BB%88%E5%BE%97%E5%88%B0%E8%AF%A5%E5%8D%95%E8%AF%8D%E6%80%BB%E7%9A%84%E5%87%BA%E7%8E%B0%E7%9A%84%E6%AC%A1%20%20%E2%80%9CLong%3D95%E2%80%9D%E8%A1%A8%E7%A4%BA%E8%AF%A5%E6%96%87%E4%BB%B6%E5%85%B1%E6%9C%8995%E8%A1%8C%E5%86%85%E5%AE%B9%EF%BC%89%E3%80%82%20Long%20%3D%2095%EF%BC%88%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3E%20val%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Scala%20%20%20Scala%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E6%95%B0%E3%80%82%20%20%20%20%20%20%E8%BE%93%E5%87%BA%E7%BB%93%E6%9E%9C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E4%BB%A5Spark%E4%B8%BA%E6%A0%B8%E5%BF%83%E7%9A%84BDAS%E6%97%A2%E8%83%BD%E5%A4%9F%E6%8F%90%E4%BE%9B%E5%86%85%E5%AD%98%E8%AE%A1%E7%AE%97%E6%A1%86%E6%9E%B6%EF%BC%8C%E4%B9%9F%E5%8F%AF%E4%BB%A5%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20RDD%E6%98%AFSpark%E4%B8%AD%E5%AF%B9%E6%95%B0%E6%8D%AE%E5%92%8C%E8%AE%A1%E7%AE%97%E7%9A%84%E6%8A%BD%E8%B1%A1%EF%BC%8C%E6%98%AFSpark%E4%B8%AD%E6%9C%80%E6%A0%B8%E5%BF%83%E7%9A%84%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Spark%E6%98%AF%E5%9F%BA%E4%BA%8E%E5%86%85%E5%AD%98%E8%AE%A1%E7%AE%97%E7%9A%84%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B6%E8%A1%8C%E8%AE%A1%E7%AE%97%E6%A1%86%E6%9E%B6%EF%BC%8C%E5%8F%AF%E7%94%A8%E4%BA%8E%E6%9E%84%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E6%A6%82%E5%BF%B5%EF%BC%8C%E5%AE%83%E8%A1%A8%E7%A4%BA%E5%B7%B2%E8%A2%AB%E5%88%86%E7%89%87%EF%BC%88partition%EF%BC%89%EF%BC%8C%E4%B8%8D%E5%8F%AF%E5%8F%98%E7%9A%84%E5%B9%B6%E8%83%BD%E5%A4%9F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E6%94%AF%E6%8C%81SQL%E6%9F%A5%E8%AF%A2%E3%80%81%E5%AE%9E%E6%97%B6%E6%B5%81%E5%BC%8F%E8%AE%A1%E7%AE%97%E3%80%81%E5%9B%BE%E8%AE%A1%E7%AE%97%E5%92%8C%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AD%89%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%BB%BA%E5%A4%A7%E5%9E%8B%E7%9A%84%E3%80%81%E4%BD%8E%E5%BB%B6%E8%BF%9F%E7%9A%84%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%A2%AB%E5%B9%B6%E8%A1%8C%E6%93%8D%E4%BD%9C%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%E5%90%88%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%BF%9B%E8%A1%8C%E8%B0%83%E5%BA%A6%20Spark%E6%8C%89%E7%85%A7Application%E3%80%81Job%E3%80%81Stage%E5%92%8CTask%E5%87%A0%E4%B8%AA%E5%B1%82%E6%AC%A1%E5%88%86%E5%88%AB%20Application%E6%8F%90%E4%BA%A4%E5%90%8E%E7%BB%8F%E5%8E%86%E4%B8%80%E7%B3%BB%E5%88%97%E8%BD%AC%E6%8D%A2%E5%90%8E%EF%BC%8C%E6%9C%80%E7%BB%88%E6%88%90%E4%B8%BA%20%20Spark%20Task%E5%9C%A8WorkNode%E7%9A%84Executor%E4%B8%AD%E6%89%A7%E8%A1%8C%20%E6%9C%AC%E7%AB%A0%E6%9C%80%E5%90%8E%E6%BC%94%E7%A4%BA%E4%BA%86%E5%A6%82%E4%BD%95%E5%88%A9%E7%94%A8Scala%E7%BC%96%E5%86%99Spark%E7%A8%8B%E5%BA%8F%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E5%B0%8F%E7%BB%93%20%20%20%20%20%20%20%20%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%E2%80%A2%20%20%20%20%20%20%20%20%20%20%E2%80%A2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E8%B0%A2%E8%B0%A2