.NET for Apache Spark 1.0?現已發布，這是一個用于 Spark 大數據的 .NET 框架，可以讓 .NET 開發者輕松地使用 Apache Spark。

該軟件包由微軟和 .NET Foundation 牽頭，經過大約兩年的開發。在 2019 年的 Spark + AI 峰會上，微軟曾宣布推出 .NET for Apache Spark，并發布了首個預覽版本 v0.1.0。

1.0 版本包括以下內容：

• 支持面向 .NET Standard 2.0 的 .NET 應用程序（建議使用 .NET Core 3.1 或更高版本）。

• 支持 Apache Spark 2.4/3.0 DataFrame API，包括編寫 Spark SQL 的功能。例如：

var spark = SparkSession.Builder().GetOrCreate(); var tweets = spark.Read().Schema("date STRING, time STRING, author STRING, tweet STRING").Format("csv").Load(inputfile); tweets = tweets.GroupBy(Lower(Col("author")).As("author")).Agg(Count("tweet").As("tweetcount")).OrderBy(Desc("tweetcount")); tweets.Write().SaveAsTable("tweetcount"); spark.Sql(@"SELECT * FROM tweetcount").show();

• 能夠使用 .NET 用戶自定義函數（UDF）編 寫Apache Spark 應用程序。例如：

// Define and register UDF var concat = Udf<int?, string, string>((age, name)=>name+age);// Use UDF df.Filter(df["age"] > 21).Select(concat(df["age"], df["name"]).Show();

• 提供 API 擴展框架以添加對其他 Spark 庫的支持。當前包括對 Linux foundation Delta Lake、Microsoft OSS Hyperspace、ML.NET、以及對 Apache Spark’s MLLib functionality 的支持。

• 在 Spark 運行時和 .NET UDFs 之間移動數據的性能工作和改進 pickling interop 以及對 Apache Arrow 的支持。

• 競爭優勢：沒有使用 UDF 的 .NET for Apache Spark 程序與基于 Scala 和 PySpark 的非 UDF Spark 應用程序顯示出相同的速度。如果應用程序包含UDF，.NET for Apache Spark 程序的速度至少和 PySpark 程序一樣快，一般來說更快。?

下載地址：https://www.nuget.org/packages/Microsoft.Spark

總結

以上是生活随笔為你收集整理的.NET for Apache Spark 1.0 版本发布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。