scala程式的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列各種有用的問答集和懶人包

Spark機器學習（第2版）

為了解決scala程式的問題，作者（印）拉結帝普·杜瓦 這樣論述：

本書結合案例研究講解Spark 在機器學習中的應用，並介紹如何從各種公開管道獲取用於機器學習系統的資料。內容涵蓋推薦系統、回歸、聚類、降維等經典機器學習演算法及其實際應用。第2版新增了有關機器學習數學基礎以及Spark ML Pipeline API 的章節，內容更加系統、全面、與時俱進。 拉結帝普·杜瓦（Rajdeep Dua） Salesforce公司工程主管，致力於打造雲計算和人工智慧團隊。曾參與Google的大資料分析工具BigQuery的宣傳團隊。在雲計算、大資料分析和機器學習領域有近20年的經驗。 第1章 Spark的環境搭建與運行 1 1

.1　Spark的本地安裝與配置　2 1.2　Spark集群　3 1.3　Spark程式設計模型　4 1.3.1　SparkContext類與SparkConf類　4 1.3.2　SparkSession　5 1.3.3　Spark shell　6 1.3.4　彈性分散式資料集　8 1.3.5　廣播變數和累加器　12 1.4　SchemaRDD　13 1.5　Spark data frame　13 1.6　Spark Scala程式設計入門　14 1.7　Spark Java程式設計入門　17 1.8　Spark Python程式設計入門　19 1.9　Spark R程式設計入門　21 1.1

0　在Amazon EC2上運行Spark　23 1.11　在Amazon Elastic Map Reduce上配置並運行Spark　28 1.12　Spark使用者介面　31 1.13　Spark所支援的機器學習演算法　32 1.14　Spark ML的優勢　36 1.15　在Google Compute Engine上用Dataproc構建Spark集群　38 1.15.1　Hadoop和Spark版本　38 1.15.2　創建集群　38 1.15.3　提交任務　41 1.16　小結　43 第2章 機器學習的數學基礎　44 2.1　線性代數　45 2.1.1　配置IntelliJ Sc

ala環境　45 2.1.2　配置命令列Scala環境　47 2.1.3　域　48 2.1.4　矩陣　54 2.1.5　函數　64 2.2　梯度下降　68 2.3　先驗概率、似然和後驗概率　69 2.4　微積分　69 2.4.1　可微微分　69 2.4.2　積分　70 2.4.3　拉格朗日乘子　70 2.5　視覺化　71 2.6　小結　72 第3章　機器學習系統設計　73 3.1　機器學習是什麼　73 3.2　MovieStream介紹　74 3.3　機器學習系統商業用例　75 3.3.1　個性化　75 3.3.2　目標行銷和客戶細分　76 3.3.3　預測建模與分析　76 3.4　機器學習

模型的種類　76 3.5　資料驅動的機器學習系統的組成　77 3.5.1　資料獲取與存儲　77 3.5.2　資料清理與轉換　78 3.5.3　模型訓練與測試迴圈　79 3.5.4　模型部署與整合　79 3.5.5　模型監控與回饋　80 3.5.6　批次處理或即時方案的選擇　80 3.5.7　Spark資料管道　81 3.6　機器學習系統架構　82 3.7　Spark MLlib　83 3.8　Spark ML的性能提升　83 3.9　MLlib支援演算法的比較　85 3.9.1　分類　85 3.9.2　聚類　85 3.9.3　回歸　85 3.10　MLlib支援的函數和開發者API　86 3.

11　MLlib願景　87 3.12　MLlib版本的變遷　87 3.13　小結　88 第4章　Spark上資料的獲取、處理與準備　89 4.1　獲取公開資料集　90 4.2　探索與視覺化資料　92 4.2.1　探索使用者資料　94 4.2.2　探索電影資料　102 4.2.3　探索評級資料　104 4.3　資料的處理與轉換　109 4.4　從資料中提取有用特徵　112 4.4.1　數值特徵　112 4.4.2　類別特徵　113 4.4.3　派生特徵　114 4.4.4　文本特徵　116 4.4.5　正則化特徵　121 4.4.6　用套裝軟體提取特徵　123 4.5　小結　126 第5章　

Spark 構建推薦引擎　127 5.1　推薦模型的分類　128 5.1.1　基於內容的過濾　128 5.1.2　協同過濾　128 5.1.3　矩陣分解　130 5.2　提取有效特徵　139 5.3　訓練推薦模型　140 5.3.1　使用MovieLens 100k資料集訓練模型　141 5.3.2　使用隱式回饋資料訓練模型　143 5.4　使用推薦模型　143 5.4.1　ALS模型推薦　144 5.4.2　用戶推薦　145 5.4.3　物品推薦　148 5.5　推薦模型效果的評估　152 5.5.1　ALS模型評估　152 5.5.2　均方差　154 5.5.3　K值平均準確率　156 5

.5.4　使用MLlib內置的評估函數　159 5.6　FP-Growth演算法　161 5.6.1　FP-Growth的基本例子　161 5.6.2　FP-Growth在MovieLens資料集上的實踐　163 5.7　小結　164 第6章　Spark構建分類模型　165 6.1　分類模型的種類　167 6.1.1　線性模型　167 6.1.2　樸素貝葉斯模型　177 6.1.3　決策樹　180 6.1.4　樹集成模型　183 6.2　從資料中抽取合適的特徵　188 6.3　訓練分類模型　189 6.4　使用分類模型　190 6.4.1　在Kaggle/StumbleUpon evergr

een資料集上進行預測　191 6.4.2　評估分類模型的性能　191 6.4.3　預測的正確率和錯誤率　191 6.4.4　準確率和召回率　193 6.4.5　ROC曲線和AUC　194 6.5　改進模型性能以及參數調優　196 6.5.1　特徵標準化　197 6.5.2　其他特徵　199 6.5.3　使用正確的資料格式　202 6.5.4　模型參數調優　203 6.6　小結　211 第7章　Spark構建回歸模型　212 7.1　回歸模型的種類　212 7.1.1　最小二乘回歸　213 7.1.2　決策樹回歸　214 7.2　評估回歸模型的性能　215 7.2.1　均方誤差和均方根誤差　

215 7.2.2　平均絕對誤差　215 7.2.3　均方根對數誤差　216 7.2.4　R-平方係數　216 7.3　從資料中抽取合適的特徵　216 7.4　回歸模型的訓練和應用　220 7.4.1　BikeSharingExecutor　220 7.4.2　在bike sharing資料集上訓練回歸模型　221 7.4.3　決策樹集成　229 7.5　改進模型性能和參數調優　235 7.5.1　變換目標變數　235 7.5.2　模型參數調優　242 7.6　小結　256 第8章　Spark構建聚類模型　257 8.1　聚類模型的類型　258 8.1.1　K-均值聚類　258 8.1.2　

混合模型　262 8.1.3　層次聚類　262 8.2　從資料中提取正確的特徵　262 8.3　K-均值訓練聚類模型　265 8.3.1　訓練K-均值聚類模型　266 8.3.2　用聚類模型來預測　267 8.3.3　解讀預測結果　267 8.4　評估聚類模型的性能　271 8.4.1　內部評估指標　271 8.4.2　外部評估指標　272 8.4.3　在MovieLens資料集上計算性能指標　272 8.4.4　反覆運算次數對WSSSE的影響　272 8.5　二分K-均值　275 8.5.1　二分K-均值——訓練一個聚類模型　276 8.5.2　WSSSE和反覆運算次數　280 8.6　高斯

混合模型　283 8.6.1　GMM聚類分析　283 8.6.2　視覺化GMM類簇分佈　285 8.6.3　反覆運算次數對類簇邊界的影響　286 8.7　小結　287 第9章　Spark應用於資料降維　288 9.1　降維方法的種類　289 9.1.1　主成分分析　289 9.1.2　奇異值分解　289 9.1.3　和矩陣分解的關係　290 9.1.4　聚類作為降維的方法　290 9.2　從資料中抽取合適的特徵　291 9.3　訓練降維模型　299 9.4　使用降維模型　302 9.4.1　在LFW資料集上使用PCA投影資料　302 9.4.2　PCA和SVD模型的關係　303 9.5　評價

降維模型　304 9.6　小結　307 第10章 Spark高級文本處理技術　308 10.1　文本資料處理的特別之處　308 10.2　從資料中抽取合適的特徵　309 10.2.1　詞加權表示　309 10.2.2　特徵散列　310 10.2.3　從20 Newsgroups資料集中提取TF-IDF特徵　311 10.3　使用TF-IDF 模型　324 10.3.1　20 Newsgroups資料集的文本相似度和TF-IDF特徵　324 10.3.2　基於20 Newsgroups資料集使用TF-IDF訓練文本分類器　326 10.4　評估文本處理技術的作用　328 10.5　Spark

2.0上的文本分類　329 10.6　Word2Vec模型　331 10.6.1　借助Spark MLlib訓練Word2Vec模型　331 10.6.2　借助Spark ML訓練Word2Vec模型　332 10.7　小結　334 第11章 Spark Streaming即時機器學習　335 11.1　線上學習　335 11.2　流處理　336 11.2.1　Spark Streaming介紹　337 11.2.2　Spark Streaming緩存和容錯機制　339 11.3　創建Spark Streaming應用　340 11.3.1　消息生成器　341 11.3.2　創建簡單的流處理

常式　343 11.3.3　流式分析　346 11.3.4　有狀態的流計算　348 11.4　使用Spark Streaming進行線上學習　349 11.4.1　流回歸　350 11.4.2　一個簡單的流回歸程式　350 11.4.3　流式K-均值　354 11.5　線上模型評估　355 11.6　結構化流　358 11.7　小結　359 第12章 Spark ML Pipeline API　360 12.1　Pipeline簡介　360 12.1.1　DataFrame　360 12.1.2　Pipeline組件　360 12.1.3　轉換器　361 12.1.4　評估器　361 12.

2　Pipeline工作原理　363 12.3　Pipeline機器學習示例　367 12.4　小結　375

scala程式進入發燒排行的影片

Spark架構上之分散式循序樣式探勘演算法研究

為了解決scala程式的問題，作者胡哲嘉 這樣論述：

循序樣式探勘在資料探勘的領域已發展多年，目的在於挖掘原始資料之間的先後順序中是否具有循序性。近年來資料量的增長速度越來越快，而分散式運算可以花費較少的成本完成龐大工作量的特性，使得其重要性與日俱增。MapReduce的提出進一步的簡化了分散式運算的工作，Hadoop叢集便是運用MapReduce架構對於大規模資料集進行運算，亦是現在運用最為廣泛的架構。本實驗室以前便曾以大規模資料集作為運算對象，並以Hadoop作為運算架構進行循序樣式探勘研究。現今電腦記憶體的價格比起過去更加便宜。有鑑於此，本文改良從前使用的架構，以更高效的平台運算循序樣式探勘。此外Hadoop執行分散式運算時仰賴硬碟I/O

的架構，速度已逐漸無法應付頻繁更新的資料庫，因此許多相關改進方法被提出，Spark便是其中之一。Spark是與MapReduce相似的分散式運算架構，與Hadoop不同的是，Spark使用記憶體內計算的方式，省去了大量的I/O工作，官方宣稱速度至少能夠達到Hadoop的10倍。本文的另一個目的是利用Spark運算架構特性，實作循序樣式探勘演算法，並於Hadoop叢集上實作驗證其效能。本文所提出的Spark架構上之分散式循序樣式探勘演算法研究，會使用scala程式語言，重新編寫過去幾種循序樣式探勘演算法，接著使用Spark叢集來比對效能。為了驗證演算法在Spark系統上的運作效能，本文亦實際架構

一組Spark叢集作為實驗，並使用IBM所提供的資料產生器（IBM Quest Synthetic Data Generator）作為實驗用的人工大規模資料集。實驗結果顯示，使用Spark叢集的循序樣式探勘會比過去我們使用的MapReduce探勘具有更好的效能。

Scala程式設計(附範例光碟)

為了解決scala程式的問題，作者侯雍聰 這樣論述：

　　本書由淺入深地介紹Scala的基本入門知識，系統性且詳盡地介紹了Scala程式設計的觀念。每一項功能除了觀念的講解，也都提供了相對應的範例，這些範例皆為可實際運作的獨立程式碼，讓讀者可以藉由程式碼的內容，深入了解各項Scala的功能。 　　本書涵蓋了Scala物件導向程式設計與函數式編程的概念。透過本書，讀者可以學習到大數據資料處理中所需要的函數式概念，改變程式設計的觀念，並建立新的思考模式，以邁向未來康莊的程式設計之大道。 本書特色 　　1.市場上第一本中文Scala書籍。 　　2.介紹Scala與Big Data的關聯，幫助讀者輕鬆學習大數據的函數式概念。 　　3.提供各個範例的

獨立程式碼，深入了解Scala的各種功能。   第零章 Scala與大數據簡介 0.1 Scala簡介 0.2 大數據與Scala 0.3 Scala的優點 第一章 進入Scala 的世界 1.1 安裝Scala 1.2 開始玩轉Scala 1.3 宣告Scala變數 1.4 使用Scala腳本 1.5 if條件判斷與while迴圈簡介 1.6 Scala函數簡介 1.7 使用Scala的內建函數 1.8 函數式編程(Functional Programming)初探 第二章 初探Scala類別與物件 2.1 在JVM上執行Scala程序 2.2 程式碼區塊 2.3 定義類別與物件

2.4 類別的成員函數 2.5 類別成員的存取限制 2.6 Getter和Setter成員函數 2.7 建構子與類別參數 2.8 輔助建構子 第三章 再探類別與物件 3.1 ScalaDoc 3.2 Singleton物件 3.3 伴隨物件Companion Object 3.4 類別繼承 3.5 多型 3.6 Pattern Matching (一) 3.7 枚舉類型Enumeration 3.8 案例類別Case Class 3.9 Pattern Matching (二)－使用案例類別 3.10 Enumeration的另一種做法－使用Case Object 3.11 Algebrai

c Data Type 第四章 trait及Scala Collection物件 4.1 字串插值 4.2 trait 4.3 利用trait擴充接口 4.4 把trait當作標籤 4.5 使用trait建構系統 4.6 型別參數化 第五章 Scala 的流程控制 5.1 if流程控制 5.2 Scala while迴圈 5.3 for迴圈（一）：簡介 5.4 for迴圈（二）：巢狀迴圈、過濾 5.5 for迴圈（三）： for Comprehension、產生新集合 5.6 for迴圈（四）Scala for解密：編譯器的翻譯 5.7 Tuple值組的使用 5.8 Switch 5.9

Pattern Matching (三) --- 使用Tuple 5.10 Sudoku數獨問題 第六章 Scala 函數式編程（一） 6.1 什麼是函數式編程？ 6.2 函數式編程的優缺點 6.3 把函數當作參數 6.4 匿名函數（一） 6.5 Closure 6.6 函數Currying 第七章 Scala函數式編程（二） 7.1 匿名函數 （二） 7.2 部分函數 7.3 Laziness Evaluation 7.4 Scala類別體系 7.6 遞迴（二）範例 7.7 設計函數式List類別 第八章 Scala內建容器類別 8.1 Variance 8.2 Scala Colle

ction框架 8.3 Scala Collection類別架構 8.4 List的使用 第九章 Scala例外處理與測試 9.1 Scala異常處理 9.2 Scala例外處理 9.3 Scala Option型別 9.4 Scala Option型別 9.5 Scala Try型別 9.6 Scala的Assertion 第十章 Scala IO 10.1 使用正規表示式 10.2 在Scala中使用java.util.regex 10.3 Scala Regex類別 10.4 讀取文字檔案 10.5 字串的剖析 10.6 讀取二進位檔案 10.7 其他管道的IO 10.8 檔案的瀏覽

第十一章 Scala進階功能 11.1 Scala 隱式參數與隱式轉換 11.2 Stream類別 11.3 提取器 11.4 Type Bound 11.5 向Alonzo Church致敬 附錄A Scala Underscore _（底線）用法列表 附錄B Pattern Matching 總整理 附錄C Scala空之境界 附錄D Scala語法範例速查  

以Cassandra支援生產流程查詢

為了解決scala程式的問題，作者簡黃基 這樣論述：

在晶圓生產過程中，收集製造流程資訊，即時得到相關資訊進行分析，可以提高生產效率。本論文討論如何以具有NoSQL資料庫特性的Cassandra與能夠平行運算的Spark，搭配Scala程式語言，實作出具有生產查詢功能的系統。我們提出兩種定義資料庫綱要的方式。第一種方法為基本方法，將所有晶圓在各機台加工資訊存放到同一個表格中。第二種進階化方法，利用Cassandra的Partition key分區特性，設計兩個表格，讓查詢功能依Partition key進行過濾，藉此提高效率。本論文實作這兩種做法，透過多種的實驗和不同數量的資料集，比較其查詢效率。實驗結果顯示，對於特定資料查詢時，兩種作法表現都

很穩定，但由於進階作法表格較為複雜，需要進行兩次過濾才能得到所需資料，所以反而多花費一些時間。但是在大範圍查詢時，進階作法不僅較為穩定，效率也比基本作法還好上數十倍甚至上百倍，所以整體而言進階作法執行效率比基本作法來得好。