概述

(相關(guān)資料圖)

PDI客戶端(Spoon)的Pentaho數(shù)據(jù)集成視角使您能夠創(chuàng)建兩種基本的文件類型：

轉(zhuǎn)換用于執(zhí)行ETL任務(wù)。作業(yè)用于編排ETL活動，例如定義應(yīng)該運(yùn)行哪些順序轉(zhuǎn)換的流和依賴關(guān)系，或者通過檢查條件來為執(zhí)行做準(zhǔn)備。

PDI使用工作流比喻作為轉(zhuǎn)換數(shù)據(jù)和其他任務(wù)的構(gòu)建塊。工作流是在您創(chuàng)建轉(zhuǎn)換和作業(yè)時使用步驟或條目構(gòu)建的。每一個步驟或條目都由一個躍點連接起來，它將數(shù)據(jù)流從一項傳遞到下一項。

轉(zhuǎn)換

轉(zhuǎn)換是一個稱為步驟的邏輯任務(wù)網(wǎng)絡(luò)。轉(zhuǎn)換本質(zhì)上是數(shù)據(jù)流。在下面的示例中，數(shù)據(jù)庫開發(fā)人員創(chuàng)建了一個轉(zhuǎn)換，該轉(zhuǎn)換讀取平面文件、篩選、排序并將其加載到關(guān)系數(shù)據(jù)庫表中。假設(shè)數(shù)據(jù)庫開發(fā)人員檢測到一個錯誤條件，并沒有將數(shù)據(jù)發(fā)送到一個虛擬步驟(它什么也不做)，而是將數(shù)據(jù)記錄回一個表。本質(zhì)上，轉(zhuǎn)換是一組邏輯數(shù)據(jù)轉(zhuǎn)換配置的有向圖。轉(zhuǎn)換文件名的擴(kuò)展名是.ktr。

轉(zhuǎn)換圖

與轉(zhuǎn)換相關(guān)的兩個主要組件是步驟和躍點：

步驟是轉(zhuǎn)換的構(gòu)建塊，例如文本文件輸入或表輸出。Pentaho數(shù)據(jù)集成的步驟很多，按照功能進(jìn)行分組；例如，輸入、輸出、腳本等等。轉(zhuǎn)換中的每個步驟都被設(shè)計為執(zhí)行特定的任務(wù)，例如從平面文件讀取數(shù)據(jù)、過濾行和記錄到數(shù)據(jù)庫，如上面的示例所示。您可以通過將步驟從Design選項卡拖放到畫布上或雙擊該步驟來添加該步驟。可以配置步驟來執(zhí)行所需的任務(wù)。 躍點是連接步驟并允許元數(shù)據(jù)從一個步驟傳遞到另一個步驟的數(shù)據(jù)通道。在上面的圖像中，似乎有一個連續(xù)的執(zhí)行發(fā)生。然而，事實并非如此。躍點決定了數(shù)據(jù)流通過的步驟，而不一定是它們運(yùn)行的順序。當(dāng)您運(yùn)行轉(zhuǎn)換時，每個步驟在自己的線程中啟動并推送和傳遞數(shù)據(jù)。

注意：轉(zhuǎn)換中的所有步驟都是并行啟動和運(yùn)行的，因此初始化順序是不可預(yù)測的。例如，這就是為什么您不能在第一步設(shè)置變量并嘗試在后續(xù)步驟中使用該變量的原因。

您可以將步驟連接在一起，編輯步驟，并通過單擊編輯步驟打開步驟上下文菜單。

步驟

一個步驟可以有許多連接。有些步驟將其他步驟連接在一起，而有些則作為另一個步驟的輸入或輸出。數(shù)據(jù)流通過步驟流到轉(zhuǎn)換中的各個步驟。躍點用勺子表示為箭頭。跳點允許數(shù)據(jù)從一個步驟傳遞到另一個步驟，也決定了數(shù)據(jù)通過這些步驟的方向和流程。如果一個步驟向多個步驟發(fā)送輸出，則數(shù)據(jù)可以復(fù)制到每個步驟，也可以在它們之間分布。

作業(yè)

作業(yè)是類似工作流的模型，用于協(xié)調(diào)資源、執(zhí)行和ETL活動的依賴關(guān)系。

作業(yè)將各個功能塊聚合在一起，以實現(xiàn)整個流程。在作業(yè)中執(zhí)行的常見任務(wù)包括獲取FTP文件、檢查條件(如是否存在必要的目標(biāo)數(shù)據(jù)庫表)、運(yùn)行填充該表的轉(zhuǎn)換以及在轉(zhuǎn)換失敗時通過電子郵件發(fā)送錯誤日志。例如，最后的作業(yè)結(jié)果可能是每晚的倉庫更新。

作業(yè)條目是如上例所示的單獨配置的部分，它們是工作的主要組成部分。在數(shù)據(jù)轉(zhuǎn)換中，這些單獨的部分稱為步驟。作業(yè)條目可以為您提供廣泛的功能，從執(zhí)行轉(zhuǎn)換到從Web服務(wù)器獲取文件。一個作業(yè)條目可以多次放置在畫布上;例如，您可以使用不同的配置將單個作業(yè)條目(如轉(zhuǎn)換運(yùn)行)多次放置在畫布上。作業(yè)設(shè)置是控制作業(yè)行為的選項和記錄作業(yè)操作的方法。作業(yè)文件名的擴(kuò)展名為.kjb。

作業(yè)躍點指定執(zhí)行順序和執(zhí)行下一個作業(yè)條目的條件。您可以通過右鍵單擊作業(yè)躍點來指定評估模式。作業(yè)躍點只是一種控制流程。跳轉(zhuǎn)到作業(yè)條目的鏈接，并基于上一個作業(yè)條目的結(jié)果，確定接下來發(fā)生的事情。

注意：躍點在作業(yè)中使用時與在轉(zhuǎn)換中使用時的行為不同。

下面指定了作業(yè)躍點條件：

Unconditional：指定將執(zhí)行下一個作業(yè)項，而與原始作業(yè)項的結(jié)果無關(guān)。

Follow when result is true：指定只有在原始作業(yè)輸入的結(jié)果為true時才執(zhí)行下一個作業(yè)輸入。這意味著成功執(zhí)行，如找到文件、找到表、沒有錯誤，等等。

Follow when result is false：指定僅當(dāng)原始作業(yè)項的結(jié)果為false時才執(zhí)行下一個作業(yè)項，即執(zhí)行失敗、文件未找到、表未找到、出現(xiàn)錯誤等等。

躍點

躍點將一個轉(zhuǎn)換步驟或作業(yè)條目與另一個連接起來。數(shù)據(jù)流的方向由箭頭表示。要創(chuàng)建躍點，單擊源步驟，然后按SHIFT鍵并在目標(biāo)步驟上畫一條線。或者，您可以通過將鼠標(biāo)懸停在一個步驟上，直到鼠標(biāo)懸停菜單出現(xiàn)來繪制跳躍。從源步驟拖動躍點畫師圖標(biāo)到目標(biāo)步驟。

繪制躍點

創(chuàng)建躍點的其他方法包括：

單擊源步驟按住鼠標(biāo)中鍵,拖動跳轉(zhuǎn)到目標(biāo)的步驟。使用CTRL和左鍵單擊選擇兩個步驟，右鍵單擊步驟并選擇New Hop。

要分割一個躍點，需要在兩個躍點之間插入一個新步驟，方法是在一個躍點上拖動該步驟。確認(rèn)您要分割躍點。此特性僅適用于尚未連接到另一個步驟的步驟。

在轉(zhuǎn)換中不允許使用循環(huán)，因為Spoon在很大程度上依賴于前面的步驟來確定從一個步驟傳遞到另一個步驟的字段值。在轉(zhuǎn)換中允許循環(huán)可能會導(dǎo)致無盡的循環(huán)和其他問題。作業(yè)中允許使用循環(huán)，因為Spoon是按順序執(zhí)行作業(yè)條條目。但是，請確保您不會創(chuàng)建無盡的循環(huán)。

在轉(zhuǎn)換中不允許混合具有不同布局的行。例如，如果您有兩個使用不同數(shù)量字段的表輸入步驟。混合行布局會導(dǎo)致步驟失敗，因為無法在預(yù)期的位置找到字段或意外數(shù)據(jù)類型變化。如果一個步驟正在接收混合布局，陷阱探測器將在設(shè)計時顯示警告。

您可以指定是否可以復(fù)制、分發(fā)數(shù)據(jù)，或者在離開一個步驟的多個躍點之間進(jìn)行負(fù)載平衡。選擇步驟，右鍵單擊并選擇數(shù)據(jù)移動。

分割躍點

可以啟用或禁用躍點(例如為了測試目的)。右鍵單擊跳轉(zhuǎn)以顯示選項菜單。

PDI客戶端選項

PDI客戶端允許您自定義其行為的某些方面。要訪問選項，請選擇Tools>Options。下面介紹了處理轉(zhuǎn)換和作業(yè)的常規(guī)選項卡：

Preview data batch size：設(shè)置預(yù)覽數(shù)據(jù)緩沖區(qū)的批處理大小。在預(yù)覽數(shù)據(jù)時，此選項設(shè)置用于這些值的緩沖區(qū)大小。

Max number of lines in the logging windows：指定日志窗口中顯示的最大行限制。

Central log line store timeout in minutes：設(shè)置中央日志行存儲超時之前的分鐘數(shù)

Max number of lines in the log history：設(shè)置在日志歷史記錄視圖中顯示限制的最大行數(shù)。

Show welcome page at startup：控制在啟動PDI客戶端時是否顯示歡迎頁。

Use database cache：PDI客戶端緩存存儲在源和目標(biāo)數(shù)據(jù)庫上的信息。在某些情況下，當(dāng)您更改數(shù)據(jù)庫時，緩存會導(dǎo)致不正確的結(jié)果。為了防止錯誤，您可以完全禁用緩存，而不是每次都清除緩存。

Open last file at startup：自動從XML或存儲庫加載您使用(打開或保存)的最后一個轉(zhuǎn)換。

Autosave changed files：在運(yùn)行前自動保存已更改的轉(zhuǎn)換。

Only show the active file in the main tree：通過只顯示當(dāng)前活動的文件，減少左側(cè)主樹中的轉(zhuǎn)換和作業(yè)項的數(shù)量。

Only save used connections to XML：將轉(zhuǎn)換的XML導(dǎo)出限制為該轉(zhuǎn)換中使用的連接。這在交換示例轉(zhuǎn)換時很有幫助，以避免包含所有已定義的連接。

Replace existing objects on open/import：在導(dǎo)入期間替換對象，例如現(xiàn)有數(shù)據(jù)庫連接。如果還檢查了替換對象之前的詢問，則會在導(dǎo)入發(fā)生之前提示您。在替換對象之前請求權(quán)限(如導(dǎo)入期間的現(xiàn)有數(shù)據(jù)庫連接)。

Ask before replacing objects：在替換對象之前請求權(quán)限(如導(dǎo)入期間的現(xiàn)有數(shù)據(jù)庫連接)。

Show Save dialog：當(dāng)轉(zhuǎn)換被更改時，允許您關(guān)閉收到的確認(rèn)對話框。

Automatically split hops：禁用在分割躍點時啟動的確認(rèn)消息。

Show Copy or Distribute dialog：禁用將步驟鏈接到多個輸出時出現(xiàn)的警告消息。此警告消息描述了處理多個輸出的兩個選項：

Distribute rows：目標(biāo)步驟依次接收行(循環(huán)調(diào)度)。Copy rows：所有行被發(fā)送到所有目的地。

Show repository dialog at startup：控制在啟動時是否顯示Repository對話框。

Ask user when exiting：控制當(dāng)用戶選擇退出應(yīng)用程序時是否顯示確認(rèn)對話框。

Clear custom parameters (steps/plugins)：清除在插件或步驟對話框中設(shè)置的所有參數(shù)和標(biāo)志。

Auto collapse palette tree：設(shè)置面板樹是否應(yīng)該自動折疊。

Display tooltips：控制是否顯示主工具欄上按鈕的工具提示。

Show help tooltips：顯示幫助工具提示。工具提示是當(dāng)您將鼠標(biāo)指針懸停在PDI客戶機(jī)中的一個對象上時出現(xiàn)的簡短描述。

創(chuàng)建轉(zhuǎn)換

在Data Integration視圖中，您可以創(chuàng)建轉(zhuǎn)換、使用轉(zhuǎn)換并檢查轉(zhuǎn)換中的數(shù)據(jù)。

創(chuàng)建轉(zhuǎn)換

按照以下說明創(chuàng)建您的轉(zhuǎn)換：

執(zhí)行下列操作之一：點擊File>New>Transformation；單擊工具欄中的New file 圖標(biāo)并選擇Transformation；按住CTRL+N鍵。轉(zhuǎn)到Design選項卡。展開文件夾或使用步驟字段搜索特定的步驟。拖動或雙擊一個步驟將其放置在PDI客戶端畫布上。雙擊PDI客戶端畫布中的步驟以打開其properties窗口。要獲得關(guān)于填寫窗口的幫助，請單擊每個步驟中可用的help按鈕。要添加另一個步驟，可以拖動或雙擊Design選項卡中的步驟，將其放置在PDI客戶機(jī)畫布上。如果您將步驟拖到畫布上，您可以通過按SHIFT鍵并從一個步驟繪制到另一個步驟的跳轉(zhuǎn)來添加一個躍點；如果雙擊該步驟，則該步驟將在畫布上顯示，并帶有一個已經(jīng)連接到上一步的躍點。

在您創(chuàng)建轉(zhuǎn)換之后，您必須先保存轉(zhuǎn)換，然后才能運(yùn)行它。

使用轉(zhuǎn)換

您可以保存、打開和運(yùn)行轉(zhuǎn)換。

檢查數(shù)據(jù)

您還可以獲得對數(shù)據(jù)的有價值的見解。

創(chuàng)建作業(yè)

在Data Integration視圖中，您可以創(chuàng)建和使用作業(yè)。

創(chuàng)建作業(yè)

按照以下說明創(chuàng)建您的作業(yè)：

執(zhí)行下列操作之一：點擊File>New>Job；單擊工具欄中的New file 圖標(biāo)并選擇Job；按住CTRL+ALT+N鍵。轉(zhuǎn)到Design選項卡。展開文件夾或使用條目字段搜索特定的條目。拖動或雙擊一個條目，將其放置在PDI客戶端畫布上。雙擊該條目以打開其properties窗口。要獲得關(guān)于填寫窗口的幫助，請單擊每個條目中可用的Help按鈕。要添加另一個條目，可以拖動或雙擊該條目，將其放置在PDI客戶機(jī)畫布上。如果您將條目拖動到畫布上，您可以通過按SHIFT鍵并從一個條目繪制一個跳轉(zhuǎn)到另一個條目來添加一個躍點；如果您雙擊它，該條目就會出現(xiàn)在畫布上，并帶有一個已經(jīng)連接到前一個條目的躍點。

完成后，保存作業(yè)。

使用作業(yè)

您可以保存、打開和運(yùn)行作業(yè)。

向轉(zhuǎn)換和作業(yè)添加注釋

向轉(zhuǎn)換和作業(yè)添加和管理注釋。

適配應(yīng)執(zhí)行層

Pentaho使用適配執(zhí)行層(AEL)來運(yùn)行不同引擎的轉(zhuǎn)換。AEL將從您在PDI中開發(fā)的轉(zhuǎn)換步驟調(diào)整為您環(huán)境選擇引擎中的本地操作符，例如Hadoop集群中的AEL- spark。AEL-Spark引擎更適合在Hadoop集群中運(yùn)行大數(shù)據(jù)轉(zhuǎn)換。

當(dāng)您選擇AEL-Spark引擎來運(yùn)行轉(zhuǎn)換時，AEL將轉(zhuǎn)換中的步驟匹配到Spark引擎中的本地操作符。例如，如果您的轉(zhuǎn)換包含一個Hadoop文件輸入步驟，那么AEL將使用一個等效的Spark操作符。AEL為Spark構(gòu)建了一個轉(zhuǎn)換定義，它將執(zhí)行直接轉(zhuǎn)移到集群，利用Spark在多個節(jié)點上協(xié)調(diào)大量數(shù)據(jù)的能力。

AEL在使用的Spark引擎前必須配置。配置之后，您可以通過運(yùn)行配置選擇Spark引擎。

虛擬文件系統(tǒng)

您可以使用虛擬文件系統(tǒng)(VFS)連接來代替?zhèn)鹘y(tǒng)的本地文件系統(tǒng)窗口，通過一些轉(zhuǎn)換步驟和作業(yè)條目來訪問文件。

日志記錄和性能監(jiān)視

配置日志記錄以監(jiān)視轉(zhuǎn)換或作業(yè)性能。