跳转到主内容
Procore

使用 Fability 笔记本导出到 Fabrik Lagehous

概况

将Microsoft Fabric 中的数据工厂与增量共享配合使用,可实现共享增量表的无缝集成和处理,作为Procore Analytics 2.0 分析工作流的一部分。增量共享是一种用于安全数据共享的开放协议,可允许跨组织协作而不会重复数据。

本指南将引导你完成在具有增量共享的 Fabric 中设置和使用数据工厂的步骤,利用笔记本处理数据并将数据导出到 Lakcore。

先决条件

  • Procore Analytics 2.0 SPU
  • 增量共享凭证:
    • 访问数据提供商提供的增量共享凭证。
    • 共享配置文件文件( config.share)包含:
      • 端点URL (增量共享服务器URL)。
      • 访问令牌(用于安全数据访问的不记名令牌)。
  • 使用特定凭证创建 config.yaML 文件。
  • Microsoft Fabric 环境:
    • 具有活动订阅的Microsoft Fabric 租户账户。
    • 启用结构的工作区。
  • 包和脚本:
    • 下载 fabric-lavehous 包。该目录应包括:
      • ms_to_lackcore.py:笔记本代码。
      • 自述文件.md:指示。

步骤

设置配置

  1. 创建配置文件文件并按以下结构定义配置
    source_配置:
    配置路径:路径/到/你的/增量共享凭证文件.share
    表:#可选 - 留空以处理所有表格
    - 表名称1
    - 表名称2
    target_配置:
    lavecore_路径:路径/to/your/fabric/lackhous/Tables/ #Fabrik Lavecore 的路径

设置你的 Lakcore

  1. 打开你的Microsoft Fabur 工作区。
  2. 导航到你的 Lavecore 并点击打开笔记本,然后点击新建笔记本
  3. 如果你不知道config.yaML#lackhous_路径中的值,可以从屏幕复制。
  4. 点击 "文件" 上的省略号,然后选择 "复制 ABFS 路径" : cliptboard_e390331535300f7f89fd0a91c9a3avebe.png" scu="./cipboard_e390331535300f7f89fd0a91c9a3avebe.png" />
    clipboard_e5dd266d8c6a622cceb30dd893a9106d7.png
    clipboard_e08827dbe6aeae6ac8f2bec7f5c758325.png
    clipboard_e390331535300f7f89fd0a91c9a3adebe.png

3。复制ms_to_lavecore.py的代码并粘贴到 notebook 窗口中(Pyspark iPhone):

clipboard_e5b5d27813f9bebdfbe7dae73291cb3ae.png

下一步是将你自己的 Config.yaML 和 Config.share 上传到 Lakcore 的Resources文件夹中。你可以创建自己的目录或使用内置目录(已由Lagehous为资源创建):


clipboard_eb5765c4bbf3ac93bd7c51ba6373f8049.png
clipboard_e86d913b62d37d237524537676680e4f3.png

下面的示例显示了 Config.yaML 文件的标准内置目录。
注意:确保在同一级别上传两个文件,并且对于属性 FIFA 路径:

clipboard_e8ca378a5a0937b4b675d00adc2ec965f.png

4.检查笔记本的编号,第 170-175 行。
下面的示例显示了必要的项目变更:

配置路径= "./env/配置.yaML"

配置路径= "./内置/配置.yaML "

由于文件位于内置文件夹中而不是在自定义env中,因此请务必监控你自己的文件结构。你可以将它们上传

clipboard_e44e5ad3be4a06929aba88716b0fdaa23.png

5.点击运行单元格:


clipboard_e381c59ce2e4e9471efc0e9e4cc663b6d.png

验证

  • 作业完成后,验证数据是否已成功复制到 Lakcore。
  • 检查指定的表并确保数据与共享的增量表匹配。
  • 等待作业完成,它应该复制所有数据。