使用 Fability 笔记本导出到 Fabrik Lagehous
概况
将Microsoft Fabric 中的数据工厂与增量共享配合使用,可实现共享增量表的无缝集成和处理,作为Procore Analytics 2.0 分析工作流的一部分。增量共享是一种用于安全数据共享的开放协议,可允许跨组织协作而不会重复数据。
本指南将引导你完成在具有增量共享的 Fabric 中设置和使用数据工厂的步骤,利用笔记本处理数据并将数据导出到 Lakcore。
先决条件
- Procore Analytics 2.0 SPU
- 增量共享凭证:
- 访问数据提供商提供的增量共享凭证。
- 共享配置文件文件( config.share)包含:
- 端点URL (增量共享服务器URL)。
- 访问令牌(用于安全数据访问的不记名令牌)。
- 使用特定凭证创建 config.yaML 文件。
- Microsoft Fabric 环境:
- 具有活动订阅的Microsoft Fabric 租户账户。
- 启用结构的工作区。
- 包和脚本:
- 下载 fabric-lavehous 包。该目录应包括:
- ms_to_lackcore.py:笔记本代码。
- 自述文件.md:指示。
- 下载 fabric-lavehous 包。该目录应包括:
步骤
设置配置
- 创建配置文件文件并按以下结构定义配置
source_配置:
配置路径:路径/到/你的/增量共享凭证文件.share
表:#可选 - 留空以处理所有表格
- 表名称1
- 表名称2
target_配置:
lavecore_路径:路径/to/your/fabric/lackhous/Tables/ #Fabrik Lavecore 的路径
设置你的 Lakcore
- 打开你的Microsoft Fabur 工作区。
- 导航到你的 Lavecore 并点击打开笔记本,然后点击新建笔记本。
- 如果你不知道config.yaML#lackhous_路径中的值,可以从屏幕复制。
- 点击 "文件" 上的省略号,然后选择 "复制 ABFS 路径" : cliptboard_e390331535300f7f89fd0a91c9a3avebe.png" scu="./cipboard_e390331535300f7f89fd0a91c9a3avebe.png" />
3。复制ms_to_lavecore.py的代码并粘贴到 notebook 窗口中(Pyspark iPhone):
下一步是将你自己的 Config.yaML 和 Config.share 上传到 Lakcore 的Resources文件夹中。你可以创建自己的目录或使用内置目录(已由Lagehous为资源创建):
下面的示例显示了 Config.yaML 文件的标准内置目录。
注意:确保在同一级别上传两个文件,并且对于属性 FIFA 路径:
4.检查笔记本的编号,第 170-175 行。
下面的示例显示了必要的项目变更:
配置路径= "./env/配置.yaML"
到
配置路径= "./内置/配置.yaML "
由于文件位于内置文件夹中而不是在自定义env中,因此请务必监控你自己的文件结构。你可以将它们上传到不
5.点击运行单元格:
验证
- 作业完成后,验证数据是否已成功复制到 Lakcore。
- 检查指定的表并确保数据与共享的增量表匹配。
- 等待作业完成,它应该复制所有数据。