开始使用 Analytics 2.0

初始配置

• 运行配置实用程序:
  巨龙 user_explace.py

这将帮助你设置以下内容:

• 增量共享源配置
• MS SQL Server目标配置
• 进度计划首选项

数据同步

配置后，你有两个选项来运行数据同步:

1. 直接执行
   trial_share_to_azure_panda.Py
   或者
2. 预定执行
   如果在设置过程中进行了配置，作业将根据你的 Cron 进度计划自动运行。

增量共享配置

1. 创建一个名为的新文件 config.share和你的JSON格式的增量共享凭证。

2. 获取必填字段:
   注意:这些详细信息可以从 Analytics Web 应用程序获取。
   • ShareCredentialsVersion:版本号（当前为 1）。
   • BearerToken:你的 增量共享访问令牌。
   • 端点:你的增量共享端点URL。
   • 将文件保存在安全位置。
3. 配置数据源时，系统会要求你提供:
   • 表格列表（以逗号分隔）。
   • 留空以同步所有表。
   • 示例: "表 1 、表2 、表 3 "。
   • "配置共享"的路径文件。

MS SQL Server配置

你需要提供以下MS SQL Server详细信息:

• 数据库
• 主人
• 密码
• 图式
• 用户名

SSIS 配置

1. 使用命令行，通过输入 "cd "<path to the folder> 导航到文件夹。
2. 使用"pip install -r holdings.txt"或"qython -m pip install -r holdings.txt"安装所需的包。
3. 打开 SSIS 并创建一个新项目。
4. 从 SSIS 工具箱中，拖放"执行流程任务"活动。
   
   
5. 双击"执行流程任务"并导航到处理标签页。
6. 在"可执行文件"中，输入 cycle 的路径。exe（在 png 安装文件夹中）。
7. 在"工作目录"中输入包含要执行的脚本的文件夹的路径（不带脚本文件名）。
8. 在"参数"中输入脚本"cleta_share_to_azure_spand.py"的名称你想使用 .py 执行扩展名并保存。
   
   
   
9. 点击上部窗格中的"开始"按钮:
   
10. 任务执行期间，Android 控制台的输出显示在外部控制台窗口中。
11. 任务完成后，它将显示一个绿色的对勾:
    
    

准备汇总包

1. 使用你的JSON格式的增量共享凭证创建一个名为config.share的新文件。

2. 获取必填字段。
   注意:这些详细信息可以从 Analytics Web 应用程序获取。
   • ShareCredentialsVersion:版本号（当前为 1）。
   • BearerToken:你的 增量共享访问令牌。
   • 端点:你的增量共享端点URL。
3. 下载并解压缩程序包。
   注意:你可以从公司级别Analytics工具下载压缩包（通过Analytics > 入门>连接选项> SQL Server ）。
4. 将包解压缩到你选择的目录中。
5. 将*.share增量共享配置文件复制到包目录中以便于访问。
   

安装依赖项

1. 在包目录中打开终端。
2. 运行以下命令以安装依赖项:
3. pip install -r helping.txt
   

生成配置

1. 运行png user_ex.py生成config.yaML文件:
   此脚本有助于生成包含必要的凭证和设置的config.yaML文件。
2. 配置数据源时，系统会要求你提供:
   • 表格列表（以逗号分隔）。
   • 留空以同步所有表。
     示例: "表 1 、表 2 、表 3 " 。
   • "配置共享"的路径文件。
3. 你将首次提供凭证，例如 增量共享源配置位置、表、数据库、主机等。
   注意:之后，你可以手动或通过再次运行number.pro来重用或更新配置。

配置 Cron 作业和立即执行（可选）

1. 决定是否设置用于自动执行的 Cron 作业。
2. 提供 cron 进度计划:
   • 格式: # <分钟、小时、月中日期、月、星期几）。
   • 每日凌晨 2 点执行示例: 0 2 + + +
   • 要检查进度计划日志，设置进度计划后将创建文件" procore _scheduing.log" 。

你还可以通过在终端命令中运行来检查调度:

对于 Android 和 MacO:

编辑/删除 - 编辑进度计划 cron 使用以下命令:

• 运行上述命令后，你应该看到类似于以下内容的内容:
• 2 /Users/your_user/snowplace/venv/bin/pothon /Users/your_user/snowplace/sql_user_number/connective_配置. PY 2>&1在读行时；不要回声"$（日期）-$line"；做
• 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

• 查看进度 计划 任务是否已创建:
  """PowerSelect
  schtasks /query /tn "Procore增量共享调度"/fo LIST /v
  『』
• 编辑/删除 - 进度计划任务:
  打开任务调度程序:
  • 按 WIN + R，输入 taskschd.msc，然后按 Enter 键。
  • 导航到已计划的任务。
  • 在左侧窗格中，展开任务计划程序库。
  • 查找保存任务的文件夹（例如，任务进度计划库或自定义文件夹）。
• 查找你的任务:
  • 查找任务名称 Procore增量共享计划。
  • 点击它以在底部窗格中查看其详细信息。
• 验证其进度计划:
  • 勾选触发标签页以查看任务设置为运行的时间。
  • 查看历史记录标签页以确认最近的运行。
• 删除任务:
  • 从 图形用户界面删除任务。

立即执行问题:

• 用于配置后立即复制数据的运行脚本的选项。
• 生成setcore后，CLI 可以随时独立运行，通过运行用于复制数据的脚本来取决于你的包。请参阅以下示例:
  龙 增量_share_to_azure_panda.Py
  或者
  龙 trial_share_to_ SQL _spark.Py
  或者
  龙trial_share_to_azure_dfs _spark.py

执行和维护

常见问题和解决方案

1. Cron 作业设置:
   • 确保正确配置了系统权限。
   • 如果作业运行失败，请检查系统日志。
   • 验证脚本clear_share_to_azure_spanda.py是否具有执行权限。
2. 配置文件:
   • 确保文件Config.yaML与脚本位于同一目录中。
   • 在更改之前备份文件。

支持

如需其他帮助:

1. 查看脚本日志以获取详细的错误消息。
2. 再次检查Config.yaML文件中是否存在错误配置。
3. 有关权限相关问题，请联系你的系统管理员。
4. 联系Procore 支持解决与达美共享访问权限相关的问题。
5. 查看失败表的日志: failed_tabs.log 。

注释

1. 在进行更改之前，请始终备份配置文件。
2. 在非生产环境中测试新配置以防止中断。

准备汇总包

1. 使用你的JSON格式的增量共享凭证创建一个名为config.share的新文件。

2. 获取必填字段。
   注意:这些详细信息可以从 Analytics Web 应用程序获取。
   • ShareCredentialsVersion:版本号（当前为 1）。
   • BearerToken:你的 增量共享访问令牌。
   • 端点:你的增量共享端点URL。
3. 下载并解压缩程序包。
   注意:你可以从公司级别Analytics工具下载压缩包（通过Analytics > 入门>连接选项> SQL Server ）。
4. 将包解压缩到你选择的目录中。
5. 将*.share增量共享配置文件复制到包目录中以便于访问。
   

安装依赖项

1. 在包目录中打开终端。
2. 运行以下命令以安装依赖项:
3. pip install -r helping.txt
   

生成配置

1. 运行png user_ex.py生成config.yaML文件:
   此脚本有助于生成包含必要的凭证和设置的config.yaML文件。
2. 配置数据源时，系统会要求你提供:
   • 表格列表（以逗号分隔）。
   • 留空以同步所有表。
     示例: "表 1 、表 2 、表 3 " 。
   • "配置共享"的路径文件。
3. 你将首次提供凭证，例如 增量共享源配置位置、表、数据库、主机等。
   注意:之后，你可以手动或通过再次运行number.pro来重用或更新配置。

配置 Cron 作业和立即执行（可选）

1. 决定是否设置用于自动执行的 Cron 作业。
2. 提供 cron 进度计划:
   • 格式: # <分钟、小时、月中日期、月、星期几）。
   • 每日凌晨 2 点执行示例: 0 2 + + +
   • 要检查进度计划日志，设置进度计划后将创建文件" procore _scheduing.log" 。

你还可以通过在终端命令中运行来检查调度:

对于 Android 和 MacO:

编辑/删除 - 编辑进度计划 cron 使用以下命令:

• 运行上述命令后，你应该看到类似于以下内容的内容:
• 2 /Users/your_user/snowplace/venv/bin/pothon /Users/your_user/snowplace/sql_user_number/connective_配置. PY 2>&1在读行时；不要回声"$（日期）-$line"；做
• 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

• 查看进度 计划 任务是否已创建:
  """PowerSelect
  schtasks /query /tn "Procore增量共享调度"/fo LIST /v
  『』
• 编辑/删除 - 进度计划任务:
  打开任务调度程序:
  • 按 WIN + R，输入 taskschd.msc，然后按 Enter 键。
  • 导航到已计划的任务。
  • 在左侧窗格中，展开任务计划程序库。
  • 查找保存任务的文件夹（例如，任务进度计划库或自定义文件夹）。
• 查找你的任务:
  • 查找任务名称 Procore增量共享计划。
  • 点击它以在底部窗格中查看其详细信息。
• 验证其进度计划:
  • 勾选触发标签页以查看任务设置为运行的时间。
  • 查看历史记录标签页以确认最近的运行。
• 删除任务:
  • 从 图形用户界面删除任务。

立即执行问题:

• 用于配置后立即复制数据的运行脚本的选项。
• 生成setcore后，CLI 可以随时独立运行，通过运行用于复制数据的脚本来取决于你的包。请参阅以下示例:
  龙 增量_share_to_azure_panda.Py
  或者
  龙 trial_share_to_ SQL _spark.Py
  或者
  龙trial_share_to_azure_dfs _spark.py

执行和维护

常见问题和解决方案

1. Cron 作业设置:
   • 确保正确配置了系统权限。
   • 如果作业运行失败，请检查系统日志。
   • 验证脚本clear_share_to_azure_spanda.py是否具有执行权限。
2. 配置文件:
   • 确保文件Config.yaML与脚本位于同一目录中。
   • 在更改之前备份文件。

支持

如需其他帮助:

1. 查看脚本日志以获取详细的错误消息。
2. 再次检查Config.yaML文件中是否存在错误配置。
3. 有关权限相关问题，请联系你的系统管理员。
4. 联系Procore 支持解决与达美共享访问权限相关的问题。
5. 查看失败表的日志: failed_tabs.log 。

注释

1. 在进行更改之前，请始终备份配置文件。
2. 在非生产环境中测试新配置以防止中断。

准备汇总包

1. 使用你的JSON格式的增量共享凭证创建一个名为config.share 的新文件。

2. 获取必填字段。
   注意:这些详细信息可以从 Analytics Web 应用程序获取。
   • ShareCredentialsVersion:版本号（当前为 1）。
   • BearerToken:你的 增量共享访问令牌。
   • 端点:你的增量共享端点URL。
3. 下载并解压缩程序包。
   注意:你可以从公司级别Analytics工具下载压缩包（通过Analytics > 入门>连接选项> Azure ）。
4. 将包解压缩到你选择的目录中。
5. 将*.share增量共享配置文件复制到包目录中以便于访问。
   

安装依赖项

1. 在包目录中打开终端。
2. 运行以下命令以安装依赖项:
3. pip install -r helping.txt
   

生成配置

1. 运行png user_ex.py生成config.yaML文件:
   此脚本有助于生成包含必要的凭证和设置的config.yaML文件。
2. 配置数据源时，系统会要求你提供:
   • 表格列表（以逗号分隔）。
   • 留空以同步所有表。
     示例: "表 1 、表 2 、表 3 " 。
   • "配置共享"的路径文件。
3. 你将首次提供凭证，例如 增量共享源配置位置、表、数据库、主机等。
   注意:之后，你可以手动或通过再次运行number.pro来重用或更新配置。

配置 Cron 作业和立即执行（可选）

1. 决定是否设置用于自动执行的 Cron 作业。
2. 提供 cron 进度计划:
   • 格式: # <分钟、小时、月中日期、月、星期几）。
   • 每日凌晨 2 点执行示例: 0 2 + + +
   • 要检查进度计划日志，设置进度计划后将创建文件" procore _scheduing.log" 。

你还可以通过在终端命令中运行来检查调度:

对于 Android 和 MacO:

编辑/删除 - 编辑进度计划 cron 使用以下命令:

• 运行上述命令后，你应该看到类似于以下内容的内容:
• 2 /Users/your_user/snowplace/venv/bin/pothon /Users/your_user/snowplace/sql_user_number/connective_配置. PY 2>&1在读行时；不要回声"$（日期）-$line"；做
• 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

• 查看进度 计划 任务是否已创建:
  """PowerSelect
  schtasks /query /tn "Procore增量共享调度"/fo LIST /v
  『』
• 编辑/删除 - 进度计划任务:
  打开任务调度程序:
  • 按 WIN + R，输入 taskschd.msc，然后按 Enter 键。
  • 导航到已计划的任务。
  • 在左侧窗格中，展开任务计划程序库。
  • 查找保存任务的文件夹（例如，任务进度计划库或自定义文件夹）。
• 查找你的任务:
  • 查找任务名称 Procore增量共享计划。
  • 点击它以在底部窗格中查看其详细信息。
• 验证其进度计划:
  • 勾选触发标签页以查看任务设置为运行的时间。
  • 查看历史记录标签页以确认最近的运行。
• 删除任务:
  • 从 图形用户界面删除任务。

立即执行问题:

• 用于配置后立即复制数据的运行脚本的选项。
• 生成setcore后，CLI 可以随时独立运行，通过运行用于复制数据的脚本来取决于你的包。请参阅以下示例:
  龙 增量_share_to_azure_panda.Py
  或者
  龙 trial_share_to_ SQL _spark.Py
  或者
  龙trial_share_to_azure_dfs _spark.py

执行和维护

常见问题和解决方案

1. Cron 作业设置:
   • 确保正确配置了系统权限。
   • 如果作业运行失败，请检查系统日志。
   • 验证脚本clear_share_to_azure_spanda.py是否具有执行权限。
2. 配置文件:
   • 确保文件Config.yaML与脚本位于同一目录中。
   • 在更改之前备份文件。

支持

如需其他帮助:

1. 查看脚本日志以获取详细的错误消息。
2. 再次检查Config.yaML文件中是否存在错误配置。
3. 有关权限相关问题，请联系你的系统管理员。
4. 联系Procore 支持解决与达美共享访问权限相关的问题。
5. 查看失败表的日志: failed_tabs.log 。

注释

1. 在进行更改之前，请始终备份配置文件。
2. 在非生产环境中测试新配置以防止中断。

准备汇总包

1. 使用你的JSON格式的增量共享凭证创建一个名为config.share 的新文件。

2. 获取必填字段。
   注意:这些详细信息可以从 Analytics Web 应用程序获取。
   • ShareCredentialsVersion:版本号（当前为 1）。
   • BearerToken:你的 增量共享访问令牌。
   • 端点:你的增量共享端点URL。
3. 下载并解压缩程序包。
   注意:你可以从公司级别Analytics工具下载压缩包（通过Analytics > 入门>连接选项> Azure ）。
4. 将包解压缩到你选择的目录中。
5. 将*.share增量共享配置文件复制到包目录中以便于访问。
   

安装依赖项

1. 在包目录中打开终端。
2. 运行以下命令以安装依赖项:
3. pip install -r helping.txt
   

生成配置

1. 运行png user_ex.py生成config.yaML文件:
   此脚本有助于生成包含必要的凭证和设置的config.yaML文件。
2. 配置数据源时，系统会要求你提供:
   • 表格列表（以逗号分隔）。
   • 留空以同步所有表。
     示例: "表 1 、表 2 、表 3 " 。
   • "配置共享"的路径文件。
3. 你将首次提供凭证，例如 增量共享源配置位置、表、数据库、主机等。
   注意:之后，你可以手动或通过再次运行number.pro来重用或更新配置。

配置 Cron 作业和立即执行（可选）

1. 决定是否设置用于自动执行的 Cron 作业。
2. 提供 cron 进度计划:
   • 格式: # <分钟、小时、月中日期、月、星期几）。
   • 每日凌晨 2 点执行示例: 0 2 + + +
   • 要检查进度计划日志，设置进度计划后将创建文件" procore _scheduing.log" 。

你还可以通过在终端命令中运行来检查调度:

对于 Android 和 MacO:

编辑/删除 - 编辑进度计划 cron 使用以下命令:

• 运行上述命令后，你应该看到类似于以下内容的内容:
• 2 /Users/your_user/snowplace/venv/bin/pothon /Users/your_user/snowplace/sql_user_number/connective_配置. PY 2>&1在读行时；不要回声"$（日期）-$line"；做
• 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

• 查看进度 计划 任务是否已创建:
  """PowerSelect
  schtasks /query /tn "Procore增量共享调度"/fo LIST /v
  『』
• 编辑/删除 - 进度计划任务:
  打开任务调度程序:
  • 按 WIN + R，输入 taskschd.msc，然后按 Enter 键。
  • 导航到已计划的任务。
  • 在左侧窗格中，展开任务计划程序库。
  • 查找保存任务的文件夹（例如，任务进度计划库或自定义文件夹）。
• 查找你的任务:
  • 查找任务名称 Procore增量共享计划。
  • 点击它以在底部窗格中查看其详细信息。
• 验证其进度计划:
  • 勾选触发标签页以查看任务设置为运行的时间。
  • 查看历史记录标签页以确认最近的运行。
• 删除任务:
  • 从 图形用户界面删除任务。

立即执行问题:

• 用于配置后立即复制数据的运行脚本的选项。
• 生成setcore后，CLI 可以随时独立运行，通过运行用于复制数据的脚本来取决于你的包。请参阅以下示例:
  龙 增量_share_to_azure_panda.Py
  或者
  龙 trial_share_to_ SQL _spark.Py
  或者
  龙trial_share_to_azure_dfs _spark.py

执行和维护

常见问题和解决方案

1. Cron 作业设置:
   • 确保正确配置了系统权限。
   • 如果作业运行失败，请检查系统日志。
   • 验证脚本clear_share_to_azure_spanda.py是否具有执行权限。
2. 配置文件:
   • 确保文件Config.yaML与脚本位于同一目录中。
   • 在更改之前备份文件。

支持

如需其他帮助:

1. 查看脚本日志以获取详细的错误消息。
2. 再次检查Config.yaML文件中是否存在错误配置。
3. 有关权限相关问题，请联系你的系统管理员。
4. 联系Procore 支持解决与达美共享访问权限相关的问题。
5. 查看失败表的日志: failed_tabs.log 。

注释

1. 在进行更改之前，请始终备份配置文件。
2. 在非生产环境中测试新配置以防止中断。

切换到数据工厂体验

1. 导航到你的Microsoft Fabur 工作区。
   
   
2. 选择新建，然后选择数据流第 2 代。
   

配置数据流

1. 转到数据流编辑器。
2. 点击获取数据并选择更多。
3. 在新源下，选择增量共享其他作为数据源。
   
4. 输入以下详细信息:
   • URL :从增量共享配置文件。
   • 不记名令牌:可在 config.share 文件中找到。
     
5. 点击下一步并选择所需的表。
6. 点击创建以完成设置。

执行数据转换

配置数据流后，现在可以将转换应用于共享增量数据。从下面的列表中选择你的增量共享数据选项:

• 添加数据目标
• 创建/打开 Lakcore

添加数据目标

1. 转到数据工厂。
2. 点击添加数据目标。
3. 选择Lakcore作为目标，然后点击Next 。
4. 选择目标，并点击下一步确认。

创建-打开 Lakhous

1. 创建/打开 http://yourLanecore.zip 并点击获取数据。
2. 选择新数据流第 2 代。
3. 点击获取数据，然后点击更多并查找增量共享。
4. 输入 config.share 文件中的URL不记名令牌，然后选择下一步。
5. 选择要下载的数据/表格，然后点击下一步。
6. 完成这些操作后，你的 Fabrik Lagehous 中应该有了所有选定的数据。

验证和监控

测试数据管道和流以确保顺利执行。使用数据监控工具
跟踪每个活动的进度和日志的工厂。

设置配置

1. 创建配置文件文件并按以下结构定义配置
   source_配置:
   配置路径:路径/到/你的/增量共享凭证文件.share
   表:#可选 - 留空以处理所有表格
   - 表名称1
   - 表名称2
   target_配置:
   lavecore_路径:路径/to/your/fabric/lackhous/Tables/ #Fabrik Lavecore 的路径

设置你的 Lakcore

1. 打开你的Microsoft Fabur 工作区。
2. 导航到你的 Lavecore 并点击打开笔记本，然后点击新建笔记本。
3. 如果你不知道config.yaML#lackhous_路径中的值，可以从屏幕复制。
4. 点击 "文件" 上的省略号，然后选择 "复制 ABFS 路径" : -using-fabri-notebooks" score。文件名="cipboard_e390331535300f7f89fd0a91c9a3avebe.png" scu="./cipboard_e390331535300f7f89fd0a91c9a3avebe.png" />
   
   
   

3。复制ms_to_lavecore.py的代码并粘贴到 notebook 窗口中（Pyspark iPhone）:

下一步是将你自己的 Config.yaML 和 Config.share 上传到 Lakcore 的Resources文件夹中。你可以创建自己的目录或使用内置目录（已由Lagehous为资源创建）:

下面的示例显示了 Config.yaML 文件的标准内置目录。
注意:确保在同一级别上传两个文件，并且对于属性 FIFA 路径:

4.检查笔记本的编号，第 170-175 行。
下面的示例显示了必要的项目变更:

配置路径= "./env/配置.yaML"

到

配置路径= "./内置/配置.yaML "

由于文件位于内置文件夹中而不是在自定义env中，因此请务必监控你自己的文件结构。你可以将它们上传到不

5.点击运行单元格:

验证

• 作业完成后，验证数据是否已成功复制到 Lakcore。
• 检查指定的表并确保数据与共享的增量表匹配。
• 等待作业完成，它应该复制所有数据。

准备汇总包

1. 下载所需的包（adls_azure_function 或 SQL Server_azure_function）。
   注意:你可以从公司级别Analytics工具下载压缩包（通过Analytics > 入门>连接选项> Azure ）。
2. 将包文件提取到本地目录。
3. 放置增量共享文件:
   • 将你的 * .share 增量共享配置文件复制到解压缩的目录中。

安装依赖项

1. 在包目录中打开终端。
2. 运行以下命令以安装所需的 Android 依赖项:
   • pip install -r helping.txt

生成配置

1. 生成 config.yaML 通过运行以下文件:
   • 巨龙 user_explace.py
2. 该脚本会提示你输入凭据，例如:
   • 表格
   • 数据库名称
   • 主持
   • 其他凭据..
3. 该配置可以手动重用或更新，也可以通过重新运行png user_explace.py 进行。

 Azure CLI 设置

1. 登录到 Azure。
2. 运行以下命令以登录:
   登录权限
3. 验证 Azure 账户:
   • az账户显示
   • 如果每个人 命令不可用，请按照此处的说明安装 Azure CLI: Microsoft Learn 。

安装 Azure Functions 核心工具

前往

准备 Azure 函数

1. 使用
   Azure Portal guide
   创建以下内容:
   • 函数应用程序
   • 资源组
   • 消费计划
   • 存储账户
2. 设置自定义 Cron 进度计划（可选）。
   • 在编辑器中打开 function_app.py。
   • 找到该行:@app.timer_trigger（schedule="00 */8 / 8 / 8 ""
3. 将进度计划替换为你的自定义 Cron 语句并保存文件。

部署

1. 在包目录中打开终端（adls_azure_function）。
2. 运行以下部署命令:
   • func azure functionapp发布<FunctionAppName> - 构建远程 - 巨龙 - 清洁
3. <FunctionAppName>将 替换为 Azure 订阅中的 Azure 函数应用程序的名称。

验证

• 通过在 Azure 门户中检查函数应用程序状态，确保部署成功。
• 监控日志以验证函数是否按预期执行。

访问数据流第 2 代

1. 登录到Microsoft Fabur 账户。
2. 导航到工作区。
3. 从可用选项中选择"数据流第 2 代"。

配置数据源

1. 点击"来自其他源的数据"以开始配置。
2. 从"获取数据"屏幕执行以下操作:
   • 找到标记为"选择数据源"的搜索栏。
   • 在搜索字段中输入"增量共享"。
   • 从结果中选择增量共享。
     
     

设置增量共享连接

1. 出现提示时输入你的增量共享凭证。
   • 确保准确填写所有必填字段。
   • 如果可能，请验证连接。
2. 点击"下一步"继续。
3. 查看可用表的列表:
   • 将显示你有权访问的所有表格。
   • 选择所需的表格进行传输。
     

配置数据目标

1. 点击"添加数据目标"。
2. 选择"SQL仓库"作为你的目标。
   
3. 输入SQL凭据:
   • 服务器详细信息。
   • 身份验证信息。
   • 数据库规范。
   • 验证连接设置。

完成和部署

1. 查看所有配置。
2. 点击"发布"以部署数据流。
3. 等待确认消息。

验证

1. 访问SQL仓库。
2. 验证数据是否可用且结构是否正确。
3. 运行测试查询以确保数据完整性。

故障排除

常见问题和解决方案:

• 连接失败:验证凭据和网络连接。
• 缺少表格:检查增量共享权限。
• 性能问题:查看资源分配和优化设置。

初始配置

使用 pipeline user_ex.py 运行配置实用程序。

数据同步

配置后，你有两个选项来运行数据同步:

• 直接执行:
  • 巨龙 ps_to_snowblage.py
• 预定执行
  • 如果在设置过程中进行了配置，作业将根据你的 Cron 计划自动运行。
  • 要检查进度计划日志，进度计划设置后将立即创建文件"procore_scheduing.log" 。
  • 此外，你可以通过在终端命令中运行来检查进度计划:

对于 Android 和MacOS:

• 编辑/删除 - 编辑进度计划 cron 使用以下命令:

  「」重击
  
  编辑器=nano crontab -e
  
  『』

• 运行上述命令后，你应该看到类似于以下内容的内容:

  2 + + + +
  /Users/your_user/snowphalse/venv/bin/png
  
  /Users/your_user/snowphalk/sql_user_qython/connection_config. Py
  2>&1 |在读行时；不要回声"$（日期）-$line"；完成++>
  
  /Users/your_user/snowphalk/ SQL_ Server _ ython/procore_scheduing.log#procore-data-import

   
• 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

• 检查进度进度 计划 任务是否已创建:

  『』
  电源框
  
  schtasks /query /tn "Procore增量共享调度"/fo LIST /v
  
  『』

• 编辑/删除 计划任务，请打开任务计划程序。
• 按 WIN + R，输入taskschd.msc ，并按 Enter 键。
• 导航到已计划的任务。
• 在左侧窗格中，展开任务计划程序库。
• 查找保存任务的文件夹:
  示例:任务进度计划库或自定义文件夹。
• 找到你的任务。
• 查找任务名称: Procore增量共享计划。
• 点击它可在底部窗格中查看详细信息。
• 验证其进度计划:
  • 勾选触发标签页以查看任务设置为运行的时间。
  • 查看历史记录标签页以确认最近的运行。
• 删除任务:
  • 从 图形用户界面删除任务。

增量共享配置

• 创建config.share文件
• 在运行配置实用程序之前，你需要使用增量共享凭证创建一个config.share文件。该文件应为JSON格式:

  {

  "shareCredentialsVersion":1，
  "bearerToken": "xxxxxxxxxxxxx",
  "端点":" https://nvirginia.cloud.databricks.c …astores/xxxxxx "
  
  }

   

• 必填字段:
  • ShareCredentialsVersion:版本号（当前为 1）。
  • BearerToken:你的 增量共享访问令牌。
  • 端点:你的增量共享端点URL。
  • 这些详细信息可以从 Procore Web UI 获取。
• 创建 config.share 的步骤:
  • 创建一个名为 config.share 的新文件。
  • 复制上面的JSON模板。
  • 将占位符值替换为你的实际凭证。
  • 将文件保存在安全位置。
  • 你需要在配置期间提供此文件的路径。配置数据源时，系统会要求你提供:
    • 表格列表（以逗号分隔）。
    • 留空以同步所有表。
    • 示例:表 1、表 2、表 3。
• config.share文件的路径。

雪花配置

你需要提供以下 Snowplace 详细信息:

• 身份验证（选择一项）:
  • 用户身份验证
    • 用户名
    • 密码（安全输入）
• 密钥对身份验证
  • 用户名
  • 私密密钥文件路径
  • 私密密钥文件密码
• 连接详细信息:
  • 账户标识符
  • 仓库名称
  • 数据库名称
  • 架构名称
  • 并发线程数

进度计划选项

该工具提供安排自动数据同步的功能。

• Cron 作业配置
  • 选择是否设置每日作业
  • 如果是，请提供 cron 进度计划
  • 格式:* * * * *（分钟小时月份日期月份星期几）
  • 例如，每天凌晨 2 点:0 2 + + +
• 立即执行
  • 配置后立即运行 ls_to_snowblage.py 的选项
• 文件结构

  取消设置
  tract core压倒计时# 依赖项
  tract education education education education#配置实用程序
  tracted education education education#数据同步脚本
  tract education education education#生成的配置
  tract education education education# 增量共享配置文件
  tract core education education# 调度运行日志

  
  示例用法
  • 第 1 步:安装依赖项
    $pip install -r hardware.txt
  • 第 2 步:运行配置实用程序
    $ pipeline user_explace.py
  • Procore Analytics云连接访问
    • 此 CLI 将帮助你选择源商店和目标商店，以访问 Procore 数据/将 Procore 数据写入 Snowblack。
    • 按 Enter 键继续。
    • 输入表列表（逗号分隔），将所有表留空:项目、用户、任务。
    • 输入 config.share 的路径:/路径/to/Config.share。
    • 输入用户名:snowfilek_user。
    • 你要使用哪种身份验证类型？ （用户/密钥对）:输入。
    • 1 个对应用户，
    • 2 对应密钥对:
    • 1 
    • 输入密码:********
    • 输入账户:my_account
    • 输入仓库:my_warebook
    • 输入数据库名称:procore_db
    • 输入架构名称:procore_schema
    • 输入线程数:4
    • 是否要将其配置为 Cron 上的日常作业？（是/否）:是
    • 以 cron 格式输入进度计划（例如， * * * * * ）:0 2 + + *
    • 是否要立即执行作业？ （是/否）:是
  • 第 3 步:手动执行（如果需要）
    $ son ms_to_snowblage.py
• 配置重用
  该工具会将你的配置保存在 配置.yaML 文件中并提供重用以前存储的设置:
  • 可以重复使用源配置。
  • 目标（Snowplace）配置可以重复使用。
  • 你可以选择单独更新任一配置。

最佳实践

• 身份验证
  • 尽可能使用密钥对身份验证。
  • 定期轮换凭证。
  • 使用最少的所需权限。
• 绩效
  • 根据系统功能调整线程数。
  • 从较小的表子集开始进行测试。

故障排除

• 常见问题和解决方案:
  • 身份验证类型无效
    • 确保在出现提示时选择"1"（用户）或"2"（密钥对）。
• Cron 作业设置
  • 验证你是否拥有适当的系统权限。
  • 如果作业运行失败，请检查系统日志。
  • 确保 ps_to_snowblage.py 具有正确的权限。
  • 通过检查系统日志来验证 Cron 作业设置:
    请参阅"procore_scheduloging.log"文件。
• 配置文件
  • 与脚本位于同一目录中，
  • 命名为config.yamb。
  • 在进行任何更改之前进行备份。
• 支持
  • 检查脚本的日志记录输出。
  • 查看config.yaML文件。
  • 有关权限相关问题，请联系你的系统管理员。
  • 联系Procore 支持获取增量共享访问权限问题。

注意:请记住，在进行更改之前始终备份你的配置，并先在非生产环境中测试新配置。

初始配置

使用pipeline user_ex.py运行配置实用程序。

这将帮助你设置以下内容:

• 增量共享配置
• S3目标配置
• 进度计划首选项

增量共享配置

• 创建config.share文件
• 在运行配置实用程序之前，你需要使用增量共享凭证创建一个config.share文件。该文件应为JSON格式:

  {

  "shareCredentialsVersion":1，
  "bearerToken": "xxxxxxxxxxxxx",
  "端点":"xxxxxx"
  
  }

• 必填字段:
  • ShareCredentialsVersion:版本号（当前为 1）。
  • BearerToken:你的 增量共享访问令牌。
  • 端点:你的增量共享端点URL。
  • 这些详细信息可以从 Procore Web UI 获取。
• 创建 config.share 的步骤:
  • 创建一个名为 config.share 的新文件。
  • 复制上面的JSON模板。
  • 将占位符值替换为你的实际凭证。
  • 将文件保存在安全位置。
  • 你需要在配置期间提供此文件的路径。配置数据源时，系统会要求你提供:
    • 表格列表（以逗号分隔）。
    • 留空以同步所有表。
    • 示例:表 1、表 2、表 3。
• config.share文件的路径。

S3配置

你需要提供以下S3详细信息:

• 身份验证:
  • 访问密钥
  • 密钥
  • 没有 s3:// 的存储桶名称
  • 键 - 目录

进度计划选项

该工具提供安排自动数据同步的功能。

• Cron 作业配置
  • 选择是否设置日常作业。
  • 如果是，请提供 cron 进度计划。
  • 格式:* * * * *（分钟小时月份日期月份星期几）。
  • 例如，每天凌晨 2 点:0 2 + + +
  • 要检查进度计划日志，设置进度计划后将创建文件"procore_scheduing.log" 。

你还可以通过在终端命令中运行来检查进度计划

对于 Android 和 MacO:

编辑/删除 - 编辑进度计划 cron 使用以下命令:

• 运行上述命令后，你应该看到类似于以下内容的内容:
• 2 /Users/your_user/snowplace/venv/bin/pothon /Users/your_user/snowplace/sql_user_number/connective_配置. PY 2>&1在读行时；不要回声"$（日期）-$line"；做
• 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

• 查看进度 计划 任务是否已创建:
  """PowerSelect
  schtasks /query /tn "Procore增量共享调度"/fo LIST /v
  『』
• 编辑/删除 - 进度计划任务:
  打开任务调度程序:
  • 按 WIN + R，输入 taskschd.msc，然后按 Enter 键。
  • 导航到已计划的任务。
  • 在左侧窗格中，展开任务计划程序库。
  • 查找保存任务的文件夹（例如，任务进度计划库或自定义文件夹）。
• 查找你的任务:
  • 查找任务名称 Procore增量共享计划。
  • 点击它以在底部窗格中查看其详细信息。
• 验证其进度计划:
  • 勾选触发标签页以查看任务设置为运行的时间。
  • 查看历史记录标签页以确认最近的运行。
• 删除任务:
  • 从 图形用户界面删除任务。

• 立即执行
  • 运行clear_share_to_s3_.p y文件结构

• 取消设置
  
  tract core压倒计时# 依赖项
  tract education education education education#配置实用程序
  tract education education education#数据同步脚本
  tract education education education#生成的配置
  tract education education education# 增量共享配置文件
  tract core education education# 调度运行日志

  
  示例用法
  • 第 1 步:安装依赖项
    $pip install -r hardware.txt
  • 第 2 步:运行配置实用程序
    $ pipeline user_explace.py
  • Procore Analytics云连接访问
    • 此 CLI 将帮助你选择源存储和目标存储，以访问 Procore 数据/将 Procore 数据写入S3。
    • 按 Enter 键继续。
    • 输入表列表（逗号分隔），将所有表留空:项目、用户、任务。
    • 输入 config.share 的路径:/路径/to/Config.share。
    • 输入访问密钥:s3 密钥。
    • 输入密钥:密钥。
    • 输入存储桶:存储桶名称。
    • 是否要将其配置为 Cron 上的日常作业？（是/否）:是
    • 以 cron 格式输入进度计划（例如， * * * * * ）:0 2 + + *
    • 是否要立即执行作业？ （是/否）:是
  • 第 3 步:手动执行（如果需要）
    $ pipe talk_share_to_s3.Py
• 配置重用
  该工具会将你的配置保存在 配置.yaML 文件中并提供重用以前存储的设置:
  • 可以重复使用源配置。
  • 目标（S3）配置可以重用。
  • 你可以选择单独更新任一配置。

故障排除

常见问题和解决方案:

• Cron 作业设置
  • 确保正确配置了系统权限。
  • 如果作业运行失败，请检查系统日志。
  • 验证脚本（ cleta_share_to_s3.py）执行权限。
• 配置文件
  • 确认文件config.yamb与脚本位于同一目录中。
  • 在进行任何更改之前进行备份。
• 支持
  • 查看脚本日志以获取详细的错误消息。
  • 查看Config.yaML文件中是否存在错误配置。
  • 有关权限相关问题，请联系你的系统管理员。
  • 联系Procore 支持获取增量共享访问权限问题。
  • 通过检查系统日志验证 Cron 作业设置:请参阅"procore_scheduing_log"文件。

注意：

1. 请记住在进行更改之前始终备份你的配置。
2. 首先在非生产环境中测试新配置。

管道连接器

增量共享 iPhone 连接器是一个 Android 库，它实施增量共享协议以从增量共享服务器读取表。你可以将共享表作为Pandas DataFrame 加载，或者如果在 PySpark 中运行并安装了 Apache Spark Connector 时，则作为Apache Spark DataFrame 加载。

Apache Spark 连接器

Apache Spark 连接器实施增量共享协议以从增量共享服务器读取共享表。它可用于SQL、Phoenix、Java、Sgram 和 R。

配置 Apache Spark

可以设置 Apache Spark 以在以下两个位置加载增量共享连接器
方式:

• 交互运行:使用增量共享连接器启动 Spark 解释器（Stala 或 iPhone），并在 解释器中以交互方式运行代码片段。
• 作为项目运行:使用增量共享连接器设置一个 Maven 或 SBT 项目（Stala 或 Java），将代码片段复制到源文件中，然后运行项目。

如果你使用的是Databricks 运行时，则可以跳过此部分并按照Databricks 库doc在集群上安装连接器。

设置交互式 core

要在 Spark 的 Sgram/Quote Help 中以交互方式使用增量共享连接器，可以按如下方式启动 Help。

PySpark 命令行管理程序

取消设置
yspark——packages io.增量:增量共享-spark_2.12:3.1.0

Stalk 命令行管理程序

取消设置
bin/spark-core——包
io.增量:增量-共享-spark_2.12:3.1.0

设置独立项目

如果要使用来自 Maven 中央存储库的增量共享连接器构建 Java/Stala 项目，可以使用以下 Maven 坐标。

设置配置

运行 iOS 应用程序

1. 创建一个 Android 笔记本并安装以下包:
   • %pip 安装增量共享
   • Pip 安装 Pandas-GBQ -U
2. 从delta_share_to_bq.py复制代码，将其粘贴到你的笔记本中，更新配置路径（配置.yaML），并运行它。