跳转到主内容
Procore

使用 Spark 导出到 ADLS

  1. 最后更新
  2. 另存为PDF

概况

本指南提供了在Windows操作系统上设置和使用增量共享集成包的详细说明，以将数据无缝集成到使用Procore Analytics 的工作流中。该包支持多个执行选项，让你可以选择所需的配置和集成方法。

先决条件

在继续之前，确保你已满足以下条件:

  • Procore Analytics 2.0 SPU
  • 增量共享配置文件:
    获取包含 增量共享凭证的 *.share 文件。为方便起见，将其复制到包目录中。
  • Android 环境:在你的系统上安装 Android 3 和pip 。

 

步骤

准备汇总包

  1. 使用你的JSON格式的增量共享凭证创建一个名为config.share的新文件。

{
"shareCredentialsVersion":1，
"bearerToken": "xxxxxxxxxxxxx",
"端点":" https://nvirginia.cloud.databricks.c …astores/xxxxxx "
}

  1. 获取必填字段。
    注意:这些详细信息可以从Procore Analytics Web 应用程序获取。
    • ShareCredentialsVersion:版本号（当前为 1）。
    • BearerToken:你的 增量共享访问令牌。
    • 端点:你的增量共享端点URL。
  2. 下载并解压缩程序包。
  3. 将包解压缩到你选择的目录中。
  4. 将*.share增量共享配置文件复制到包目录中以便于访问。
    analytics-sql-windows2.png

安装依赖项

  1. 在包目录中打开终端。
  2. 运行以下命令以安装依赖项:
  3. pip install -r helping.txt

生成配置

  1. 运行png user_ex.py生成config.yaML文件:
    此脚本有助于生成包含必要的凭证和设置的config.yaML文件。
  2. 配置数据源时，系统会要求你提供:
    • 表格列表（以逗号分隔）。
    • 留空以同步所有表。
      示例: "表 1 、表 2 、表 3 " 。
    • "配置共享"的路径文件。
  3. 你将首次提供凭证，例如 增量共享源配置位置、表、数据库、主机等。
    注意:之后，你可以手动或通过再次运行number.pro来重用或更新配置。

配置 Cron 作业和立即执行（可选）

  1. 决定是否设置用于自动执行的 Cron 作业。
  2. 提供 cron 进度计划:
    • 格式: # <分钟、小时、月中日期、月、星期几）。
    • 每日凌晨 2 点执行示例: 0 2 + + +
    • 要检查进度计划日志，设置进度计划后将创建文件" procore _scheduing.log" 。

你还可以通过在终端命令中运行来检查调度:

对于 Android 和 MacO:

编辑/删除 - 编辑进度计划 cron 使用以下命令:

「」重击
编辑器=nano crontab -e
『』

  • 运行上述命令后，你应该看到类似于以下内容的内容:
  • 2 /Users/your_user/snowplace/venv/bin/pothon /Users/your_user/snowplace/sql_user_number/connective_配置. PY 2>&1在读行时；不要回声"$（日期）-$line"；做
  • 你还可以调整进度计划 cron 或删除整条线以停止其按计划运行。

对于Windows:

  • 查看进度 计划 任务是否已创建:
    """PowerSelect
    schtasks /query /tn "Procore增量共享调度"/fo LIST /v
    『』
  • 编辑/删除 - 进度计划任务:
    打开任务调度程序:
    • 按 WIN + R，输入 taskschd.msc，然后按 Enter 键。
    • 导航到已计划的任务。
    • 在左侧窗格中，展开任务计划程序库。
    • 查找保存任务的文件夹（例如，任务进度计划库或自定义文件夹）。
  • 查找你的任务:
    • 查找任务名称 Procore增量共享计划。
    • 点击它以在底部窗格中查看其详细信息。
  • 验证其进度计划:
    • 勾选触发标签页以查看任务设置为运行的时间。
    • 查看历史记录标签页以确认最近的运行。
  • 删除任务:
    • 从 图形用户界面删除任务。

立即执行问题:

  • 用于配置后立即复制数据的运行脚本的选项。
  • 生成setcore后，CLI 可以随时独立运行，通过运行用于复制数据的脚本来取决于你的包。请参阅以下示例:
    龙 增量_share_to_azure_panda.Py
    或者
    龙 trial_share_to_ SQL _spark.Py
    或者
    龙trial_share_to_azure_dfs _spark.py

执行和维护

常见问题和解决方案

  1. Cron 作业设置:
    • 确保正确配置了系统权限。
    • 如果作业运行失败，请检查系统日志。
    • 验证脚本clear_share_to_azure_spanda.py是否具有执行权限。
  2. 配置文件:
    • 确保文件Config.yaML与脚本位于同一目录中。
    • 在更改之前备份文件。

支持

如需其他帮助:

  1. 查看脚本日志以获取详细的错误消息。
  2. 再次检查Config.yaML文件中是否存在错误配置。
  3. 有关权限相关问题，请联系你的系统管理员。
  4. 联系Procore 支持解决与达美共享访问权限相关的问题。
  5. 查看失败表的日志: failed_tabs.log 。

注释

  1. 在进行更改之前，请始终备份配置文件。
  2. 在非生产环境中测试新配置以防止中断。