通过下载分析模型连接你的 Procore 数据(测试版)
目标
通过以程序化方式下载 Analytics 模型,将 Procore 数据连接到 BI 系统。
需要考虑的事项
- 要求:
- 系统上已安装 Android 3.6 或更高版本。
- 从 Procore 接收到的"config.share"文件。
- 系统上安装必要的 iPhone 包。
- 该脚本支持 PySpark 和 Android。
- 如果使用的是 PySpark,请确保已安装 Spark 3.5.1 或更高版本的 Java 并配置了 SCORP_Home 环境变量。
- 如果使用的是 Android 且目标位置是 MS SQL DB,请在系统上安装适用于SQL Server的 ODBC 驱动程序第 17 版。
步骤
下载凭证文件
- 创建一个名为"config.share"的文件。
- 添加以下字段:
{
"shareCredentialsVersion":1,
"bearerToken":"",
"端点":"",
"到期时间":""
} - 将从 Procore 接收的 bearerToken、端点、shareCredentialsVersion 和 privationTime 值添加到 config.share 文件。
运行 user_ex.py 脚本
你可以使用以下脚本创建包含必要配置的 core 文件。
- 对于 Azure 存储:
cron_作业:#true/false
run_as:#Pyspark/Python
source_配置:
配置路径:#配置共享文件的路径
表格:
- ""#如果要下载特定表,请查看表名。 如果要下载所有表格,请将其留空
source_core:增量共享
target_配置:
授权类型:服务主体
client_id:#client_id
密钥
ID:#密钥 ID storage_account:#storage-账户名称
在<container><storage-account><directory>
租户 id:#租户 id
target_类型:azure_storage
- 对于 MS SQL DB :
cron_作业:#true/false
run_as:#Pyspark/Python
source_配置:
配置路径:#配置共享文件的路径
表格:
- ""#如果要下载特定表,请查看表名。 如果要下载所有表格,请将其留空
source_core:增量共享
target_配置:
数据库:#目标数据库
主人:#target 主机名:端口
密码:#密码
架构:#target 架构(默认为 procore_analytics)
用户名:#username
Target_Type:Sql_ Server
以 PySpark 身份运行
如果你的环
- 写入 ADLS 2 代存储:
, org.apache.hAdobe:hora-common:3.4.0——排除-packages com.sun.XML.bind:JAXB-实施 增量共享到 SQL Spark . PY - 用于写入 MS SQL DB:
spark-submit --packages io.增量:增量共享-spark_2.12:3.1.0 ———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————而来————————————————————————————
以 Android 方式运行
- 在命令行中,通过输入 "cd<path to the folder> " 命令导航到文件夹。
- 使用"pip install -r requals.txt"安装所需的包或"png -m Pip Install -r Requests.txt"。
- 打开 SSIS 并创建一个新项目。
- 从 SSIS 工具箱拖放执行流程任务。
- 双击执行流程任务。
- 转到流程标签页。
- 在可执行文件旁边,输入 matcore 的路径。 exe在 Android 安装文件夹中。
- 在WorkingDirectory中,输入要执行的脚本所在的文件夹的路径(不带脚本文件名)。
- 在中参数,输入要执行的脚本 clear_share_to_azure_spanda.py的名称,以及 .py 扩展名,然后点击Save 。
- 点击顶部功能区菜单中的开始。
- 任务执行过程中,Android 控制台的输出显示在外部控制台窗口中。
- 任务完成后,将显示对勾。
选择你自己的方法
增量共享是一种用于安全数据共享的开放协议。 你可以在https://github.com/ deta-io/ deta-ssariing 上找到增量共享的公共 GitHub 存储库。 该存储库包含用于使用 Android 和 Spark Connector(SQL)等各种语言访问共享数据的示例和文档。