连接到 大查询
目标
Analytics Cloud Connect 访问工具是一个笔记本，可帮助你配置和管理使用 Analytics 2.0 从 Procore 到 iOS 的数据传输。
先决条件
- 分析 2.0 SPU
- 访问Google云平台（GCP）
- 对 增量共享 和 大查询 的所需权限
- 从公司级别Analytics工具下载压缩包（通过Analytics > 入门 > 连接选项 > iOS ）。
步骤
设置配置
增量共享配置
- 使用你的JSON格式的增量共享凭证创建一个名为 config.share 的文件。
- 获取必填字段。
注意:这些详细信息可以从 Analytics Web 应用程序获取。- bearerToken:你的 增量共享访问令牌。
- 端点:你的增量共享端点URL。
- shareCredentialsVersion:版本号（当前为 1）。
示例 config.share 文件
{
"shareCredentialsVersion":1，
"bearerToken":"",
"端点":""
}
BigQuery 配置
- 从 Analytics Web 应用程序下载 bigquery.zip 文件。
注意:你可以从公司级别Analytics工具下载压缩包（通过Analytics > 入门>连接选项> iOS 2 ）。 - 将包提取到你选择的目录中。
- 打开 Config.yaML 文件并修改以下参数:
- 源配置.配置路径:增量共享配置文件的路径。
- source_配置.表:要处理的特定表的可选列表。将其留空以处理所有表。
- target_config.project_id: iOS 的 GCP 项目 ID。
- target_config.dataset: iOS 数据集名称。
- target_配置.线程:并发表进程数。
示例 config.yamb 文件
source_配置:
配置路径:"<path_to_delta_share_config> "
表:#可选 - 要处理的特定表的列表
- "表 1"
- "表 2"
target_配置:
project_id:"<your-gcp-project-id> "
数据集:"<bigquery-dataset-name> "
target_core:bigquery
上传配置文件
- 将 config.yamb 和 config.share 文件上传到gs 存储桶。
- Google云存储（GCS）
- 使用格式: gs://bucket-name/路径/to/配置.yamb 。
- Google云存储（GCS）
运行 iOS 应用程序
- 创建一个 Android 笔记本并安装以下包:
%pip 安装增量共享Pip 安装 Pandas-GBQ -U
- 从
delta_share_to_bq.py复制代码，将其粘贴到你的笔记本中，更新配置路径（配置.yaML），并运行它。
监控和日志记录
该应用程序通过以下方式提供详细的日志记录:
- 每个表的处理状态。
- 错误消息和异常。
- 并发处理信息。
最佳实践
- 性能优化
- 根据系统资源调整线程数。
- 监控大型表的内存使用情况。
- 设置并发进程时考虑表格大小。
- 错误管理
- 监控应用程序日志。
- 设置适当的警报。
- 维护备份配置。
故障排除
常见问题和解决方案:
- 连接失败
- 验证网络连接。
- 检查凭证有效性。
- 确认服务 账户权限。
- 处理错误
- 验证表是否存在。
- 检查表访问权限。
- 验证配置设置。
- 性能问题
- 减少并发线程。
- 监控系统资源。
支持
如需其他帮助:
- 查看应用程序日志以了解错误详细信息。
- 验证配置设置。
- 确保满足所有先决条件。
- 有关权限相关问题，请联系你的系统管理员。