机器学习PAI我如何知道某个表某个分区的instances id呢？

机器学习PAI如果我想本地查某个表的某个分区的状态，
我看到pyodps可以这样。
instance = o.get_instance('2016042605520945g9k5pvyi2')
instance.status

但是我如何知道某个表某个分区的instances id呢？

而且odps.list_instances() 得到的instances id 与dataworks运维里查的不一样。
odps.list_instances() 的结果是前面数字，后面字母。
dataworks运维里查的只有一串数字

展开

收起

真的很搞笑 2023-11-05 16:27:45 76 0

3 条回答

写回答

取消提交回答

芯在这
可以参考下
import datetime
import sys

from odps import ODPS

获取前1天或N天的日期，beforeOfDay=1：前1天；beforeOfDay=N：前N天

def getdate(beforeOfDay):
today = datetime.datetime.now()
```
# 计算偏移量
offset = datetime.timedelta(days=-beforeOfDay)
# 获取想要的日期的时间
re_date = (today + offset).strftime('%Y%m%d')
return re_date
```
table上传完成后在signal table中创建一个done分区

signal_table = '{table_name}'
round = 60
sec = 300

每5分钟检查一次，一共60次，共等待5个小时

日期

day = getdate(1)
print(day)

得到表

import time
while round > 0:
t = o.get_table(signal_table)
```
exist = t.exist_partition('day=%s.done'%(day))
if exist:
    print("found partition %s.done"%(day))
    sys.exit(0)
print(time.asctime( time.localtime(time.time()) ),",can not found partition %s.done"%(day))
time.sleep(sec)
```
print("can not found partition %s.done"%(day))
sys.exit(1)，此回答整理自钉群“【EasyRec】推荐算法交流群”
2023-11-07 23:50:36

赞同展开评论打赏
sunrr
要查看某个表某个分区的实例ID，您可以使用以下方法：
1. 首先，确保您已经安装了pyodps库。如果没有，请使用以下命令安装：
```
pip install pyodps
```
1. 然后，使用以下代码连接到您的ODPS帐户并获取实例列表：
```
from odps import ODPS

# 替换为您的ODPS项目名称、访问密钥和默认数据库名称
access_id = 'your_access_id'
access_key = 'your_access_key'
project = 'your_project_name'
default_db = 'your_default_db'

# 创建ODPS对象并连接到您的帐户
odps = ODPS(access_id, access_key, project, default_db)

# 获取实例列表
instances = odps.list_instances()

# 打印实例列表
for instance in instances:
    print(instance)
```
1. 在输出的实例列表中，查找与您感兴趣的表和分区相关的实例。实例ID通常位于实例名称的开头，后面跟着一串字母。
请注意，odps.list_instances()返回的实例ID可能与DataWorks运维界面中的实例ID不同。这是因为这两个系统可能使用了不同的命名约定或存储方式。在这种情况下，您需要仔细检查实例列表以找到与您感兴趣的表和分区相关的实例。
2023-11-06 10:51:15

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。

要查询特定表特定分区的状态，你可以使用 odps.get_table_partition_instances(table_name, partition) 函数来获取该分区的所有实例，然后遍历每个实例并查询其状态。
对于 odps.list_instances() 和 DataWorks 中显示的不同ID格式，我推测这可能是因为它们是从不同的源获取信息并使用不同的命名约定。

2023-11-05 16:31:06

赞同展开评论打赏