AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

这个在机器学习PAI里config设置了啊，为啥还报错？

问题1：INFO:tensorflow:Calling model_fn. [2023-05-12 16:22:02,669][INFO] Calling model_fn. [2023-05-12 16:22:02,670][INFO] shared embeddings[num=0] Traceback (most recent call last): File "../easy_rec/python/train_eval.py", line 165, in args.check_mode) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py", line 333, in _train_and_evaluate_impl estimator_train.train_and_evaluate(estimator, train_spec, eval_spec) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/compat/estimator_train.py", line 84, in train_and_evaluate result = executor.run() File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/training.py", line 613, in run return self.run_local() File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/training.py", line 714, in run_local saving_listeners=saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/easy_rec_estimator.py", line 92, in train max_steps, saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 370, in train loss = self._train_model(input_fn, hooks, saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 1161, in _train_model return self._train_model_default(input_fn, hooks, saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 1191, in _train_model_default features, labels, ModeKeys.TRAIN, self.config) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 1149, in _call_model_fn model_fn_results = self._model_fn(features=features, **kwargs) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/easy_rec_estimator.py", line 600, in _model_fn return self._train_model_fn(features, labels, config) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/easy_rec_estimator.py", line 131, in _train_model_fn is_training=True) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/deepfm.py", line 34, in init self._wide_features, _ = self._input_layer(self._feature_dict, 'wide') File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/input_layer.py", line 96, in call features, group_name, feature_name_to_output_tensors) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/input_layer.py", line 165, in single_call_input_layer self._fc_parser) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/feature_column/feature_group.py", line 34, in select_columns wide_columns = [fc.wide_columns[x] for x in self._config.feature_names] File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/feature_column/feature_group.py", line 34, in wide_columns = [fc.wide_columns[x] for x in self._config.feature_names] KeyError: 'title'这个在机器学习PAI里config设置了啊，为啥还报错？

问题2：train_input_path: "/data/xulianming/EasyRec/data/trainV2.csv" eval_input_path: "/data/xulianming/EasyRec/data/testV2.csv" model_dir: "/data/xulianming/EasyRec/conf/DeepFM/_ckpt/"

train_config { log_step_count_steps: 500 # fine_tune_checkpoint: "" optimizer_config: { adam_optimizer: { learning_rate: { exponential_decay_learning_rate { initial_learning_rate: 0.0001 decay_steps: 500 decay_factor: 0.5 min_learning_rate: 0.0000001 } } } use_moving_average: false }

sync_replicas: true save_checkpoints_steps: 1000 num_steps: 2000 }

eval_config { metrics_set: { auc {} } }

data_config { separator: "," input_fields: { input_name: "user_id" input_type: STRING default_val:"" } input_fields: { input_name: "office_id" input_type: STRING default_val:"" } input_fields: { input_name: "user_name" input_type: STRING default_val:"" } input_fields: { input_name: "ip" input_type: STRING default_val:"" } input_fields: { input_name: "device" input_type: STRING default_val:"" } input_fields: { input_name: "province" input_type: STRING default_val:"" } input_fields: { input_name: "city" input_type: STRING default_val:"" } input_fields: { input_name: "browser" input_type: STRING default_val:"" } input_fields: { input_name: "network" input_type: STRING default_val:"" } input_fields: { input_name: "os" input_type: STRING default_val:"" } input_fields: { input_name: "version" input_type: STRING default_val:"" } input_fields: { input_name: "timestamp" input_type: STRING default_val:"" } input_fields: { input_name: "item_id" input_type: STRING default_val:"" } input_fields: { input_name: "block" input_type: STRING default_val:"" } input_fields: { input_name: "ctr" input_type: INT64 default_val:"0" } input_fields: { input_name: "title" input_type: STRING default_val:"" } input_fields: { input_name: "query" input_type: STRING default_val:"" } label_fields: "ctr"

batch_size: 8192 prefetch_size: 64 input_type: CSVInput }

feature_config: { features: { input_names: "user_id" feature_type: IdFeature hash_bucket_size: 1000000 embedding_dim: 16 } features: { input_names: "office_id" feature_type: IdFeature hash_bucket_size: 4 embedding_dim: 16 } features: { input_names: "user_name" feature_type: IdFeature hash_bucket_size: 10 embedding_dim: 16 } features: { input_names: "ip" feature_type: IdFeature embedding_dim: 16 hash_bucket_size: 50 } features: { input_names: "device" feature_type: IdFeature embedding_dim: 16 hash_bucket_size: 500000 } features : { input_names: 'province' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'city' feature_type: IdFeature hash_bucket_size: 400 embedding_dim: 16 } features : { input_names: 'browser' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'network' feature_type: IdFeature hash_bucket_size: 4 embedding_dim: 16 } features : { input_names: 'os' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'version' feature_type: IdFeature hash_bucket_size: 20 embedding_dim: 16 } features : { input_names: 'item_id' feature_type: IdFeature hash_bucket_size: 10000 embedding_dim: 16 } features : { input_names: 'block' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'title' feature_type: SequenceFeature hash_bucket_size: 20000 embedding_dim: 16 sequence_combiner: { text_cnn:{ filter_sizes:[2,3,4] num_filters:[16,8,8] } }
} features : { input_names: 'query' feature_type: SequenceFeature hash_bucket_size: 200000 embedding_dim: 32 sequence_combiner: { text_cnn:{ filter_sizes:[2,3,4] num_filters:[16,8,8] } }
}
}

model_config:{ model_class: "DeepFM" feature_groups: { group_name: "deep" feature_names: "user_id" feature_names: "office_id" feature_names: "user_name" feature_names: "ip" feature_names: "device" feature_names: "province" feature_names: "city" feature_names: "browser" feature_names: "network" feature_names: "os" feature_names: "version" feature_names: "item_id" feature_names: "block" feature_names: "title" feature_names: "query" wide_deep:DEEP } feature_groups: { group_name: "wide" feature_names: "user_id" feature_names: "office_id" feature_names: "user_name" feature_names: "ip" feature_names: "device" feature_names: "province" feature_names: "city" feature_names: "browser" feature_names: "network" feature_names: "os" feature_names: "version" feature_names: "item_id" feature_names: "block" feature_names: "title" feature_names: "query" wide_deep:WIDE }

deepfm { wide_output_dim: 16

dnn {
  hidden_units: [128, 64, 32]
}

final_dnn {
  hidden_units: [128, 64,32]
}
l2_regularization: 1e-5

} embedding_regularization: 1e-7 } [2023-05-12 16:21:56,540][WARNING] pyhive is not installed. WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:45: The name tf.GPUOptions is deprecated. Please use tf.compat.v1.GPUOptions instead.

[2023-05-12 16:21:57,039][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:45: The name tf.GPUOptions is deprecated. Please use tf.compat.v1.GPUOptions instead.

WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:46: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.

[2023-05-12 16:21:57,039][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:46: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.

WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/layer_norm.py:9: The name tf.layers.Layer is deprecated. Please use tf.compat.v1.layers.Layer instead.

[2023-05-12 16:21:57,048][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/layer_norm.py:9: The name tf.layers.Layer is deprecated. Please use tf.compat.v1.layers.Layer instead.

WARNING:tensorflow: The TensorFlow contrib module will not be included in TensorFlow 2.0. For more information, please see: * https://github.com/tensorflow/community/blob/master/rfcs/20180907-contrib-sunset.md * https://github.com/tensorflow/addons * https://github.com/tensorflow/io (for I/O related ops) If you depend on functionality not listed there, please file an issue.

[2023-05-12 16:21:57,051][WARNING] The TensorFlow contrib module will not be included in TensorFlow 2.0. For more information, please see: * https://github.com/tensorflow/community/blob/master/rfcs/20180907-contrib-sunset.md * https://github.com/tensorflow/addons * https://github.com/tensorflow/io (for I/O related ops) If you depend on functionality not listed there, please file an issue.

WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/input/csv_input.py:14: ignore_errors (from tensorflow.contrib.data.python.ops.error_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.data.experimental.ignore_errors(). [2023-05-12 16:21:57,364][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/input/csv_input.py:14: ignore_errors (from tensorflow.contrib.data.python.ops.error_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.data.experimental.ignore_errors(). easy_rec version: 0.6.2 Usage: easy_rec.help() WARNING:t

展开
收起
三分钟热度的鱼 2023-05-14 20:37:34 244 0
2 条回答
写回答
取消 提交回答
  • ReaganYoung
    值得去的地方都没有捷径

    1.这个错误信息显示 KeyError: ‘title’，说明在特征组件中没有找到名为 ‘title’ 的特征列。您需要检查一下您的特征工程代码，确认是否正确地将 ‘title’ 这个特征列添加到了特征组件中。如果确认特征工程代码没有问题，您还需要检查一下您的数据是否包含 ‘title’ 这个特征列。如果数据中没有 ‘title’ 这个特征列，您需要先对数据进行预处理，将 ‘title’ 这个特征从原始数据中提取出来，并将其添加到特征工程中。 2.这段配置文件中没有明显的错误，但需要注意以下几点：

    特征列的类型和名称是否正确，特别是在 feature_config 中，需要确保每个特征列的名称和类型与数据中的列名和类型一致。

    DeepFM 模型中的参数设置是否合理，例如 embedding_dim、hidden_units、l2_regularization 等参数是否适合当前的数据集和模型结构。

    训练和评估数据的路径是否正确，需要确保 train_input_path 和 eval_input_path 的路径与实际存储的数据路径一致。

    物理网络蓝图和部署环境蓝图是否正确，需要确保环境变量和依赖库的配置正确。

    您可以先检查以上几点，如果还有问题，请提供完整的错误信息，我将会尽力帮助您解决问题。

    2023-05-15 07:54:27
    赞同 展开评论 打赏
  • 圆不溜秋的小猫猫

    针对问题1的回答：logview 和 config文件发一下看看。 针对问题2的回答：目前wide侧不支持添加SequenceFeature，所以需要把 title、query 从wide侧移除掉。此回答整理自钉群：“【EasyRec】推荐算法交流群”

    2023-05-14 21:01:27
    赞同 展开评论 打赏
问答分类：
机器学习/深度学习 TensorFlow 算法框架/工具 Python 人工智能平台 PAI GPU云服务器 函数计算
问答标签：
机器学习人工智能平台 PAI 人工智能平台 PAI设置 人工智能平台 PAI报错 配置审计设置 人工智能平台 PAI pai
问答地址：
开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 问答
相关产品：
人工智能平台 PAI

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
人工智能平台PAI
机器学习PAI这个报错是怎么回事？
41
1
0
在机器学习PAI中，模型 predict 有个报错，是什么原因？
44
1
0
机器学习PAI超时时间可以自己设置吗？或者说可以去掉吗？
33
1
0
机器学习PAI报错的代码没有配 gpu，把 gpu 设为 0 就行？
41
0
0
机器学习PAI如果只是设置取什么特征，是不是只需要特征视图就可以，为啥要有个特征entity的概念？
24
1
0
机器学习PAI导出模型，如何设置导出sigmoid_cross_entropy 最优的模型？
51
1
0
机器学习PAI这两个特征做组合，可以的话应该怎么配置，其中的权重也可以向tag特征那样设置？
29
1
0
请教下ModelScope的语音唤醒模型 训练的过程中报错，怎么解决？
40
0
0
机器学习PAI训练模型的时候有个 tf 的报错，可以帮忙看下吗？
28
0
0
pai -designer，读csv文件时一直报错。
52
1
0
大数据与机器学习

人工智能平台PAI

人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。

我要提问

相关产品

  • 人工智能平台 PAI
    文档详情 产品详情

    • 热门讨论

    热门文章

  • P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
    3392
  • AI生成海报or人工手绘，哪个更戳你？
    2200
  • 为什么我的天池notebook中，无法创建notebook文件，也无法显示我的天池文档等内容。
    1062
  • 如何高效的往交互建模（dsw）上传较大的文件，有从阿里云盘中直接下载或类似的方法吗？
    3968
  • PAI做了线性回归的模型，预测结果后，回归模型评估的节点，结果R2的值是负的，我理解R2的取值范围?
    442
  • 为什么我的DSW，文件区没有显示我的notebook内容，也没有显示我的天池文档等部分
    517
  • 在api调用夸克搜索时，遇到权限不足问题
    412
  • 机器学习PAI我训练的AUC 0.7左右，这个效果是不是很差了？
    427
  • 无法从浏览器的剪贴板中读取。请确保你已授予此网站从剪贴板中读取的访问权限。
    86
  • 通义灵码 idea版本的代码提示如何设置？
    879
    • 展开全部
  • 【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分
    15039
  • 基于对象特征的推荐
    11818
  • PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork
    6958
  • 基于深度学习模型Wide&Deep的推荐
    7167
  • PAI深度学习Tensorflow框架多机多卡多PS Server使用说明
    5588
  • 【通知】阿里云机器学习PAI即将商业化
    3963
  • 推荐系统之业务架构总览
    4120
  • 打击黑灰产的利器 —— 图神经网络（GNN）
    3633
  • CTR中的GBDT与LR算法融合
    2503
  • 阿里云机器学习PAI征文大赛正式启动
    2414
    • 展开全部

    相关课程

    更多
  • 微服务实战-分布式配置中心 - Config
    2626
    1
    去学习
  • 场景实践 - 机器学习PAI实现精细化营销
    219
    7
    去学习
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
    177
    8
    去学习
  • 场景实践 - 基于机器学习进行收入预测分析
    107
    6
    去学习
  • 机器学习概览及常见算法
    32621
    13
    去学习
  • 机器学习入门-概念原理及常用算法
    13565
    8
    去学习

    • 相关文章

  • 探索Qwen2.5大模型在车险理赔领域的应用
  • 解锁DataWorks：一站式大数据治理神器
  • 深度分析 | 2024主流的智能客服系统有哪些？他们是怎么实现的？
  • 灵码评测------阿里云提供的ECS python3 sdk做安全组管理
  • AI视频监控技术的核心优势与实践

    • 相关电子书

    更多
    • 大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载

    相关实验场景

    更多
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
    569
    1.0小时
    去实验
  • 在PAI ArtLab一键实现欧洲杯粉丝专属贴纸制作
    982
    1.0小时
    去实验
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
    204
    1.0小时
    去实验
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
    234
    1.0小时
    去实验