开发者社区> 问答> 正文

请问MsDataset可以加载本地路径的dataset吗?

请问MsDataset可以加载本地路径的dataset吗?我把本地dataset编辑成Msdataset一样的格式。

展开
收起
fuxixi 2022-12-26 12:45:42 861 0
1 条回答
写回答
取消 提交回答
  • 也支持的,参考如下方式: 方式1: from modelscope.msdatasets import MsDataset

    (需保证 ../data/ 文件夹下平铺所有csv文件,并且文件名字为 train.csv, test.csv)

    local_data = MsDataset.load('/Users/xxx/your-local-path/data') train_set = local_data['train'] test_set = local_data['test'] print(next(iter(train_set))) print(next(iter(test_set)))

    方式2:

    支持自定义文件名(如果是json格式,则第一个参数替换成'json'; 同理txt格式则替换成'text')

    local_data = MsDataset.load('csv', data_files={'train': ['/Users/xxx/your-local-path/my_train.csv'], 'test': ['/Users/xxx/your-local-path/data/my_test.csv']}) train_set = local_data['train'] test_set = local_data['test'] print(next(iter(train_set))) print(next(iter(test_set)))此答案整理自钉钉群“魔搭ModelScope开发者联盟群 ①”

    2022-12-26 21:04:41
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
技术图谱:由专家组参与技术图谱的绘制与编写,知识与实践的结合让开发者们掌握学习路线与逻辑,快速提升技能 电子书:电子书由阿里内外专家打造,供开发者们下载学习,更与课程相结合,使用户更易理解掌握课程内容 训练营:学习训练营 深入浅出,专家授课,带领开发者们快速上云 精品课程:汇集知识碎片,解决技术难题,体系化学习场景,深入浅出,易于理解 技能自测:提供免费测试,摸底自查 体验实验室:学完即练,云资源免费使用
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载