请问modelscope中,在notebook中进行模型微调/训练任务,是训练完毕后不做任何操作一小时后训练生成的模型权重等就会随着notebook实例的销毁而消失吗?notebook中上传我的私有数据集可以保证数据安全性吗?
在ModelScope的notebook中进行模型微调/训练任务,训练生成的模型权重等数据在notebook实例销毁后会丢失。ModelScope的notebook是临时性的计算环境,它的目的是为了方便用户在云端进行模型开发和实验。
关于数据安全性,ModelScope提供了一些保障措施,但仍需用户自行评估其适用性。ModelScope的notebook环境是隔离的,只有您自己可以访问您的数据和代码。此外,ModelScope也提供了一些安全功能,如数据集的加密存储和访问控制。然而,您仍然需要自行负责确保您的数据的安全性,如在上传数据集前进行加密、权限设置等。
如果您对数据的安全性有更高的要求,建议您将数据存储在自己的私有存储中,并在notebook中使用相应的API进行访问,以确保数据的安全性和隐私性。
在 Modelscope 中,在 notebook 中进行模型微调/训练任务时,如果您没有做任何操作并且实例被销毁,那么生成的模型权重和其他相关文件可能会被清理掉。这是因为 Modelscope 平台上提供的计算资源是有限的,并且为了优化资源使用和空间管理,可能会进行一定的自动清理。
要确保训练生成的模型权重不会丢失,您可以执行以下操作之一:
下载并保存模型权重:在训练完成后,及时将模型权重下载到本地存储或其他可靠的位置,以便于后续使用。
导出模型配置和权重:使用相应的导出功能,将模型配置和权重导出为可用的格式(如.h5、.ckpt等),然后将其保存到持久性存储中。
请注意,Modelscope 平台将数据和模型权重视为用户私有信息,并采取安全措施来确保数据的安全性。上传您的私有数据集至 notebook 时,Modelscope 会尽力保护您的数据,并采取适当的隐私和安全措施来防止未经授权的访问。
然而,作为用户,您也应该注意确保数据的安全性。遵循以下最佳实践可以帮助确保数据安全:
如果您有特殊安全需求或对数据安全性有进一步的担忧,请考虑在本地环境中进行训练和处理敏感数据,或寻求符合您要求的更专业的数据安全解决方案。
在 ModelScope 平台上,上传私有数据集时,您可以选择将数据集存储在自己的私有云存储中,而不是直接存储在 ModelScope 平台上。这样可以确保数据集的安全性,因为只有您自己拥有和管理私有云存储,其他人无法访问您的数据集。
另外,在 ModelScope 平台上使用 notebook 进行模型微调/训练任务时,训练生成的模型权重等数据会存储在运行 notebook 的虚拟机实例中。如果您在训练完毕后不做任何操作并且虚拟机实例在一小时内被销毁,那么训练生成的模型权重等数据会随着虚拟机实例的销毁而消失。但是,如果您需要保存模型权重等数据,建议您将其存储在私有云存储或者其他云存储中,以确保数据的安全性和可持续性。
需要注意的是,即使将数据集存储在私有云存储中,也需要遵守相关的数据保护和隐私政策,确保数据的安全性和机密性。在使用 ModelScope 平台时,建议您了解平台的数据安全政策和最佳实践,并采取适当的措施来保护您的数据。
目前是这样的,现阶段可以先用阿里云的免费试用资源再挂载nas来解决。数据都是安全的。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”