阿里云高校计划视觉AI五天训练营 Day 1

简介: 在这个人工智能已经普及的时代,各行各业都充斥着AI的身影。大部分人认为人工智能起点高,入门难,想要使用AI服务又无法独立完成编写,阿里云视觉平台是基于阿里巴巴视觉智能技术实践经验,面向视觉智能技术企业和开发商(含开发者),为其提供高易用、普惠的视觉API服务,帮助企业快速建立视觉智能技术的应用能力的综合性视觉AI能力平台。

视觉生产技术

视觉生产定义

通过一个或一系列视觉过程,产生新的视觉表达。
1.png

视觉生产分类

生成:从0到1
拓展:从1到N
摘要:从N到1
升维:从An到An+1

增强/变换
插入/合成
擦除
1.png

视觉生产通用框架

1.png

视觉生产五个关键维度

满足视觉美学表现,可看
合乎语义内容逻辑
保证结果丰富性
提供用户预期的抓手,可控
带来用户和商业价值
1.png

精细理解

精细理解 分割抠图

视觉分割是生产的必要前置步骤,唯有理解方能生成。
识别:知道是什么
1.png
检测:识别+知道在哪里
1.png
分割:识别+检测
1.png

分割抠图 难点

复杂背景
遮挡
发丝精扣
边缘反色
透明材质
多尺度,多目标

数据严重不住,标注成本高

分割抠图 解题思路

语义分割
实例分割
image matting
1.png

分割抠图 模型框架

step1 mask粗分割
step2 mask质量统一
step3 估计精确alpha

分割抠图 抠图扩展

人像-分割不同区域
1.png
物体抠图
1.png
场景
1.png

视觉生成

平面图像设计生成——鹿班

1.png
框架流程:
需求-草图-选状态-调细节-生成-评价
样例:电商需求设计,照图生图,个性化设计,智能美工,

视频生成——AlibabaWood

1.png
框架流程:
素材准备-基础特效-智能特效-智能编排
样例:视频封面,商品展示

视觉编辑

视频的增删查改

视频植入:广告位检测定位,广告位跟踪,遮挡,透视,素材匹配,光影渲染
1.png1.png2.png

动态检测分割

视频内容擦除

擦除字幕,台标,广告,场景文字
流程:
定位-分割-充填-训练
1.png

画幅变化

视频画幅变化:主体检测分割+背景拉伸+背景补全+智能构图裁剪+超分辨率=多保留有效画面
图像尺寸变化

视觉增强

主要包括:人脸增强,去噪声,通用场景超分,LDR升HDR,视频插帧等
人脸增强
1.png
场景超分
2.png

颜色扩展

1.png

视觉制造

包装设计
服装设计:3d,材质工艺,纹理图案迁移,流行色,背景融合
1.png

视觉智能开放平台

vision
规模化、多样化、细粒度、场景化
1.png

结语

第一天的课程简单介绍了视觉AI的分类和工程运用。

相关文章
|
3月前
|
JSON 人工智能 数据格式
AI计算机视觉笔记二十六:YOLOV8自训练关键点检测
本文档详细记录了使用YOLOv8训练关键点检测模型的过程。首先通过清华源安装YOLOv8,并验证安装。接着通过示例权重文件与测试图片`bus.jpg`演示预测流程。为准备训练数据,文档介绍了如何使用`labelme`标注工具进行关键点标注,并提供了一个Python脚本`labelme2yolo.py`将标注结果从JSON格式转换为YOLO所需的TXT格式。随后,通过Jupyter Notebook可视化标注结果确保准确性。最后,文档展示了如何组织数据集目录结构,并提供了训练与测试代码示例,包括配置文件`smoke.yaml`及训练脚本`train.py`,帮助读者完成自定义模型的训练与评估。
|
4天前
|
机器学习/深度学习 存储 人工智能
【AI系统】感知量化训练 QAT
本文介绍感知量化训练(QAT)流程,旨在减少神经网络从FP32量化至INT8时的精度损失。通过在模型中插入伪量化节点(FakeQuant)模拟量化误差,并在训练中最小化这些误差,使模型适应量化环境。文章还探讨了伪量化节点的作用、正向与反向传播处理、TensorRT中的QAT模型高效推理,以及QAT与PTQ的对比,提供了实践技巧,如从良好校准的PTQ模型开始、采用余弦退火学习率计划等。
25 2
【AI系统】感知量化训练 QAT
|
4天前
|
机器学习/深度学习 存储 人工智能
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术,涵盖动态和静态量化方法,旨在将模型权重和激活从浮点数转换为整数,以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制,文章探讨了如何平衡模型精度与性能,同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
22 1
【AI系统】训练后量化与部署
|
3天前
|
人工智能 PyTorch 测试技术
【AI系统】并行训练基本介绍
分布式训练通过将任务分配至多个节点,显著提升模型训练效率与精度。本文聚焦PyTorch2.0中的分布式训练技术,涵盖数据并行、模型并行及混合并行等策略,以及DDP、RPC等核心组件的应用,旨在帮助开发者针对不同场景选择最合适的训练方式,实现高效的大模型训练。
31 8
|
13天前
|
机器学习/深度学习 存储 人工智能
【AI系统】谷歌 TPU v2 训练芯片
2017年,谷歌推出TPU v2,专为神经网络训练设计,标志着从推理转向训练的重大转变。TPU v2引入多项创新,包括Vector Memory、Vector Unit、MXU及HBM内存,以应对训练中数据并行、计算复杂度高等挑战。其高效互联技术构建了TPU v2超级计算机,显著提升大规模模型训练的效率和性能。
28 0
|
2月前
|
Python 机器学习/深度学习 人工智能
手把手教你从零开始构建并训练你的第一个强化学习智能体:深入浅出Agent项目实战,带你体验编程与AI结合的乐趣
【10月更文挑战第1天】本文通过构建一个简单的强化学习环境,演示了如何创建和训练智能体以完成特定任务。我们使用Python、OpenAI Gym和PyTorch搭建了一个基础的智能体,使其学会在CartPole-v1环境中保持杆子不倒。文中详细介绍了环境设置、神经网络构建及训练过程。此实战案例有助于理解智能体的工作原理及基本训练方法,为更复杂应用奠定基础。首先需安装必要库: ```bash pip install gym torch ``` 接着定义环境并与之交互,实现智能体的训练。通过多个回合的试错学习,智能体逐步优化其策略。这一过程虽从基础做起,但为后续研究提供了良好起点。
168 4
手把手教你从零开始构建并训练你的第一个强化学习智能体:深入浅出Agent项目实战,带你体验编程与AI结合的乐趣
|
2月前
|
机器学习/深度学习 人工智能 数据挖掘
阿里云云工开物助力高校的高校计划有什么用
阿里云“云工开物”高校计划旨在推动云计算技术在高校的普及与应用,通过提供云计算资源、算力支持、在线学习平台、开发者社区及数据科学竞赛等,帮助大学生提升实践能力和创新思维,培养更多创新型人才,促进校企合作。
225 2
|
2月前
|
机器学习/深度学习 人工智能 算法
使用 NVIDIA TAO Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程
NVIDIA TAO Toolkit 5.0 提供低代码框架,支持从新手到专家级别的用户快速开发视觉AI模型。新版本引入了开源架构、基于Transformer的预训练模型、AI辅助数据标注等功能,显著提升了模型开发效率和精度。TAO Toolkit 5.0 还支持多平台部署,包括GPU、CPU、MCU等,简化了模型训练和优化流程,适用于广泛的AI应用场景。
65 0
使用 NVIDIA TAO Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程
|
3月前
|
机器学习/深度学习 人工智能 数据挖掘
云工开物 阿里云高校计划!
阿里云致力于通过先进的云计算技术推动高校科研与教育发展,确保每位在校大学生都能受益于普惠算力。
|
3月前
|
人工智能 开发工具 计算机视觉
AI计算机视觉笔记三十:yolov8_obb旋转框训练
本文介绍了如何使用AUTODL环境搭建YOLOv8-obb的训练流程。首先创建虚拟环境并激活,然后通过指定清华源安装ultralytics库。接着下载YOLOv8源码,并使用指定命令开始训练,过程中可能会下载yolov8n.pt文件。训练完成后,可使用相应命令进行预测测试。