gashero_cn_个人页

最近一年出现的生成式AI技术使得很多人担心起自己的工作。恐惧来自未知，更多的了解生成式AI技术，有助于更好的作出判断。技术的发展是指数式的，于是人们总是高估技术在短期的影响，而低估技术的长期影响。三四年前还分不清猫狗的AI，也不会在这几年就突然变身天网，但十年后的变化则是难以估量的。 近期大火的ChatGPT就表现出了远胜以往自然语言处理的能力。生成的文字内容不仅通顺，逻辑上的前后呼应也不同以往，还结合了以往多个自然语言处理应用的能力。最近几天我还看到有人让ChatGPT生成了可以编译通过的单片机程序，当然这些程序只是确保语法正确可以编译通过，代码功能还做不到满足需求。但这也是个巨大的进步了，结合过去一两年的CoPilot等自动补全代码类的应用，AI辅助人类的工作已经上了一个新的台阶。如下是ChatGPT生成的Arduino闪耀LED的代码例子： 在深度学习出现前人们就开始尝试利用AI生成内容了。自然语言处理研究者在多年前就尝试利用词频来生成大段的文字，只是受限于模型难以构建复杂的关系，生成的内容只能说相邻的几个字是有关系的，组成的句子则难以接受。深度学习出现以后，自然语言处理上的复杂语法分析成为可能，能生成的内容也变得更加通顺。2014年在Ian Goodfellow提出GAN后，使得内容生成有了新的迭代进化方法。AI生成的内容不再仅仅是概率上说的通，而且能让更复杂的判别器难以区分真实数据和AI生成的数据。 更广义的Diffusion Model(扩散模型)是近期那些优秀机器学习模型的共同机制。包括了生成对抗网络(GAN)、变分自编码器(VAE)、流模型(Flow)、波尔兹曼机(Boltzman Machine)、自回归模型等。通过良好设计的扩散过程，使得训练集的元素可以更好的结合到一起，无论是图像层面的组合还是复杂的语法。 AI生成的画作和文本现在已经越发复杂而超出预料，在可以线性判别的领域有着不错的效果。但大家也应该看到AI生成内容的一些局限。GAN的判别器可以做分类，也可以给出一个输入的好坏分数，但并不能判断对错。从AI画图的角度看，就是能生成很华美的画面，但对满足需求却不那么擅长。近期大火的ChatGPT可以生成大段看起来很通顺的文字，但与正确还有一定的距离。同时由于判别器里图画的信息量或文字的长度也是一个重要参数，使得AI生成的内容总是华丽和罗嗦。 AI生成内容在当前的状态，很适合生成只分好坏，不分对错的内容。像是生成的音乐、画作、文字都已经有了不错的结果。同时应用的开发者也应该小心，不应让AI生成的内容污染人类生成的内容。AI生成的内容还是源自训练集，其本身不会产生新的知识。一些似是而非的内容更是难以被读者所区分，对需要寻求知识的人会产生干扰。从这个角度看，利用ChatGPT等技术来辅助搜索是个好主意，但不应该把ChatGPT生成的内容作为主要结果提供给读者。 向好的方向看，AI生成内容，可以让人们可以欣赏的内容变得更加丰富。我也十分期待AI生成内容可以出现很多意想不到的应用。AI与人类配合工作的领域里，有的是AI主导的，人类作为标注员。而早期想要推动合作，更好的方式是AI作为人类的助手，扩散模型已经表现出很多超出预期的行为，在成为更好的助手上未来可期。 十多年前，互联网行业出现了Web2.0的概念。意思是相对于Web1.0时代依靠网站编辑来生成内容，Web2.0的时代是用户生成内容(UGC)。Web2.0的时代，因为创作者更多，使得互联网的内容迎来了大爆发，人们可以享用的内容急剧增加。在AIGC即将爆发的黎明，虽然有我的担忧，但也非常期待人们可以享用的内容迎来新的大爆发。个人猜测是AIGC的时代，每个人看到的内容有可能不再是以往广播的，而是更有偏好性，更个性化的针对特定用户生成的内容。过去十几年的个性化推荐已经展现出了巨大的价值，但推荐的内容仍然是对所有人相同的，而AIGC的时代，针对每个人偏好生成的主内容相信会有很大的改变。 机器学习发展至今，已经变得越来越昂贵。机器学习工程师的努力之外，我也很希望能获得这些优秀机器学习模型来做出有趣的应用。近期看了机器学习模型分享网站Model Scope https://www.modelscope.cn/ ，里面就有非常多训练好的模型可供下载和尝试。机器学习早已不是几年前大家都想试试的状态。现在能够惊艳大家的机器学习模型，往往在数据收集、标注、训练等方面花费巨资，一些顶尖模型的训练成本甚至可达数千万人民币。此时通过ModelScope这类网站为桥梁，让应用工程师和机器学习工程师可以分头做自己最擅长的工作，就成为未来有趣应用的起点。 为了了解AIGC的一些发展状态，我在Model Scope上寻找一些自然语言处理方向的模型。不像ChatGPT注册都很困难，Model Scope无需登录即可执行测试。如下两张图分别是Model Scope社区里的'GPT-3夸夸机器人'和'GPT-3诗词生成模型'里我的测试。尤其第二个，我把古诗句做了些修改，发现对仗还算工整。