本测评仅代表个人观点,无任何利益倾向。
我是一位开发工程师/独立开发者,我平时的工作涉及云资源的运维和管理。
根据使用文档,我顺利的使用了使用了OS Copilot的-t / -f / 管道功能。
三个参数都很好的实现了它本身介绍的功能。提供了一种全新的运维体验。
将最先进的AI给集成进了运维场景中。一定程度上的简化了运维工作,提升了效率。
虽然有一些比较遗憾的地方,但是也是一次AI落地的新探索。
评测环境:
服务器:阿里云ECS
OS: Alibaba Cloud Linux
成功安装并创建RAM角色并授权
评测流程
配置OS Copilot阶段
RAM控制台等术语,整个过程中没有对其进行简单解释。对于小白不友好。
特别是在配置认证信息
步骤中,不容易理解。不过还是能根据步骤进行配置。创建角色步骤,图片过小,容易忽略需要选择阿里云服务
参数 -t:
不使用-t参数,运行co 当前系统健康度
仅给出了常见的查询命令和建议
后续识别到了这些命令,且提供了选择交互,但是执行出错了
使用-t参数,运行co 当前系统健康度 -t
对比:
- 使用-t参数,copilot进行了思维链的思考,并自动的执行了思考结果中含有的命令。
- 有结果总结输出,告知基本的系统健康度。
优点:
- 自动调用了agent执行,省去了多次人工输入,交互上更加的便利。
- 有输出一份汇总的报告。
缺点:
- 【轻微】案例的问题指代不明确,”系统健康度”涵盖的范围很广,不仅仅包含结果中的维度。也没有对用户进行询问,询问我具体需要查看哪些信息。实际使用过程中,并不会查询这么笼统的信息。
- 【严重】推理过程没有展示,例如模型推理过程中输出
并没有展示具体会执行哪些命令。一切命令有AI自动生成并执行。
但是对于一个陌生的新工具来说,至少对于我个人来说,我感觉这个行为不可接受。
用户不知道AI到底真实的执行了哪些命令,对系统是否会带来损害。
且执行的命令没有被系统记录到history。
如果发生意外,无法追踪。
能理解功能的本意是好的,也大概率不会出现这种情况。
但是从安全的角度出发,这种执行的行为是不能接受的。特别是root权限下。
3.【轻微】ai推理过程中出现了中英文间杂的情况。
4.【中等】展示的结果并不直观,而且是纯文字。对于习惯了这些命令输出的人来说,不能马上获取到想要的信息,需要适应一下。
5.【严重】没有提供原始数据,以及提供进一步查询某一个具体指标
对于一个新的工具而言,通常情况下对于AI的执行结果,就个人而言不会全信,毕竟AI本身的机制决定了它有可能胡说八道。因此提供命令的原始输出来供人为校验是很有必要的。
并且当一个服务器中有很多服务时,通常执行出来的都是瞬时的结果,过后再使用命令去查询可能结果又不一样了。
个人使用是无所谓,但是没有向外提供的时候,就没有原始的数据提供支撑。特别是现在大家对AI的认知不同,认同度也不同。如果对方质疑结论,根本没有办法提供有效证据来证明。
且回答结束后没有提供进一步查询的交互,比如发现了异常后,很有可能下一步就要找出占用很高的具体是哪个线程。还有可能需要观察这个线程一段时间内的资源占用变化。
参数 -f:
优点
- 对于简单命令执行的效果还是不错,并且有提供选项供用户选择。
缺点
- 【严重】示例展示了使用方法。但是没有对复杂任务做具体限制和说明。
比如具体可以执行哪些任务。
现在的说明就容易让人误解成文件中的内容可以随便写,copilot都能执行。
就容易出现下面的情况。
从示例中看,要想让copilot执行复杂任务,在task文件里其实需要把任务描述的很详细,
提供很多必要信息给到copilot才行。
但是说明中没有明确的提醒,就容易出现用户随便写一个任务,缺失了很多必要信息,
copilot执行不了的问题。
且同样的问题,推理完就自动执行了内容,没有经过用户的确认,直接就抛出异常。
用户根本不知道服务器被执行了什么命令。
2.【轻微】示例不贴切,示例很好的展现了copilot执行复杂任务的能力。但是实际场景下不会在服务器上去现写python脚本,并执行未知内容的python脚本。数据也不会放在文件中。
参数 |
:
优点
- “|”功能是有效的,确实把上一步命令的内容都传递给了copilot。省去了很多输入时间。
缺点
直接复制体验流程中的命令运行出错,且弹出了英文回复
已经要执行往下执行了,还是弹出了“ How may I assist you this time? 您可以使用中文或英文与我进行沟通。”
且后续的执行隔了一两秒才出现,一开始让人以为又执行失败了。后续对每个参数都进行了解释,特别冗长,输出了很久。且都是英文。
并且对参数如何设置,设置成什么值会有什么效果,进行了假想,其实用户不需要这些内容。体验流程中的指导不够接地气。
没有好的展示出如何在现实场景去使用。只能靠猜。
按示例去模拟测试一个docker -h | co。
参数非常多,copilot输出了非常的多的内容,光阅读就非常长的时间。
且输出很啰嗦没有重点。使用的心智负担很重。copilot自行进行联想,联想了一些非本次目标的内容,导致输出更加冗长。且会自行执行一些内容,不受控制。