agileedge的流程他心里早就想清楚了,写代码那就是水到渠成的事情。
而且现在都有ai辅助,核心框架一共几千行代码写起来都不需要一个小时。
再加上自己检查,调试。
下午五点钟就搞完了核心框架的所有代码,这种速度放在几年前,那是根本不敢想的。
而写代码只能说是整个科研过程中最为简单的一个步骤了。
接下来才是折磨的开始。
跑实验——>调bug,这种枯燥的循环过程才是真正让人感觉心累的环节。
周昀在网上找了一个参数量在100b左右的大模型,本来他是打算找个几十b的就差不多了。
谁知道导师这么给力,资源多了,他也不那么扣扣嗖嗖了。
agileedge的主要作用就是将大模型压缩成小模型然后放到边缘设备里。
因为是全自动的ai框架,所以其操作流程非常的傻瓜。
只要将边缘设备连接到电脑,程序就会自动检测其硬件的具体参数,然后经过agileedge的压缩,不断地优化模型,最终形成一个能运行的模型文件。
边缘设备周昀暂时就找了一台老的智能机,内存只有32g,将手机插上数据线。
运行程序。
一个进度条出现在屏幕下方。
【预计时间:17h】
“就知道。”
只要涉及到大模型,实验的时间就不会短,不过十几个小时也算快了,前世周昀曾经一个实验跑了两周,主要就是当时的服务器实在太垃圾了。
三天后,周五。
经过几天的实验,周昀的agileedge算是初步能用,但是距离他预想的性能,还有一些差距。
而且不同的大模型之间,压缩后的性能也存在较大的差距。
本网站为网友提供小说上传储存空间平台,为网友提供在线阅读交流、txt下载,平台上的所有文学作品均来源于网友的上传
用户上传的文学作品均由网站程序自动分割展现,无人工干预,本站自身不编辑或修改网友上传的内容(请上传有合法版权的作品)
如发现本站有侵犯权利人版权内容的,请向本站投诉,一经核实,本站将立即删除相关作品并对上传人ID账号作封号处理