矩阵计算还是循环计算?一次空间换时间的优化
平时开发时,为了开发速度以及可读性,我们常常会直接选择写for循环来实现计算逻辑。但是熟悉科学计算的朋友一定知道,这样的代码在计算效率上并非最优的,在某些时候我们可以仅仅通过将计算逻辑改造为矩阵(张量)计算以实现计算效率的明显提升。本文就以笔者之前做表格还原任务时遇到的一个性能问题为例,对比一下算法 ...
Toolformer:LLM时代的一种知识外挂方案
最近以ChatGPT为代表的LLM方向很是火热,但不得不说的是,虽然LLM很惊艳,依然存在很多局限性,例如:数学计算能力有待提升、知识库虽然很庞大了但依然不够全面等。转念一想,我们人就很厉害吗?其实并不是。虽然普通人很难进行高位数的加减乘除计算、无法上知天文下知地理,但人类最智能的地方在于我们会使用 ...
从ChatGPT思考垂类AI的发展——挑战、理性、机遇、坚持
最近chatGPT再一次引发了世人对人工智能领域的广泛关注,可以说是人工智能发展史上的一个新的里程碑。笔者身边行业内外的朋友们都纷纷体验了这一史无前例的对话系统,大家的反馈也都出奇地一致——“太强大了!”是啊,一个能准确理解提问者的意图并给出流畅的答案、能进行知识问答、甚至还能写代码的人工智能产品, ...
T480s升级:忒修斯之船的最后一块木板——电池
笔者在今年年初在M1 MacBook Air功率实测一文中提到过自己的Thinkpad T480s使用三年后的电池损耗为30%,之后由于工作与疫情原因一直未能处理。最近,由于深圳疫情终于好转,加上项目也进入一个相对平稳的迭代期,所以趁着周末从某东上花了200+大洋买了一块小黑的新电池,给笔者的T48 ...
Wav2Vec2结构优化理论:对Transformer的优化总是有效吗?
在Wav2Vec2.:语音领域的预训练模型中,笔者对wav2vec2.0进行了简单介绍,并在文章的结尾部分指出了该模型的一个落地限制因素——重。在深度学习中,当我们描述一个模型“重”时,指的是它在进行训练与推断时计算量的庞大,那么问题来了——是什么导致了wav2vec2计算量如此庞大呢?
想要搞清楚 ...
Wav2Vec2.0:语音领域的预训练模型
近期,由于工作原因,笔者需要为公司开发一个领域适配的语音模型。从以往在NLP领域的工作来看,现如今预训练+微调机制已经在CV与NLP方向上充分证明了它的有效性,而语音作为AI研究经典方向之一自然也存在相应的研究。本文将介绍一个由Facebook AI Research(FAIR)于2020年提出的在 ...
M1 MacBook Air功率实测
背景大家应该都知道2020年果厂将自家牙膏挤爆,推出了m1芯片,掀了一回笔记本行业的桌。但无奈当时的小覃无暇顾及自己的硬件配置,未能尝到首波科技福利的甜头。21年工作逐渐步入正轨之后也有了一定的能力,给女朋友安排了一台m1的低配版MacBook Air,以替换她原来的远古笔记本。而我自己依然用着20 ...
在服务器中启动多个Neo4j数据库
先给出解决方案:利用docker创建多个Neo4j容器,并且为每个镜像都配置不同的端口映射。
———— ———— 以下正文 ———— ————
最近由于个人项目的原因,需要用到多个图数据库,并且希望多个图数据库之间相互独立,即:仅给指定人群访问部分数据库的权限。在尝试了多种 ...
RASA随笔(一)
早先曾经在项目中接触过一次RASA,近期又遇到了类似的项目,于是又开始使用RASA,本次项目比较有趣,对RASA的使用程度与深度大大高于上一个项目,便想开个不定期更新的随笔专栏,记录一下在使用RASA这个强大多轮对话框架时的一些心得体会。
需要说明一点,笔者个人比较熟悉rasa1.10.x版本, ...
GITEE+HEXO部署博客的一个小坑
先前很长一段时间内,由于工作及换工作的原因都没有发博客,但是中途其实有对博客上的一些信息进行了更新。每次更新的时候,都执行的是
plaintext123hexo cleanhexo ghexo d
来进行博客部署,但是之前很纳闷虽然成功地将更新后的资源push到了gitee与github上,但博客中 ...