首页 / 小说书库 / AI辅助编程实战 / 正文
点评
第2章 AI辅助编程技术的工作原理

Transformer模型的一个显著特性是自注意力机制,该机制使得模型能够审视整个句子,理解单词之间的相互关系,并在处理长文本时保持这种理解。这为Transformer模型提供了一种长期记忆的能力,使其能够集中关注所有出现过的单词或标记(即整个单词或单词的一部分),从而更全面地理解上下文。

尽管具备这些能力,但Transformer模型最初并不擅长识别单词在句子中的顺序,而这却是理解句子意义的关键。位置编码(positional encoding)显得至关重要。它相当于为模型提供了一个GPS(Global Positioning System,全球定位系统),指示每个单词在句子中的位置,帮助模型区分类似“The cat chases the mouse”和“The mouse chases the cat”这样的句子。

Transformer模型通过引入更为复杂的多头注意力机制,进一步增强了其处理能力。可以想象,该模型拥有多双“眼睛”,每双“眼睛”都能从独特的视角审视信息,关注不同的方面或词语间的关系。比如,一组注意力可能专注于理解动作,另一组可能聚焦于识别主体,还有一组可能致力于捕捉地点信息。这种多角度的分析方法赋予了Transformer模型对文本更深层次的理解。

Transformer模型常以预训练模型的形式出现。由于这类模型已经在大规模数据集上完成训练,因此可以立即投入使用或进行进一步的微调。预训练完成后,模型可以通过API被轻松调用,快速集成到各种语言处理任务中。企业和个人可以迅速将Transformer模型集成到自己的系统中,比如集成到AI辅助编程应用中。此外,通过在特定领域的数据集上进行微调,这些经过预训练的LLM可以进一步优化,从而在专业领域(如医疗或法律文本分析)里发挥出色的性能。这种方式避免了从头开始开发复杂的语言模型,节省了大量时间、精力和资源。预训练模型所具备的基础语言理解能力,为开发生成式AI应用提供了一个强有力的起点。

构建和运营LLM的成本是相当高的。根据《华尔街日报》在2023年年初的报道,每位用户每月在GitHub Copilot上的花销超过20美元。在一些特定情况下,某些用户每月的花销甚至高达80美元。然而,未来几年随着生成式AI基础设施的规模化发展,预期每位用户的成本将会逐渐降低。

Transformer模型主要分为两大类——GPT(Generative Pretrained Transformer,生成式预训练Transformer)和BERT(Bidirectional Encoder Representations from Transformer,来自Transformer的双向编码器表示)。GPT是由OpenAI开发的一款工具,在文本创作、信息总结和语言转换方面表现出色。GPT基于自回归的LLM架构,这意味着在生成文本时,它会根据已经生成的内容逐字考虑,就像讲故事的人逐字逐句地展开叙述一样。GPT的技能是通过在大量文本数据上进行训练而获得的,它使用解码器来生成内容。

在AI辅助编程应用领域,用到的Transformer模型主要是GPT。实践证明,GPT能够根据开发者提供的上下文信息,有效地预测并自动完成代码,这极大地提升了编程效率。

OpenAI Playground是一个生成式AI沙盒,可用于访问OpenAI开发的各种模型。它配备了一个用户友好的图形界面,使用户能够轻松定制模型。

OpenAI Playground极大地简化了我们理解和评估各种LLM的过程,让我们能够快速把握它们的性能和局限。此外,它还允许用户根据不同的参数输入(如温度)实时测试和调整模型的行为。

不过,OpenAI对GPT的使用收取费用。如表2-2所示,费用以token为单位,根据使用量来计算。需要注意的是,价格会定期调整。好消息是,相关费用一直在下降。

表2-2 GPT收费标准

例如,假设你使用的是 GPT-4/8K 上下文LLM。你输入的提示包含1000个token,而模型生成的响应包含2000个token。那么输入费用为0.03美元,输出费用为0.12美元。

首次注册OpenAI账户时,你将获得5美元的积分,可用于OpenAI Playground,或者用于支付API调用的费用。

1. token

接下来我们详细了解一下token。OpenAI提供了一个名为Tokenizer的工具,如图2-3所示。该工具可以分析我们输入的如下内容。

输入:ChatGPT is unbelievable!  I love it.

图2-3 Tokenizer显示文本的token数量

本章共 8 页 (每页约 2000 字) · 当前第 4 页 单页阅读全部 →
1 2 3 4 5 6 … 8
跳到
上一章
目录
下一章
纠错
加书签
详情
加书架
打赏
投票
自动滚动
设置
夜间

评论 0条

加载中...

设置

阅读主题
正文字体
字体大小
18
页面宽度
滚动速度
5
语音朗读
翻页模式
💎

余额不足

您的水晶或能量余额不足,请充值后再试。

立即前往充值

🎫 投月票

1 张月票 = 1.00 水晶。感谢支持!

🎁 打赏作品

打赏将直接扣除水晶余额,鼓励作者创作。