Transformer - Tag - Xiaopeng Xuhttps://xu-xp.com/tags/transformer/Transformer - Tag - Xiaopeng XuHugo -- gohugo.ioenxiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)Mon, 13 Jun 2022 00:00:00 +0000Transformer 学习笔记https://xu-xp.com/posts/transformer_notes/Mon, 13 Jun 2022 00:00:00 +0000xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)https://xu-xp.com/posts/transformer_notes/基础介绍

参考：

  1. https://lilianweng.github.io/posts/2020-04-07-the-transformer-family/

  2. https://zhuanlan.zhihu.com/p/351558402

注意力机制 attention

Attention 是神经网络中的一种机制：模型可以通过选择性地关注给定的数据集来学习做出预测。Attention的个数是通过学习权重来量化的，输出则通常是一个加权平均值。

]]>Huggingface Transformerhttps://xu-xp.com/posts/huggingface_transformer/Sun, 04 Jul 2021 00:00:00 +0000xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)https://xu-xp.com/posts/huggingface_transformer/什么是 Huggingface？

一个专门 AI 公司，维护了 python 的 transformer 库。

Transformer 介绍

什么是 NLP？

以下是常见 NLP 任务的列表，每个任务都有一些示例：

  • 对整个句子进行分类：获取评论的情绪，检测电子邮件是否为垃圾邮件，确定句子在语法上是否正确或两个句子在逻辑上是否相关

    ]]>