Deep Learning - Tag - Xiaopeng Xuhttps://xu-xp.com/tags/deep-learning/Deep Learning - Tag - Xiaopeng XuHugo -- gohugo.ioenxiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)Mon, 01 Jan 2024 00:00:00 +0000深度学习在图上的应用https://xu-xp.com/posts/dl_in_graph/Mon, 01 Jan 2024 00:00:00 +0000xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)https://xu-xp.com/posts/dl_in_graph/<blockquote> <p>Zhang Z , Cui P , Zhu W . Deep Learning on Graphs: A Survey[J]. 2018. 深度学习在大量领域表现出明显的效果，无论是语音，图像，还是自然语言处理。但是由于图结构数据具有独特的属性，深度学习并不是自然的适用。最近，在这个方向进行了大量的研究极大地促进了图分析技术。调研了可以应用于图的不同种类深度学习方法，主要分为三大类：半监督学习，包括图神经网络和图卷积神经网络；无监督学习图自编码机；最新的进展，图循环神经网络和图强化学习。分析了不同方法的特点和联系。</p>Transformer 学习笔记https://xu-xp.com/posts/transformer_notes/Mon, 13 Jun 2022 00:00:00 +0000xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)https://xu-xp.com/posts/transformer_notes/基础介绍

参考：

  1. https://lilianweng.github.io/posts/2020-04-07-the-transformer-family/

  2. https://zhuanlan.zhihu.com/p/351558402

注意力机制 attention

Attention 是神经网络中的一种机制：模型可以通过选择性地关注给定的数据集来学习做出预测。Attention的个数是通过学习权重来量化的，输出则通常是一个加权平均值。

]]>DL 深度学习笔记https://xu-xp.com/posts/deep_learning/Mon, 14 Jun 2021 00:00:00 +0000xiaopeng.xu@kaust.edu.sa (Xiaopeng Xu)https://xu-xp.com/posts/deep_learning/NN 基础

二分类问题

  • 对 64x64x3 的图片，判断是否有猫（1/0）

基本标记

  • X 的每一行对应的是一个样本，每一列对应的是一个特征。

逻辑回归 (Logistics regression)