模型除了像之前使用 AutoModel 根据 checkpoint 自动加载模型以外，我们也可以直接使用模型对应的 Model 类，例如 BERT 对应的就是 BertModel： 123from transformers import BertModelmodel = BertModel.from ...

自回归语言生成我们先回顾一下自回归 (auto-regressive) 语言生成的过程。自回归语言生成假设每个词语序列的概率都可以分解为一系列条件词语概率的乘积:$$P\left(w_{1: T} \mid W_0\right)=\prod_{t=1}^T P\left(w_t ...

本文主要参考transformers教程， 包括了一些自己的思考。 AttentionNLP 神经网络模型的本质就是对输入文本进行编码，常规的做法是首先对句子进行分词，然后将每个词语 (token) 都转化为对应的词向量 (token embeddings)，这样文本就转换为一个由词语向量组成的 ...

本文主要参考transformers教程， 包括了一些自己的思考。 起源与发展2017年Google 在《Attention Is All You Need》中提出了 Transformer 结构用于序列标注，在翻译任务上超过了之前最优秀的循环神经网络模型；与此同时，Fast AI 在《Univ ...

本文主要参考transformers教程， 包括了一些自己的思考。 如何建模语言？发展流程统计语言模型->NNLM->Word2Vec->LSTM->ELMO->Bert 统计语言模型统计语言模型的思路是 判断一个文字序列是否构成人类能理解并且有意义的句子。IBM实 ...

C++简介C++ 是一种静态类型的、编译式的、通用的、大小写敏感的、不规则的编程语言，支持过程化编程、面向对象编程和泛型编程。C++ 完全支持面向对象的程序设计，包括面向对象开发的四大特性：封装、继承、多态、抽象。 数据类型其中常见的C++数据类型：bool，char，int，float，doubl ...

本文旨在探讨LeetCode题目中的网格路径问题，这些问题通常涉及到动态规划或者是广度优先搜索。 网格中的最短路径LeetCode 1293给你一个 m * n 的网格，其中每个单元格不是 0（空）就是 1（障碍物）。每一步，您都可以在空白单元格中上、下、左、右移动。如果您 最多 可以消除 k 个障 ...

Python简介 有对象、模块、线程、异常处理和自动内存管理，可以加入其他语言的对比。 代码运行之前不需要编译解释执行。 动态类型语言，在声明变量时，不需要说明变量的类型。 面向对象的编程，支持通过组合与继承的方式定义类。 函数是第一类对象。 Python 代码编写快，但是运行速度比编译型语言通常要 ...

引言本系列旨在回顾一下当前深度学习领域常用的不确定性量化方法，本系列所包含文章数可能多也可能不多，随意参考，本文主要参考文献来自下面的参考文献目录。 神经网络中的点估计所谓贝叶斯神经网络就是指将原本神经网络的权重看成随机变量，这些变量可能满足某个概率分布。首先我们将神经网络看成一个概率模型$P(\m ...

二叉树是每个节点最多只有两个分支的树结构。通常分支被称为“左子树”或者“右子树”。二叉树的分支具有左右次序，不能随意颠倒。 树的遍历二叉树主要有四种遍历方式： 前序遍历：根节点->左子树->右子树 中序遍历：左子树->根节点->右子树 后序遍历：左子树->右子树-& ...