论文复现-3

模型构建中的运算

数据集是CONLL03
这个数据集共有4种实体类型，所以，在做实体描述的embedding时，得到的语义表示的Tensor大小为 ：
4*max_len,
具体指的是：

type_input_ids: torch.LongTensor = None,
type_attention_mask: torch.Tensor = None,
type_token_type_ids: torch.Tensor = None,

当一个batch中数据数量设置为8时，得到的语义表示的Tensor大小为：8*max_len
具体指的是输入中的：

input_ids: torch.LongTensor = None,
attention_mask: torch.Tensor = None,
token_type_ids: torch.Tensor = None,

输入中的另外一个输入：NER

linear的向量映射是从：768——>128维