python-pytorch实现skip-gram 0.5.001

数据加载、切词

按照链接https://blog.csdn.net/m0_60688978/article/details/137538274操作后，可以获得的数据如下

1. wordList 文本中所有的分词，放入这个数组中
2. raw_text 这个可以忽略，相当于wordlist的备份，防止数据污染了
3. vocab 将wordList转变为set,即set(wordList)
4. vocab_size 所有分词的个数
5. word_to_idx 字典格式，汉字对应索引
6. idx_to_word 字典格式，索引对应汉字

准备训练数据

data3 = []
window_size1=2
for i,word in enumerate(raw_text):target = raw_text[i]contexts=raw_text[max(i - window_size1, 0): min(i + window_size1 + 1, len(raw_text))]for context in contexts:if target!=context:data3.append((context,target))
data3,len(data3)

准备模型和参数

# 超参数
learning_rate = 0.003
device = torch.device('cpu')
embedding_dim = 100
epoch = 10
class SkipGramModel(nn.Module):def __init__(self, vocab_size, embedding_dim):super(SkipGramModel, self).__init__()self.embedding = nn.Embedding