手动下载 Cora 数据集的文件 cora.cites 和 cora.content 后，你可以通过以下步骤将它们加载到 Python 环境中，并使用 PyTorch Geometric 或其他工具进行进一步处理和分析。
数据集文件说明
-
cora.cites: 包含了论文之间的引用关系。每一行表示一条引用关系，格式为
paper_id_cited paper_id_citing。例如，论文id35 论文id1033 -
cora.content: 包含了论文的特征信息和标签。每一行表示一个论文，第一个字段是论文的 id，接着的特征字段（可以是文本特征、词袋表示、节点属性等），最后一个字段是论文所属的类别标签。例如，第一篇论文id 31336，类别 Neural_Networks，中间部分特征字段
对chatgpt生成代码进行修改运行结果
Number of citation relations: 5429
Number of papers: 2708
Citation relations:
35 1033
35 103482
35 103515
35 1050679
35 1103960
Paper content:
len line_content 1435
line_content[0] 31336
line_content[-1] Neural_Networks
len line_content 1435
line_content[0] 1061127
line_content[-1] Rule_Learning
len line_content 1435
line_content[0] 1106406
line_content[-1] Reinforcement_Learning
len line_content 1435
line_content[0] 13195
line_content[-1] Reinforcement_Learning
len line_content 1435
line_content[0] 37879
line_content[-1] Probabilistic_Methods
import numpy as np
# 文件路径
cites_file = './cora/cora/cora.cites'
content_file = './cora/cora/cora.content'
# 读取引用关系数据
with open(cites_file, 'r') as f:
cites_lines = f.readlines()
# 读取论文特征和标签数据
with open(content_file, 'r') as f:
content_lines = f.readlines()
# 打印数据示例
print(f'Number of citation relations: {len(cites_lines)}')
print(f'Number of papers: {len(content_lines)}')
# 示例：打印前几行数据
print('Citation relations:')
for line in cites_lines[:5]:
print(line.strip())
print('Paper content:')
for line in content_lines[:5]:
# print(line.strip())
line_content = line.strip().split()
print(f"len line_content {len(line_content)}")
print(f"line_content[0] {line_content[0]}")
print(f"line_content[-1] {line_content[-1]}")
- 以下是chatgpt生成的原始代码
处理步骤
-
加载数据文件：
使用 Python 的文件读取方法加载数据文件并进行处理。这里我们使用简单的文件读取和处理方法示例：
import numpy as np # 文件路径 cites_file = 'path_to_cora.cites' content_file = 'path_to_cora.content' # 读取引用关系数据 with open(cites_file, 'r') as f: cites_lines = f.readlines() # 读取论文特征和标签数据 with open(content_file, 'r') as f: content_lines = f.readlines() # 打印数据示例 print(f'Number of citation relations: {len(cites_lines)}') print(f'Number of papers: {len(content_lines)}') # 示例：打印前几行数据 print('Citation relations:') for line in cites_lines[:5]: print(line.strip()) print('Paper content:') for line in content_lines[:5]: print(line.strip()) -
解析数据：
根据数据文件的格式，解析每一行数据，构建对应的数据结构。这里的数据结构可以是 Python 的列表、字典或者 Pandas 的 DataFrame，具体取决于后续数据处理和使用的需求。
# 解析引用关系数据 citation_edges = [] for line in cites_lines: parts = line.strip().split() cited = parts[0] citing = parts[1] citation_edges.append((cited, citing)) # 解析论文特征和标签数据 paper_features = [] paper_labels = [] for line in content_lines: parts = line.strip().split() paper_id = parts[0] features = list(map(float, parts[1:-1])) # 读取特征，假设是数值型特征 label = parts[-1] paper_features.append(features) paper_labels.append(label) # 转换为 NumPy 数组 paper_features = np.array(paper_features, dtype=np.float32) paper_labels = np.array(paper_labels) # 打印解析结果的示例 print(f'Parsed {len(citation_edges)} citation edges') print(f'Parsed {len(paper_features)} papers with features and labels') # 示例：打印前几条引用关系和论文特征 print('Parsed citation edges:') for edge in citation_edges[:5]: print(edge) print('Parsed paper features and labels:') for i in range(5): print(f'Paper {i + 1}: Features = {paper_features[i]}, Label = {paper_labels[i]}')
最后一部分打印输出
Parsed 5429 citation edges
Parsed 2708 papers with features and labels
Parsed citation edges:
('35', '1033')
('35', '103482')
('35', '103515')
('35', '1050679')
('35', '1103960')
Parsed paper features and labels:
Paper 1: Features = [0. 0. 0. ... 0. 0. 0.], Label = Neural_Networks
Paper 2: Features = [0. 0. 0. ... 0. 0. 0.], Label = Rule_Learning
Paper 3: Features = [0. 0. 0. ... 0. 0. 0.], Label = Reinforcement_Learning
Paper 4: Features = [0. 0. 0. ... 0. 0. 0.], Label = Reinforcement_Learning
Paper 5: Features = [0. 0. 0. ... 0. 0. 0.], Label = Probabilistic_Methods
-
进一步处理和分析：
接下来，你可以使用加载和解析的数据进行进一步的处理和分析，例如构建图结构、训练机器学习模型或进行数据可视化等操作。如果你打算使用 PyTorch Geometric，可以根据需要将数据转换为 PyTorch 张量或直接使用 PyTorch Geometric 提供的工具类加载数据。
通过这些步骤，你可以有效地加载和处理手动下载的 Cora 数据集文件，并在需要时将其集成到机器学习或图神经网络任务中。
