人工智能大模型也不能挽救一个破碎的文件啊（脊髓，神经单细胞标准数据集）

Posted on by

答读者问的时候，我演示了一下使用人工智能大模型来试图解决R文件读取的问题(2022-GSE172167-脊髓损伤)，可以看到作者给出来了如下所示的文件 ：

GSE172167_SCI_all_nuclei.rds.gz 1.8 Gb RDS
GSE172167_barcodes.txt.gz 331.1 Kb TXT
GSE172167_features.txt.gz 82.7 Kb TXT
GSE172167_meta.txt.gz 73.2 Kb TXT
GSE172167_spinalcord_SCI_counts_matrix.mtx.gz 83.9 Mb MTX

我的第一次提问是：

我有3个文件，barcodes.tsv.gz features.tsv.gz matrix.mtx.gz，然后使用Read10X读取这3个文件，然后失败了，报错信息是 Error in readMM(file = matrix.loc) : file is not a MatrixMarket file ，可能的原因是什么？

然后人工智能大模型给我的回答是：

如果报错信息 “Error in readMM(file = matrix.loc) : file is not a MatrixMarket file” 指的是 Read10X 函数在尝试读取 matrix.mtx.gz 文件时，该文件不符合 MatrixMarket 格式的期望结构。可能的原因包括：

  1. 文件格式不正确：matrix.mtx.gz 可能不是以 MatrixMarket 格式保存的，或者文件在保存或传输过程中被损坏 。
  2. 文件命名或路径问题：确保文件名和路径与 Read10X 函数的期望相匹配，并且所有必要的文件（barcodes.tsv.gz、features.tsv.gz 和 matrix.mtx.gz）都位于同一目录中 。
  3. 文件内容问题：有时文件可能存在额外的空行或不规则格式，如 UTF-8 编码的 BOM 特征，这可能导致读取失败 。
  4. Seurat 版本不兼容：使用的 Seurat 包版本可能与 10X 格式的数据不完全兼容，尤其是在不同版本间存在差异时 。
  5. 工作路径问题：如果工作路径中包含非英文字符或格式不正确，也可能导致读取失败 。

解决这个问题，你可以尝试以下步骤：

  • 确认文件是否完整且未被损坏。可以使用文件校验和（如 md5sum）来验证文件的完整性。
  • 检查 matrix.mtx.gz 文件是否确实是 MatrixMarket 格式，并且没有损坏或格式错误。
  • 确保文件名和路径符合 Read10X 函数的要求，并且没有非英文字符或空格。
  • 尝试重新下载或生成文件，以确保它们是正确的格式。
  • 如果问题依旧存在，可以考虑使用 Matrix::readMM() 函数手动读取矩阵，并确保行名和列名正确设置 。
  • 检查是否有最新版本的 Seurat 包或 Cell Ranger 软件，并更新到最新版本以提高兼容性 。

如果上述步骤无法解决问题，你可能需要进一步检查文件的详细内容，或在 Seurat 的官方支持论坛、GitHub 问题跟踪器上寻求帮助，并提供尽可能多的错误信息和上下文。

很明显，这个GSE172167数据集的

第二次我尝试使用data.table::fread的方法去读取这个文件：

> ct=data.table::fread('inputs/GSE172167_spinalcord_SCI_counts_matrix.mtx.gz ',data.table = T) 
Error in data.table::fread 
 R character strings are limited to 2^31-1 bytes
此外: There were 50 or more warnings (use warnings() to see the first 50)

然后人工智能大模型给我的回答是：

报错信息 “R character strings are limited to 2^31-1 bytes” 表示你尝试在R中读取或操作的字符串超过了它能处理的最大长度限制，即约2GB 。这通常发生在尝试读取非常大的文件时，因为R可能无法一次性处理这么多的数据。

要解决这个问题，你可以尝试以下几种方法：

  1. 使用流式读取：如果可能，尝试逐块读取数据，而不是一次性读取整个文件。data.table 的 fread 函数可以使用 nrows 参数来限制一次读取的行数。

  2. 增加R的内存限制：在某些情况下，可能需要增加R的内存限制。这可以通过在R会话中设置 memory.limit() 来实现，但请注意这可能不会总是有效，因为物理内存大小是最终的限制。

  3. 检查文件格式：如果文件包含异常长的行或列，考虑是否可以重新格式化文件，例如，通过分割长字符串或过滤掉不必要的数据。

  4. 使用其他工具：对于非常大的数据集，可能需要使用更强大的数据库系统或专门的大数据处理工具。

  5. 优化数据类型：在R中，可以通过指定列的数据类型为更小的数据类型（如 integer 而不是 numeric），来减少内存使用。

  6. 使用其他包：有些其他的R包，如 vroom，可能提供了更高效的数据读取方式 。

  7. 使用内存映射：对于非常大的文件，可以使用内存映射技术来访问文件的一部分，而不是一次性加载整个文件。

  8. 避免在循环中读取：如果可能，避免在循环中重复读取同一个大文件，这可以通过预先计算并存储结果来优化。

如果上述方法仍然无法解决问题，可能需要进一步检查数据文件或寻求专业的数据科学家或IT专家的帮助。

我这个时候并不想接受人工智能大模型的建议了，这个mtx后缀的文件并不是以 MatrixMarket 格式保存的，也就是说并不是稀疏矩阵。可以看到其实是20700个基因，以及在67903个单细胞的表达量矩阵文件。我就简单的read_table读取它。但是诡异的是这个表达量矩阵文件的基因名字文件居然是数量不一致，是 20697 个基因：

 wc -l spinalcord_SCI_counts_matrix.mtx
20700

head -1 spinalcord_SCI_counts_matrix.mtx |tr ' ' '\n' |wc
 67903 
 wc features.tsv 
 20697 

 > ct = read_table('inputs/spinalcord_SCI_counts_matrix.mtx')

── Column specification ────────────────────────────────────────────────────────────────────────
cols(
 .default = col_double()
)
ℹ Use `spec()` for the full column specifications.

|=================================================================================| 100% 6701 MB
Warning: 6 parsing failures.
 row col expected actual file
 6321 -- 67903 columns 22571 columns 'inputs/spinalcord_SCI_counts_matrix.mtx'
 6322 -- 67903 columns 45333 columns 'inputs/spinalcord_SCI_counts_matrix.mtx'
12647 -- 67903 columns 31560 columns 'inputs/spinalcord_SCI_counts_matrix.mtx'
12648 -- 67903 columns 36344 columns 'inputs/spinalcord_SCI_counts_matrix.mtx'
18973 -- 67903 columns 40549 columns 'inputs/spinalcord_SCI_counts_matrix.mtx'
..... ... ............. ............. .........................................
See problems(...) for more details.

这样的话，虽然是可以使用 read_table 函数，很艰难的读取，但是后续仍然是做不了什么分析。

其实是有GSE172167_SCI_all_nuclei.rds.gz 1.8 Gb文件，虽然说太大了，但是这个文件内容是OK的，可以直接进行降维聚类分群：

ct=readRDS('inputs/GSE172167_SCI_all_nuclei.rds')
ct
sce.all=CreateSeuratObject(counts = ct@assays$RNA$counts)
as.data.frame(sce.all@assays$RNA$counts[1:10, 1:2])
head(sce.all@meta.data, 10)
table(sce.all$orig.ident) 
sce.all

然后进行标准的降维聚类分群即可，如下所示：

标准的降维聚类分群

因为就使用了文章自己的注释信息， 所以很清晰；We identified 9 major cell classes: neurons, astrocytes, microglia/hematopoietic cells, oligodendrocyte lineage cells, Schwann cells, endothelial cells, pericytes, ependymal cells, and leptomeninges

在单细胞转录组研究中，科学家们能够识别并区分多种不同的细胞亚群，每种亚群具有其独特的基因表达模式和生物学功能。 以下是对9种主要细胞类别的介绍：

  1. 神经元（Neurons）：是神经系统的基本功能单元，负责传递电信号。在单细胞研究中，根据其电生理特性和基因表达模式，可以进一步细分为不同的神经元亚型 。

  2. 星形胶质细胞（Astrocytes）：在中枢神经系统中为神经元提供支持和营养，同时参与突触的形成和维护。它们在单细胞层面上可以根据其在大脑中的位置和功能进一步分类 。

  3. 小胶质细胞/血液来源细胞（Microglia/Hematopoietic cells）：小胶质细胞是中枢神经系统的免疫细胞，参与免疫反应和清除病原体。血液来源细胞包括不同类型的免疫细胞，它们可以进入大脑并在疾病状态下发挥作用 。

  4. 少突胶质细胞谱系细胞（Oligodendrocyte lineage cells）：负责在中枢神经系统中形成髓鞘，从而加速神经信号的传导。在单细胞研究中，可以根据它们的成熟阶段和基因表达模式进行分类 。

  5. 施万细胞（Schwann cells）：在外周神经系统中形成髓鞘，保护和支持神经元。它们在损伤后的再生和修复过程中起到关键作用 。

  6. 内皮细胞（Endothelial cells）：构成血管的内层，参与血液和组织液的交换。在单细胞研究中，内皮细胞可以根据它们所在的血管类型和组织位置进行细分 。

  7. 周细胞（Pericytes）：包围在毛细血管周围，参与血管的稳定性和收缩功能。在单细胞层面上，可以根据它们的基因表达和功能进行进一步的分类 。

  8. 室管膜细胞（Ependymal cells）：排列在脑室和脊髓中央管的内壁，参与脑脊液的生产和循环。它们具有独特的基因表达模式和功能 。

  9. 软脑膜细胞和软脑膜（Leptomeninges）：是覆盖在大脑和脊髓表面的薄膜，参与保护中枢神经系统。在单细胞研究中，可以根据它们的位置和特性进行分类 。

这些细胞亚群的识别和分类是通过单细胞转录组测序技术实现的，该技术可以提供关于每个单独细胞的基因表达信息。通过分析这些数据，研究人员能够揭示细胞之间的异质性，理解它们在健康和疾病状态下的作用 。而且文章给出来了各个单细胞亚群的特异性的高表达量的基因列表:

cell_markers <- list(
 Neorns = c("Snhg11", "Rbfox1", "Rbfox2", "Snap25"),
 Astrocytes = c("Slc7a10", "Agt", "Gfap", "Vim"),
 Microglia_Hematopoietic = c("C1qa", "Ctss", "Gpnmb", "Lgals3", "Itgax", "Ms4a4b", "Cd3g", "Nkg7"),
 OPCs = c("Cspg5", "Tnr"), # Oligodendrocyte lineage cells including oligoden- drocyte precursor cells (OPCs)
 COPs = c("Fyn", "Tcf7l2"), # committed oligodendrocyte progenitor cells (COPs) 
 Mature_Oligodendrocytes = c("Plp1", "Mag", "Mog")
)

# 打印列表查看内容
print(cell_markers)
​

Comments are closed.