如何批量解压当前文件夹下面的全部压缩包

Posted on by

学员提问了一个小鼠的单细胞数据集，GSE232481，研究者公开了表达量矩阵文件，但是文件压缩包非常奇怪：

ls -lh *|cut -d" " -f 6-

40M 5 5 2023 GSM7337030_P0_F1.tar.gz
 32M 5 5 2023 GSM7337031_P0_F2.tar.gz
 38M 5 5 2023 GSM7337032_P0_F3.tar.gz
 34M 5 5 2023 GSM7337033_P0_M4.tar.gz
 29M 5 5 2023 GSM7337034_P0_M5.tar.gz
 40M 5 5 2023 GSM7337035_P0_M6.tar.gz
 46M 5 5 2023 GSM7337036_P0_M7.tar.gz
 43M 5 5 2023 GSM7337037_P0_F4.tar.gz
 52M 5 5 2023 GSM7337038_P0_F5.tar.gz
 55M 5 5 2023 GSM7337039_P0_F6.tar.gz
 67M 5 5 2023 GSM7337040_P0_M8.tar.gz
 70M 5 5 2023 GSM7337041_P0_M9.tar.gz
 70M 5 5 2023 GSM7337042_P0_M10.tar.gz

因为每个文件夹解压后都是同样的project文件夹名字。所以我让人工智能大模型帮我写shell命令来批量解压，如下所示的探索过程：

第一次提问：Linux的压缩包解压的时候构建文件夹存放

在Linux系统中，使用命令行解压压缩包时，通常会创建一个新的文件夹来存放解压出来的文件。以下是一些常见压缩格式及其解压命令的例子：

  1. .tar 文件（不带压缩的归档文件）:

    tar -xvf filename.tar -C /path/to/directory

    这里 -x 表示解压，-v 表示显示过程（verbose），-f 指定文件名，-C 指定要解压到的目标目录。

  2. .tar.gz 或 .tgz 文件（使用gzip压缩的归档文件）:

    tar -xzvf filename.tar.gz -C /path/to/directory

    -z 表示用gzip进行解压缩。

  3. .tar.bz2 或 .tbz2 文件（使用bzip2压缩的归档文件）:

    tar -xjvf filename.tar.bz2 -C /path/to/directory

    -j 表示用bzip2进行解压缩。

  4. .zip 文件:

    unzip filename.zip -d /path/to/directory

    -d 选项后面跟的是你想要解压到的目录路径。

  5. .rar 文件（需要安装 unrar 工具）:

    unrar x filename.rar /path/to/directory

  6. .7z 文件（需要安装 7z 工具）:

    7z x filename.7z -o/path/to/directory

    -o 后面跟的是你想要解压到的目录路径。

  7. .gz 文件（单个文件压缩）:

    gunzip filename.gz -c > /path/to/directory/extracted_filename

    -c 表示输出到标准输出，然后重定向到目标目录的文件。

确保替换 filename.[extension] 为实际的文件名，/path/to/directory 为你想要解压到的目录路径。如果目标目录不存在，可以使用 mkdir 命令先创建目录。

请注意，使用这些命令时，你可能需要相应的权限，特别是当你解压到系统级的目录时。如果需要，可以使用 sudo 来获取管理员权限。

第二次提问：批量解压当前文件夹下面的全部的压缩包

在Linux系统中，您可以使用命令行来批量解压当前目录下的所有压缩包。以下是一些常用的命令示例：

  1. 解压所有 .tar、.tar.gz、.tgz 和 .tar.bz2 文件：

    for archive in *.tar *.tar.gz *.tgz *.tar.bz2; do
if [ -f "$archive" ]; then
tar -xvf "$archive"
fi
done

  2. 解压所有 .zip 文件：

    for zip_file in *.zip; do
unzip "$zip_file"
done

  3. 解压所有 .rar 文件（需要安装 unrar）：

    for rar_file in *.rar; do
unrar x "$rar_file"
done

  4. 解压所有 .7z 文件（需要安装 7z）：

    for sevenz_file in *.7z; do
7z x "$sevenz_file"
done

  5. 解压所有 .gz 文件：

    for gz_file in *.gz; do
gunzip "$gz_file"
done

  6. 解压当前目录下的所有各种格式的压缩文件：

    for file in *; do
if [ -f "$file" ]; then
case "$file" in
*.tar) tar -xvf "$file" ;;
*.tar.gz | *.tgz) tar -xzvf "$file" ;;
*.tar.bz2) tar -xjvf "$file" ;;
*.zip) unzip "$file" ;;
*.rar) unrar x "$file" ;;
*.7z) 7z x "$file" ;;
esac
fi
done

这些脚本使用 for 循环遍历当前目录下的每个文件，并根据文件扩展名使用相应的命令进行解压。请注意，这些命令默认会将文件解压到当前目录下；如果您希望将文件解压到特定的目录，可以修改命令中的解压路径。

在运行这些脚本之前，请确保您已经安装了必要的工具（如 unzip、unrar、7z 等）。如果没有安装，可以使用包管理器（如 apt、yum 或 dnf）进行安装。

例如，使用 apt 安装所需的工具：

sudo apt update
sudo apt install unzip unrar p7zip-full

使用这些命令时要小心，因为它们会覆盖当前目录中同名的文件，而不会询问。如果需要，您可以添加额外的逻辑来检查文件是否存在，并在覆盖前进行确认。

第三次提问：解压的文件夹是压缩包文件名的前缀呢

若要解压压缩包，并将解压的文件夹命名为压缩包文件名前缀（不包含扩展名），您可以使用以下命令：

  1. 对于 .tar、.tar.gz、.tgz 和 .tar.bz2 类型的压缩文件：

    for file in *.tar *.tar.gz *.tgz *.tar.bz2; do
dir="${file%.*}" # 去除文件扩展名
tar -xvf "$file" -C "$dir" # 解压到以文件名前缀命名的目录
done

  2. 对于 .zip 类型的压缩文件：

    for file in *.zip; do
dir="${file%.*}" # 去除文件扩展名
unzip "$file" -d "$dir" # 解压到以文件名前缀命名的目录
done

  3. 对于 .rar 类型的压缩文件（需要安装 unrar）：

    for file in *.rar; do
dir="${file%.*}" # 去除文件扩展名
unrar x "$file" "$dir" # 解压到以文件名前缀命名的目录
done

  4. 对于 .7z 类型的压缩文件（需要安装 7z）：

    for file in *.7z; do
dir="${file%.*}" # 去除文件扩展名
7z x "$file" -o"$dir" # 解压到以文件名前缀命名的目录
done

  5. 对于 .gz 类型的压缩文件：

    for file in *.gz; do
dir="${file%.*}" # 去除文件扩展名
gunzip "$file" -c > "$dir" # 解压到以文件名前缀命名的文件
done

这些脚本使用 for 循环遍历当前目录下的每种类型的压缩文件，并使用变量 dir 来存储去除扩展名后的文件名前缀。然后，使用相应的命令将每个压缩文件解压到以该前缀命名的新目录中。

请注意，如果压缩文件的前缀包含特殊字符或空格，这些命令可能无法正常工作。此外，如果当前目录下已经存在以该前缀命名的目录，这些命令将会报错。您可以根据需要修改脚本，以添加检查和创建目录的逻辑。

最后的代码如下所示：

因为我有Linux基础，所以就可以看懂人工智能大模型给我的3个提升，然后写出来下面的代码：

for file in *.tar.gz ; do
 dir="${file%.*}" # 去除文件扩展名
 mkdir -p "$dir" 
 tar -xvf "$file" -C "$dir" # 解压到以文件名前缀命名的目录
done

然后就有了每个样品的表达量矩阵文件夹，就可以使用r代码批量读取走Seurat的降维聚类分群流程啦：

dir='GSE232481_RAW/output/'
samples=list.files( dir, recursive = T)
samples=unique(dirname(samples))
samples
sceList = lapply(samples,function(pro){ 
 tmp = Read10X(file.path(dir,pro ) ) 
 print(dim(tmp))
 if(length(tmp)==2){
 ct = tmp[[1]] 
 }else{ct = tmp} 
 sce =CreateSeuratObject(counts = ct ,
 project = str_split(pro,'[.]')[[1]][1] ,
 min.cells = 5,
 min.features = 300 )
 return(sce)
}) 
sce.all=merge(x=sceList[[1]],
 y=sceList[ -1 ] ) 
sce.all <- JoinLayers(sce.all)

这个数据集是肾脏，大家试试看如何对自己的降维聚类分群进行生物学命名吧：

 # proximal tubule (PT)
 # parietal epithelial cells (PEC)
 # thick ascending limb (TAL)
 # distal tubule (DCT1, DCT2)
 # connecting tubule (CNT)
 # collecting duct (PC, ICA, ICB)
 # endothelial cells (ENDO)
 # glomerular cell types (MES, PODO)
 # fibroblasts (FIB)
 # and a small population of leukocytes (LEUK) 

 celltype.markers <- c("CUBN","HAVCR1","SLC5A1","SLC5A2", # PT and PT-VCAM1+ markers
 "CFH", # PEC
 "SLC12A1", # TAL NKCC2
 "SLC12A3","TRPM6", # DCT1 and DCT2 NCC
 "SCNN1G","TRPV5", # DCT2/CNT ENaC
 "CALB1", # CNT
 "AQP2", # PC
 "ATP6V0D2", # ICA and ICB
 "SLC4A1","SLC26A7", # ICA
 "SLC26A4", # ICB
 "NPHS1","NPHS2", # PODO
 "PECAM1","FLT1","EMCN", # ENDO
 "CLDN5", # GEC
 "ITGA8","PDGFRB", # MES
 "ACTA2","CALD1", # FIB
 "PTPRC") # WBC

反正是超出了我的生物学背景啦：

肾脏单细胞亚群

肾脏的单细胞亚群

前面介绍了各个组织器官的特色上皮细胞亚群以及其对应的标记基因列表：

但是我个人的时间精力确实是有限，不可能在每个生物学细分领域都精通，所以也是整理了一个大概，大家可以粗浅的参考，更深入的细分各个器官组织的上皮单细胞亚群其实就需要认真看各种文献和综述。或者说，借助于人工智能大模型：

在肾脏中，存在多种不同的单细胞亚群，每种亚群都有其独特的结构和功能。以下是您提到的肾脏单细胞亚群的简要介绍：

  1. 近曲小管细胞（Proximal Tubule, PT）：

    • 近曲小管是肾小管的第一个部分，负责过滤血液中的废物和多余的物质，同时重吸收重要的营养物质和水分回血液。

  2. 壁层上皮细胞（Parietal Epithelial Cells, PEC）：

    • 这些细胞构成肾小囊的壁层，与肾小球上皮细胞（肾小球脏层上皮细胞）相对，参与形成肾小球滤过屏障。

  3. 髓袢升支粗段细胞（Thick Ascending Limb, TAL）：

    • 髓袢升支粗段是肾小管的一部分，负责电解质的重吸收，特别是钠、钾和氯离子。

  4. 远曲小管细胞（Distal Tubule, DCT1, DCT2）：

    • 远曲小管是肾小管的末端部分，进一步调节电解质平衡和pH值，DCT1和DCT2可能代表不同的细胞亚型或功能状态。

  5. 连接小管细胞（Connecting Tubule, CNT）：

    • 连接小管连接远曲小管和集合管，参与最终尿液的稀释和浓缩过程。

  6. 集合管细胞（Collecting Duct, PC, ICA, ICB）：

    • 集合管是尿液流向肾盂的最后通道，PC可能指的是主细胞（Principal Cells），ICA和ICB可能指的是不同亚型的中间细胞（Intercalated Cells），它们负责调节酸碱平衡和电解质重吸收。

  7. 内皮细胞（Endothelial Cells, ENDO）：

    • 内皮细胞构成血管的内衬，包括肾脏内部的微血管，参与血液流动和物质交换。

  8. 肾小球细胞类型（Glomerular Cell Types, MES, PODO）：

    • MES可能指的是肾小球系膜细胞（Mesangial Cells），它们支持肾小球的结构并参与免疫反应。
    • PODO可能指的是肾小球足细胞（Podocytes），它们形成滤过膜的另一层，对过滤过程至关重要。

  9. 成纤维细胞（Fibroblasts, FIB）：

    • 成纤维细胞是肾脏的间充质细胞，参与细胞外基质的产生和组织修复。

  10. 白细胞（Leukocytes, LEUK）：

    • 肾脏中存在少量白细胞，包括淋巴细胞、单核细胞等，它们在免疫反应和炎症过程中发挥作用。

每种肾脏细胞亚群都有其特定的标志物和功能，它们共同工作以维持肾脏的过滤、排泄和调节功能。在单细胞转录组研究中，研究人员可以通过分析这些细胞亚群的基因表达模式来更深入地了解它们的功能和相互作用。

​

Comments are closed.