Neste notebook, os participantes praticam a estruturação e a documentação de metadados utilizando padrões consistentes e montam pacotes prontos para submissão a repositórios públicos e portais de dados. Os notebooks enfatizam formatos de arquivo comuns, campos de metadados obrigatórios e fluxos de trabalho práticos de submissão, ajudando a garantir que os conjuntos de dados permaneçam localizáveis, interoperáveis e prontamente reutilizáveis entre diferentes plataformas e estudos.
Este documento orienta como preparar metadados e submeter dados transcriptômicos ao NCBI (National Center for Biotechnology Information) no SCEA (Single Cell Expression Atlas) e no HCA Data Portal (Human Cell Atlas Data Portal), sendo aplicável para single-cell, RNA-Seq bulk e spatial transcriptomics, seguindo princípios FAIR (Findable, Accessible, Interoperable, Reusable).
Metadados são dados que descrevem os dados. Ou seja, são informações descritivas que acompanham os dados brutos e processados, permitindo que eles sejam compreendidos, contextualizados e reutilizados. Podem ser tabelas com informações de individuos, pacientes, um arquivo suplementar com detalhes do processamento das amostras e dos arquivos etc.
Em estudos transcriptômicos, sejam de RNA-seq bulk, single-cell ou spatial, os metadados devem capturar tanto aspectos biológicos quanto técnicos. Isso inclui:
Metadados bem estruturados são essenciais para garantir que outros pesquisadores possam interpretar corretamente os dados, validar resultados e integrá-los em análises comparativas ou bancos de referência.
Para que os metadados cumpram plenamente seu papel, eles devem apresentar uma série de características que garantam sua utilidade e qualidade. Nesse sentido, os princípios FAIR oferecem um conjunto de boas práticas que ajudam a organizar e tornar os metadados mais eficazes.
Embora não sejam obrigatórios, seguir esses princípios é altamente recomendado para aumentar a visibilidade, acessibilidade e reutilização dos dados.
Antes de entender o fluxograma de submissão ao NCBI, é importante conhecer os formatos de arquivos mais comuns. Cada extensão carrega um tipo de informação e tem usos específicos em análises de RNA-seq (bulk, single-cell ou spatial).
Arquivo onde os campos separados por vírgulas. É amplamente aceito em softwares de planilha e análise. Muito usado para arquivos de contagem.
Atenção: pode gerar conflitos se houver vírgulas no texto.
Arquivo de texto onde cada coluna é separada por tabulação (TAB) e cada linha representa uma entrada (ex.: amostra ou gene).
Muito usado para metadados e matrizes de contagem, pois evita conflitos com vírgulas no texto.
| .csv | .tsv |
|---|---|
| Uses commas between fields | Uses tabulation (TAB) |
| May cause conflicts with commas in the text | Safer for textual metadata |
| Extension: .csv | Extension: .tsv |
Como salvar:
Arquivo de texto simples, geralmente usado para contagens por amostra ou metadados básicos. Pode ser estruturado como tabela (com tabulação ou espaços) ou como lista.
É formato binário específico do R. Permite salvar objetos complexos (como matrizes normalizadas, objetos Seurat ou SingleCellExperiment) mantendo estrutura e metadados. Ideal para reuso direto em análises R.
Arquivo de código escrito em R (um R Script). Usado para compartilhar pipelines de análise, incluindo normalização, DESeq2, Seurat, etc.
É um Shell script, um script de terminal (bash/shell). Usado para automatizar etapas de processamento, como alinhamento, conversão de formatos ou submissão de jobs em servidores.
Arquivo interativo que combina código (Python, R, etc.), resultados e documentação. Muito útil para reprodutibilidade, pois mostra passo a passo da análise. Aceito pelo GEO como forma de compartilhar pipelines completos.
[ BioProject ]
↓
[ BioSample ] → [ SRA (raw files: FASTQ) ]
↓
[ GEO (Processed data: matrices, metadata, scripts) ]
O NCBI utiliza uma estrutura hierárquica que conecta diferentes níveis de informação:
O BioProject agrupa todas as amostras e dados de um estudo. Crie apenas um BioProject por estudo.
É necessário criar um login no NCBI para isso.
Inclua título, descrição, organismo e tipo de dado.
Exemplo:
project_title: Single-cell transcriptomic atlas of PBMCs during CHIKV infection
data_type: Transcriptome (bulk + single-cell + spatial)
Cada amostra biológica recebe um ID único. Para amostras transcriptômicas, descreva:
sample_name, organism, tissue, cell_type, disease, treatment, time_point, geo_loc_name
Campos adicionais: sequencing_protocol, dissociation_method, library_prep, cell_capture_platform (ex.: 10x Genomics Chromium, Smart-seq2)
| sample_name | organism | tissue | cell_capture_platform | library_prep | disease | time_point | bioproject_accession |
|---|---|---|---|---|---|---|---|
| CHIKV_sc01 | Homo sapiens | PBMC | 10x Genomics | Chromium 10x 3’ v3 | Chikungunya fever | 3 dpi | PRJNA123456 |
Crie BioSamples vinculados ao seu BioProject pelo mesmo portalioProject through the same portal https://submit.ncbi.nlm.nih.gov/subs/bioproject, ou prepare o upload em lote com .tsv.
Dê preferência a tabelas mais completas, como:
| sample_name | organism | tissue | cell_type | cell_capture_platform | library_prep | sequencing_protocol | dissociation_method | disease | time_point | geo_loc_name | age | sex | bioproject_accession | description |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CHIKV_sc01 | Homo sapiens | PBMC | Lymphocytes (mixed) | 10x Genomics | Chromium 10x 3’ v3 | Illumina NovaSeq 6000, paired-end 2×75 bp | Ficoll gradient + RBC lysis | Chikungunya fever | 3 dpi | Brazil: Bahia | 35 | F | PRJNA123456 | PBMCs isolated 3 days post CHIKV infection, processed with 10x Genomics Chromium 3’ v3 |
Essa tabela pode ser salva como biosample_metadata.tsv
Após o envio, o sistema retorna accessions para cada amostra como:
SAMN45678901
SAMN45678902
Isso garante a vinculação correta entre os diferentes níveis da submissão e permite que os dados sejam navegados de forma integrada. O BioProject funciona como o identificador principal do estudo, e sem ele não há como relacionar amostras, dados brutos e dados processados.
A tabela de metadados precisa descrever os arquivos brutos de sequenciamento e como foram gerados. Além dos campos básicos, é essencial incluir o código do BioProject e dos BioSamples para garantir a vinculação correta.
| sample_name | biosample_accession | bioproject_accession | library_ID | title | time_point | library_strategy | library_source | library_selection | library_layout | platform | instrument_model | insert_size | filetype | filename | design_description | library_construction_protocol |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CHIKV_sc01 | SAMN45678901 | PRJNA123456 | LIB01 | scRNA-seq of PBMCs | 3 dpi | scRNA-Seq | TRANSCRIPTOMIC | RANDOM | PAIRED | ILLUMINA | NovaSeq 6000 | 280 | fastq | CHIKV_sc01_R1.fastq.gz;CHIKV_sc01_R2.fastq.gz | Single-cell RNA-seq of PBMCs infected with CHIKV, 3 days post infection | 10x Genomics Chromium 3’ v3 kit |
| CHIKV_sc02 | SAMN45678902 | PRJNA123456 | LIB02 | scRNA-seq of PBMCs | 5 dpi | scRNA-Seq | TRANSCRIPTOMIC | RANDOM | PAIRED | ILLUMINA | NovaSeq 6000 | 280 | fastq | CHIKV_sc02_R1.fastq.gz;CHIKV_sc02_R2.fastq.gz | Single-cell RNA-seq of PBMCs infected with CHIKV, 5 days post infection | 10x Genomics Chromium 3’ v3 kit |
Adicione outros campos se quiser mais detalhes (ex: basecaller, software de alinhamento). Salve como sra_metadata.tsv
O GEO é um repositório público do NCBI focado em dados de expressão gênica processados, incluindo:
| File Type | Extension | Example |
|---|---|---|
| Count Matrix | .tsv, .csv | counts_matrix.tsv |
| Sample Counts | .tsv, .txt | counts_CHIKV_01.tsv |
| Normalized Files | .tsv, .rds | normalized_counts.rds |
| Scripts or pipelines | .R, .sh, .ipynb | deseq2_analysis.R |
| Sample Metadata | .tsv | geo_sample_metadata.tsv |
Você também pode incluir diagramas de fluxo experimental, fatores de batch, e até RIN e concentração do RNA.
| title | biosample_accession | source_name | organism | treatment | time_point | file_type | file_name | BioProject |
|---|---|---|---|---|---|---|---|---|
| Expression of PBMCs CHIKV 3dpi | SAMN45678901 | PBMC | Homo sapiens | CHIKV | 3dpi | Counts | counts_CHIKV_01.tsv | PRJNA123456 |
Prepare com base em GEO submission templates:https://www.ncbi.nlm.nih.gov/geo/info/submission.html?form=MG0AV3
Exemplo mais completo:
| sample_title | biosample_accession | source_name | organism | characteristics_ch1 | time_point | treatment | protocol_ch1 | data_processing | file_name | file_type | BioProject |
|---|---|---|---|---|---|---|---|---|---|---|---|
| CHIKV_01 | SAMN45678901 | PBMC | Homo sapiens | disease: Chikungunya fever | 3 dpi | CHIKV infection | rRNA depletion + TruSeq | alignment with HISAT2, counts with StringTie and prepDE | counts_CHIKV_01.tsv | TSV | PRJNA123456 |
| CHIKV_02 | SAMN45678902 | PBMC | Homo sapiens | disease: Chikungunya fever | 5 dpi | CHIKV infection | rRNA depletion + TruSeq | alignment with HISAT2, counts with StringTie and prepDE | counts_CHIKV_02.tsv | TSV | PRJNA123456 |
O campo characteristics_ch1 no GEO é extremamente flexível e poderoso, ele permite descrever várias características biológicas, clínicas ou técnicas da sua amostra, além da doença.
Outro exemplo de como pode ser mais completo:
| sample_title | biosample_accession | source_name | organism | characteristics_ch1 | characteristics_ch1 | characteristics_ch1 | characteristics_ch1 | time_point | treatment | protocol_ch1 | data_processing | file_name | file_type |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CHIKV_01_3dpi | SAMN45678901 | PBMC | Homo sapiens | disease: Chikungunya fever | sex: female | age: 35 | RIN: 8.5 | 3 dpi | CHIKV infection | rRNA depletion + TruSeq | alignment with HISAT2, counts with StringTie & prepDE | counts_CHIKV_01.tsv | TSV |
PRJNA123456 (BioProject)
├── SAMN45678901 (BioSample)
│ ├── SRRxxxxxxx (SRA - raw data)
│ └── GSMxxxxxxx (GEO - processed data)
├── SAMN45678902 (BioSample)
│ ├── SRRyyyyyyy (SRA - raw data)
│ └── GSMyyyyyyy (GEO - processed data)
1. Crie seu BioProject
2.Submeta suas BioSamples
Ao preencher cada linha (via formulário ou .tsv), inclua o campo:
bioproject_accession
PRJNA123456
Cada amostra recebe um código como: SAMN45678901
Cada BioSample deve ter um nome único (ex: CHIKV_01) e esse mesmo nome será usado nos metadados do SRA e GEO.
3. Submissão ao SRA (dados brutos)
| sample_name | biosample_accession |
|---|---|
| CHIKV_01 | SAMN45678901 |
O SRA usará isso para fazer o vínculo entre seu .fastq.gz e a amostra correta
4.Submissão ao GEO
BioSample BioProject
SAMN45678901 PRJNA123456
Revise e submeta para revisão. Após o envio, você recebe um GSE ID temporário (ex: GSE123456), e o time do NCBI faz a curadoria.
Quando tudo está vinculado corretamente, qualquer pessoa (ou revisor!) poderá:
Entrar no BioProject → Ver as BioSamples → Acessar os dados no SRA → Ver os arquivos processados no GEO, como se fosse um só estudo interligado.
Para submeter arquivos processados (ex: contagens dos genes):
Entre em: https://submit.ncbi.nlm.nih.gov/subs/geo/
1.Crie uma nova submissão
2.Escolha: Processed Data Submission (GSE)
3. Faça upload:
4. Preencha a descrição do estudo, protocolo, objetivos, etc.
O Single Cell Expression Atlas é um repositório público do EMBL-EBI que reúne dados de single-cell RNA-seq e spatial transcriptomics, reprocessados com pipelines padronizados e enriquecidos com ontologias. A submissão segue o padrão MAGE-TAB (arquivos IDF e SDRF) e passa por curadoria antes de ser integrado ao Atlas.
Este é o guia técnico oficial, também há instruções adicionais; aqui há uma simplificação do processo: O fluxo é semelhante ao NCBI
[ ArrayExpress (input) ]
↓
[ ENA/SRA (raw data: FASTQ/BAM) ]
↓
[ Single Cell Expression Atlas (processed data and metadata) ]
Dados brutos: arquivos FASTQ ou BAM → submetidos ao ENA/SRA.
Dados processados: matrizes de expressão (genes × células), metadados de células (clusters, tipos celulares, QC, porcentagem de mitocôndrias), arquivos normalizados.
Scripts/pipelines: arquivos .R, .ipynb, .sh usados para análise.
Metadados: tabelas completas descrevendo amostras, células e condições experimentais. Semelhante ao BioSample
Formatos aceitos: .tsv, .h5ad, .loom, além de arquivos suplementares como .R, .ipynb.
O SCEA utiliza o padrão MAGE-TAB para metadados, é obrigatório e consiste em dois arquivos principais:
IDF (Investigation Description File):
SDRF (Sample and Data Relationship File):
Exemplo simplificado de SDRF:
| Sample Name | Organism | Tissue | Cell Type | Library Prep | Sequencing | Protocol | File Name |
|---|---|---|---|---|---|---|---|
| CHIKV_sc01 | Homo sapiens | PBMC | lymphocyte | 10x Genomics Chromium 3’ v3 | Illumina NovaSeq 6000 | CHIKV_sc01_R1.fastq.gz | CHIKV_sc01_R2.fastq.gz |
Deve incluir também informações de dissociação, plataforma de captura (ex.: 10x Genomics, Smart-seq2), e condições experimentais.
O ArrayExpress é o repositório do EMBL-EBI usado como porta de entrada para dados transcriptômicos. Toda submissão de single-cell RNA-seq ou spatial transcriptomics passa por ele antes de ser integrada ao SCEA.
[ ArrayExpress ]
├── ENA (raw data: FASTQ/BAM)
└── Expression Atlas / Single Cell Expression Atlas (processed data + metadata)
Dados brutos: FASTQ ou BAM e são enviados ao ENA.
Dados processados: matrizes de expressão (genes × células), metadados de células (clusters, tipos celulares, QC), arquivos normalizados.
Scripts/pipelines: .R, .ipynb, .sh para garantir reprodutibilidade.
Metadados: tabelas completas descrevendo amostras, células e condições experimentais.
Similar ao que foi descrito anteriormente
1.Criar conta no EMBL-EBI.
2.Preparar os arquivos MAGE-TAB (IDF + SDRF).
3.Enviar dados brutos ao ENA.
4.Vincular IDs do BioProject e BioSample.
5.Submeter metadados e dados processados ao ArrayExpress.
6.Upload dos arquivos .tsv, .h5ad, .loom, .rds
7.Upload dos scripts/pipelines.
8.Curadoria: a equipe do Atlas revisa os metadados, aplica ontologias e reprocessa os dados.
9.Publicação: o dataset recebe um identificador público (ex.: E-MTAB-12345) e é integrado ao Single Cell Expression Atlas.
A equipe do Atlas reprocessa os dados com pipelines padronizados (ex.: alinhamento, normalização, clustering).
Os metadados são harmonizados com ontologias (Cell Ontology, Uberon, Disease Ontology).
O dataset recebe um identificador público (E-MTAB-12345) e passa a ser pesquisável no portal.
O HCA Data Portal não funciona como um repositório “aberto para qualquer dado de qualquer pessoa”, há critérios bem definidos para submissão. Eles aceitam dados de célula única e spatial transcriptomics (scRNA-seq, ATAC-seq, multi-omics, spatial RNA-seq), sendo esses dados brutos (FASTQ/BAM) e dados processados (matrizes AnnData .h5ad). Tem que vir acompanhado de metadados estruturados seguindo os esquemas oficiais (Tier 1 e Tier 2). E ser de estudos de alta qualidade, com protocolos claros e documentação suficiente para permitir reuso.
Restrições:
Os metadados são organizados em dois níveis (tiers) para separar informações técnicas das informações mais sensíveis.
Dessa forma podem garantir que os dados sejam FAIR (encontráveis, acessíveis, interoperáveis e reutilizáveis). Esse dados ficam disponiveis ao público, através do HCA Data Portal e em plataformas como CellxGene Discover.
Exemplos de campos:
Podendo assim enriquecer a interpretação biológica, mas mantendo anonimização e privacidade. Esses metadados tem acesso controlado, onde algumas informações podem ser restritas ou anonimizadas para proteger os doadores.
Exemplos de campos:
A documentação completa está disponível no HCA Data Portal e no guia de ingestão de dados:
HCA Data Portal – Contribube
HCA Data Ingestion Instructions PDF
O HCA Data Portal organiza os dados em diferentes camadas para garantir acessibilidade e proteção de informações sensíveis:
[ HCA Data Coordination Platform ]
├── ENA/SRA (Raw data: FASTQ)
├── HCA Data Repository (Tier 2 metadata + sensitive data)
└── CellxGene Discover (matrices AnnData + Tier 1 metadata)
Dados brutos: arquivos FASTQ ou BAM para serem enviados ao HCA Data Repository.
Dados processados: matrizes de expressão (genes × células) em formato AnnData (.h5ad).
Metadados Tier 1: informações técnicas
Metadados Tier 2: informações mais detalhadas
1.Registrar o projeto no HCA Data Coordination Platform
2.Preparar metadados Tier 1 e Tier 2 conforme o guia oficial de ingestão.
3.Enviar dados brutos ao HCA Data Repository.
4.Enviar matrizes processadas (AnnData .h5ad) no portal do HCA
5.Receber accession ID e acompanhar a curadoria.
6.Publicação: os dados são integrados ao portal, o dataset recebe um identificador público (ex.: HCA12345).