Desenho experimental, qualidade da amostra, análise dos dados e revisão antes da publicação são quatro checkpoints que podem ajudar a melhorar o rigor e a qualidade de uma pesquisa científica.
A proposta vem de um estudo publicado na eLife que analisou 253 core facilities e, a partir dos problemas identificados ao longo do processo experimental, propôs esses quatro pontos de controle como oportunidades para melhorar a reprodutibilidade e a qualidade dos resultados.
Mas o que deve ser observado em cada uma dessas etapas? E por que ter equipamentos científicos avançados, por si só, não elimina o risco de resultados pouco confiáveis?
A seguir, vamos entender os quatro checkpoints propostos pelos pesquisadores e o que eles podem ensinar para a rotina de laboratórios e estruturas compartilhadas de pesquisa.
De onde vêm esses 4 checkpoints?
O estudo “A survey of research quality in core facilities”, publicado em 2020, buscou entender quais fatores contribuem, ou atrapalham, a qualidade das pesquisas realizadas em core facilities.
Foram enviados questionários para 1.000 instalações europeias e obtidas 253 respostas completas de mais de 30 tipos de core facilities, incluindo áreas como microscopia, citometria, genômica e proteômica.
Mas o que é um core facility?
De forma simples, é uma estrutura compartilhada que oferece acesso a equipamentos científicos e conhecimento técnico especializado para diferentes pesquisadores e grupos de pesquisa.
Essas estruturas podem funcionar de formas diferentes: em alguns casos, a própria equipe realiza os experimentos; em outros, pesquisadores treinados utilizam os equipamentos; e também existem modelos híbridos, em que ambos participam das análises.
No Brasil, estruturas semelhantes são frequentemente encontradas como laboratórios multiusuários, centrais analíticas ou plataformas tecnológicas compartilhadas.
A partir dos problemas identificados ao longo do processo, os autores propuseram quatro checkpoints com alto potencial para melhorar rigor e reprodutibilidade:
| Checkpoint | O que observar |
|---|---|
| 1. Desenho experimental | Planejamento, controles e replicatas |
| 2. Qualidade da amostra | Condições da amostra antes da análise |
| 3. Análise dos dados | Verificação da análise e interpretação |
| 4. Publicação | Revisão dos resultados e métodos antes da submissão |
Esses controles não precisam ser entendidos como etapas burocráticas. A proposta é identificar problemas antes que eles comprometam as próximas fases do experimento.
1. Desenho experimental: a qualidade começa antes da análise
O primeiro checkpoint acontece antes de colocar qualquer amostra no equipamento.
Um bom desenho experimental precisa considerar questões como número de amostras, replicatas, controles, condições experimentais e como os resultados serão posteriormente avaliados.
O levantamento mostrou que experimentos eram realizados sem replicação e que os core facilities muitas vezes não sabiam quais controles haviam sido incluídos pelos pesquisadores. Segundo os autores, sem controles apropriados, um experimento não pode ser avaliado de maneira adequada.
Por isso, a recomendação é revisar o desenho experimental antes de iniciar o trabalho e corrigir problemas enquanto ainda há tempo.
A lógica é importante: um equipamento de alta precisão não consegue corrigir um experimento mal planejado.
O que observar antes de começar?
Algumas perguntas ajudam a traduzir esse checkpoint para a rotina:
Existem controles adequados?
O número de amostras é suficiente?
Foram previstas replicatas?
A técnica escolhida responde à pergunta da pesquisa?
Já está definido como os resultados serão analisados?
Não significa que o operador do equipamento precise assumir sozinho o planejamento científico. A proposta é criar uma oportunidade de diálogo entre quem conhece o experimento e quem conhece profundamente a técnica utilizada.
2. Qualidade da amostra: nem toda amostra deveria chegar ao equipamento
O segundo checkpoint parece óbvio, mas os resultados do estudo mostram por que ele merece atenção:
a qualidade da amostra deve ser avaliada antes da análise.
Quando perguntados sobre amostras inadequadas, 50% dos core facilities self-service e 13% dos full-service relataram que frequentemente ou sempre permitiam que essas amostras fossem analisadas.
Isso pode gerar um problema prático.
Uma análise pode envolver tempo de equipamento, preparação, consumíveis, trabalho especializado e, em alguns casos, amostras raras ou difíceis de obter. Utilizar todos esses recursos com uma amostra inadequada pode resultar em dados que depois serão difíceis, ou até impossíveis — de interpretar corretamente.
O que fazer quando a amostra não está adequada?
Os autores recomendam estabelecer um controle de qualidade antes do experimento e rejeitar amostras de baixa qualidade.
Existe, porém, uma ressalva importante: quando a amostra é rara ou limitada, simplesmente descartá-la pode não ser uma opção.
Nesse caso, a recomendação é discutir previamente como a condição da amostra poderá afetar os resultados e sua interpretação e então decidir se vale a pena prosseguir.
A ideia central desse checkpoint pode ser resumida em uma frase: a qualidade do dado começa antes de a amostra entrar no equipamento.
3. Análise dos dados: medir corretamente não significa interpretar corretamente
A medição terminou e o equipamento gerou os dados. O controle de qualidade acabou?
Não necessariamente.
Processamento, escolha de parâmetros, comparação com controles e interpretação também podem influenciar as conclusões obtidas a partir de um experimento.
No estudo, apenas 40% dos core facilities full-service e 10% dos self-service possuíam mecanismos para assegurar a análise e interpretação corretas dos dados brutos.
Quando esse controle existia, algumas estratégias incluíam revisão por outro profissional do facility, discussão dos resultados com o pesquisador ou investigador principal e utilização de padrões internos e amostras de controle.
O terceiro checkpoint, portanto, propõe algo relativamente simples: definir quem será responsável por verificar a análise dos dados.
Isso pode envolver o especialista responsável pela técnica, o pesquisador principal ou outro profissional qualificado.
O importante é não assumir que: dado gerado = dado corretamente interpretado.
E existe outro desafio: encontrar o dado original
A análise também está ligada à rastreabilidade. E aqui aparece um dos números mais marcantes do levantamento:
72% dos core facilities pesquisados não possuíam um sistema para identificar os dados brutos utilizados na produção de figuras publicadas.
Nos ambientes self-service, apenas 20% consideravam possuir documentação suficiente dos experimentos, enquanto esse percentual chegava a 70% nos full-service facilities.
Idealmente, deveria ser possível reconstruir o caminho:
amostra → experimento → aquisição → dado bruto → processamento → resultado
É aí que documentação, identificação das amostras, armazenamento adequado e sistemas de gerenciamento de dados ganham importância.
O estudo cita ferramentas como LIMS e ELN, além de softwares específicos para gerenciamento de core facilities. Mas também mostra que implementação, custo e adaptação a projetos muito diferentes ainda são barreiras para adoção dessas soluções.
4. Publicação: o controle não termina quando a análise acaba
O quarto checkpoint acontece quando o experimento aparentemente já terminou: antes da publicação dos resultados.
Para os autores, essa é uma última oportunidade para verificar se os dados produzidos foram analisados, interpretados e apresentados adequadamente.
O problema é que os core facilities muitas vezes nem são informados quando resultados gerados em suas estruturas serão utilizados em uma publicação.
Ao mesmo tempo: 91% dos core facilities pesquisados acreditavam que sua participação no processo de publicação melhoraria a qualidade dos dados publicados.
Isso não significa transferir a responsabilidade pela publicação para o laboratório ou para o especialista que operou o equipamento.
A contribuição pode estar em verificar aspectos diretamente relacionados à técnica: se o método foi descrito adequadamente, se os dados foram apresentados de forma coerente e se existem informações suficientes para permitir que o experimento seja compreendido e reproduzido.
Por isso, os autores recomendam que o core facility seja informado antes da submissão de trabalhos que utilizem dados produzidos em sua estrutura, permitindo uma revisão quando necessária.
Os próprios autores fazem uma ressalva: esse é considerado o menos crítico dos quatro checkpoints, já que editores e revisores também participam da etapa de publicação. Ainda assim, eles defendem que o core facility seja informado sobre os trabalhos que utilizam dados produzidos em sua estrutura.
O que os 4 checkpoints nos ensinam na prática?
Os quatro checkpoints formam uma sequência relativamente simples:
Antes do experimento
- O desenho experimental está adequado?
Antes da análise
- A amostra possui qualidade suficiente?
Depois da aquisição
- Quem verificará a análise e a interpretação dos dados?
Antes da publicação
- Métodos, dados e resultados foram apresentados adequadamente?
O interessante é perceber que apenas um desses momentos acontece diretamente no equipamento.
Isso ajuda a colocar a instrumentação científica dentro de um contexto maior.
O levantamento identificou treinamento, comunicação com os usuários, disponibilidade de profissionais qualificados e equipamentos atualizados e bem mantidos entre os fatores considerados importantes para alcançar qualidade na pesquisa.
Equipamento, portanto, continua sendo uma parte fundamental da infraestrutura. Mas precisa funcionar junto com pessoas, processos e conhecimento.
Equipamento de ponta sozinho não constrói uma boa infraestrutura científica
Outro resultado do estudo ajuda a entender essa relação.
A falta de financiamento foi o desafio mais citado pelos core facilities, seguida pela falta de pessoal. Aproximadamente metade das instalações participantes relatou não possuir financiamento e/ou profissionais suficientes.
Os pesquisadores mostram que isso pode criar um efeito em cadeia.
Menos recursos podem dificultar a aquisição e manutenção de equipamentos atualizados. Também podem limitar a contratação, capacitação e retenção de profissionais especializados.
Com equipes menores, sobra menos tempo para treinamento, controle de qualidade, interação com os usuários, gestão e desenvolvimento de novas técnicas.
É por isso que planejar uma infraestrutura científica não deveria significar apenas definir qual equipamento comprar.
Também envolve pensar:
quem será responsável por ele;
quais aplicações serão atendidas;
como os usuários serão treinados;
como será feita a manutenção;
quais critérios serão utilizados para as amostras;
como os métodos serão documentados;
onde os dados serão armazenados;
como será mantida sua rastreabilidade;
e quem dará suporte quando surgirem dúvidas de aplicação.
Da amostra ao resultado: qualidade é um processo
Os quatro checkpoints propostos pelo estudo deixam uma mensagem bastante prática: a qualidade de uma pesquisa não começa quando o equipamento inicia uma medição e não termina quando ele entrega um resultado.
Ela começa no planejamento, passa pela amostra, continua durante a aquisição e análise dos dados e chega até a forma como esses resultados são comunicados.
Para universidades, institutos de pesquisa, laboratórios multiusuários e grupos que estão estruturando ou modernizando sua infraestrutura, essa visão também ajuda a avaliar uma aquisição científica de forma mais ampla.
Além das características técnicas do instrumento, entram nessa decisão aplicação, treinamento, suporte, manutenção e conhecimento especializado.
Na Dafratec, trabalhamos com soluções para caracterização de partículas e materiais, biotecnologia e diferentes aplicações científicas, além de suporte técnico e de aplicação. A proposta é contribuir para que a instrumentação esteja integrada às necessidades reais de cada laboratório e de seus pesquisadores.
Perguntas frequentes
O que são os quatro checkpoints de qualidade propostos pelo estudo?
São quatro momentos em que os autores recomendam realizar verificações: desenho experimental, qualidade da amostra, análise dos dados e antes da publicação. O objetivo é identificar problemas antes que eles comprometam etapas posteriores da pesquisa.
O que é um core facility?
É uma estrutura científica compartilhada que oferece acesso a equipamentos e conhecimento técnico especializado para diferentes pesquisadores. Existem modelos em que a própria equipe realiza as análises, outros em que pesquisadores treinados utilizam os equipamentos e estruturas híbridas.
Por que verificar a qualidade da amostra antes da análise?
Porque uma amostra inadequada pode consumir recursos e produzir dados difíceis de interpretar. Os autores recomendam avaliar a qualidade antes do experimento e discutir as limitações quando se tratar de uma amostra rara ou insubstituível.
Por que a rastreabilidade dos dados é importante?
Ela permite relacionar um resultado ao dado bruto e às condições experimentais que o originaram. No estudo, 72% dos core facilities não possuíam um sistema para identificar os dados brutos utilizados nas figuras publicadas.
Equipamentos científicos avançados garantem resultados confiáveis?
Não isoladamente. O próprio levantamento associa qualidade a diferentes fatores, incluindo treinamento, profissionais qualificados e equipamentos atualizados e bem mantidos. Desenho experimental, qualidade da amostra, análise, documentação e comunicação também fazem parte desse processo.
Quer se aprofundar?
Este conteúdo foi baseado no estudo “A survey of research quality in core facilities”, de Isabelle C. Kos-Braun, Björn Gerlach e Claudia Pitzer, publicado na eLife em 2020.
O artigo científico completo apresenta a metodologia do levantamento, os resultados detalhados, todas as figuras e a discussão dos autores.
Referência: Kos-Braun IC, Gerlach B, Pitzer C. A survey of research quality in core facilities. eLife. 2020;9:e62212. DOI: 10.7554/eLife.62212.
