Divulgamos o resultado da consulta aos Programas de Pós-graduação filiados à ANPUR sobre os critérios aplicados na análise de propostas de projetos de pesquisa submetidos aos Editais de Bolsa de Produtividade em Pesquisa e Edital Universal do CNPq, na Área de Arquitetura e Urbanismo, Demografia, Geografia Humana e Regional, Geografia Física, Planejamento Urbano e Turismo.

A iniciativa surgiu a partir do pedido da representante do CNPq no Comitê de Assessoramento de Área, a professora Raquel Rolnik (FAUUSP). Aberto no período entre 17 e 27 setembro de 2023, o formulário online coletou 28 respostas, de maneira anônima.

A seguir, apresentamos uma síntese das respostas coletadas:

Sobre as informações solicitadas no preenchimento do formulário na Plataforma Carlos Chagas para a concessão de Bolsas de Produtividade em Pesquisa, 71,4% dos respondentes as consideram suficientes. Dentre os que consideram insuficientes (28,6%), as principais sugestões informadas foram a apresentação mais clara e objetiva dos critérios de julgamento, especialmente em relação aos percentuais variáveis para diferentes tipos de pesquisadores e categorias, a diferenciação mais clara entre as categorias 1 e 2, a inclusão de critérios que valorizem a contribuição para a articulação internacional, como a participação em projetos e publicações em veículos internacionais, a consideração da quantidade e regularidade na oferta de disciplinas na graduação, bem como a inclusão de publicações voltadas à divulgação científica não especializada. A coerência entre problema, hipóteses e objetivos no projeto e a importância da transferência de conhecimento à sociedade foram apontadas como novos critérios relevantes. Além disso, a abordagem interdisciplinar foi enfatizada, destacando a contradição percebida entre a promoção da interdisciplinaridade e a ênfase exclusiva em artigos especializados como critério. Adicionalmente, a inclusão de campos para informações relevantes, tipo de bolsa e dados específicos para pesquisadoras, como ano de nascimento de filhos, foi solicitada. Finalmente, a avaliação do impacto do projeto anterior foi proposta como uma consideração importante, abrangendo resultados como artigos, livros, seminários e atividades de extensão.

No que se refere ao Edital Universal (Chamada CNPq/MCTI no. 10/2023), 78,6% dos respondentes consideram suficientes as informações solicitadas no formulário da Plataforma Carlos Chagas. Dentre os que consideram insuficientes (21,4%), as principais sugestões foram o detalhamento, de forma objetiva e quantitativa, dos critérios que serão utilizados no julgamento das propostas, a necessidade de redução e síntese do formulário, sugerindo-se que a apresentação detalhada do projeto seja adicionada no formato de anexo. Outra sugestão foi a incorporação da coerência entre problema, hipótese, objetivos, abordagem teórica e metodologia como critério A, além da inclusão de um novo critério para avaliar a contribuição científica, tecnológica e/ou inovação. Por fim, foi apontada a ausência de campo para informar o ano de nascimento de filhos, especialmente no caso de pesquisadoras.

Sobre os critérios para julgamento das propostas para pedidos de Bolsas de Produtividade em Pesquisa, 71,4% dos respondentes informaram que tinham conhecimento dos critérios aplicados, enquanto 28,6% informaram desconhecê-los.

Dando continuidade à pergunta anterior, os respondentes foram questionados sobre a concordância (parcial ou integral) ou discordância dos critérios aplicados no julgamento de propostas para pedidos de Bolsas de Produtividade em Pesquisa. No universo de respostas, 67,9% concorda em parte e 32,1% concorda inteiramente com esses critérios. Nas justificativas, alguns respondentes destacaram a necessidade de especificar o período considerado para publicações e questionaram restrições nas bolsas seniores. Outros elogiaram a pertinência dos critérios, enquanto alguns apontaram discrepâncias, como a falta de consideração para pesquisadores de instituições sem programa de pós-graduação. A ponderação entre produção científica e projetos foi mencionada, assim como a necessidade de inclusão de critérios mais detalhados para diferentes níveis de bolsas. Questões de gênero e raça, falta de feedback transparente e a importância da interdisciplinaridade também foram abordadas. Há sugestões para revisão de critérios, como a inclusão de indicadores objetivos e a reconsideração de exigências quanto à ordem de autoria em publicações.

Os respondentes também foram questionados sobre 5 critérios de julgamento que deveriam ser eliminados no julgamento de propostas para pedidos de Bolsas de Produtividade em Pesquisa. As respostas incluem:

• Restrição para bolsas seniores: a sugestão foi eliminar a restrição de ter tido anteriormente bolsa de produtividade CNPq para bolsas seniores.
• Critérios específicos para Nível 2: eliminar a exigência de “inserção internacional” para proponentes do nível 2. Relativizar a exigência de “foco nos grandes temas nacionais” para proponentes do nível 2, permitindo considerar temas regionais.
• Critério relacionado à CAPES: eliminar o critério que remete à CAPES, como a exigência de “formação de recursos humanos em todos os níveis”.
• Percentuais vagos: tornar os percentuais mais claros e explícitos para evitar deliberações não transparentes.
• Ordem de autoria: retirar a exigência de priorizar o proponente como primeiro ou segundo autor em coautorias, considerando a variação comum nas práticas de publicação.
• Exigência de orientação em instituições com pós-graduação: igualar o critério de orientação de pós-graduação, independentemente de a instituição ter ou não programa de pós-graduação.

Na questão seguinte, os respondentes deveriam apontar 5 sugestões de critérios a serem adicionados no julgamento de propostas para pedidos de Bolsas de Produtividade em Pesquisa. As respostas incluem:

• Repercussão regional: incluir a avaliação da repercussão regional da temática da pesquisa como critério.
• Cotas para temáticas regionais: considerar a criação de cotas para temáticas regionais, garantindo que tais temas sejam adequadamente avaliados.
• Parceria com agências estaduais: explorar a criação de bolsas de produtividade em parceria com agências estaduais, buscando integrar temáticas regionais à agenda nacional de ciência, tecnologia e inovação.
• Detalhamento para Bolsas de Produtividade 1: especificar critérios mais detalhados para esse tipo de bolsa, com ênfase na inserção internacional.
• Oferta de disciplinas na graduação: incluir critérios relacionados à quantidade e regularidade na oferta de disciplinas na graduação.
• Divulgação científica: considerar a circulação da produção científica em meios populares de divulgação como critério.
• Produção artística ou cultural: avaliar a produção artística ou cultural como parte dos critérios.
• Diálogo com a área e qualidade da publicação: modificar a redação para exigir “artigos completos que dialoguem com a área da submissão da proposta e que tenham sido divulgados em periódicos científicos de alta qualidade”.
• Interlocução com áreas conexas: incluir a interlocução com áreas conexas como critério de avaliação.
• Coerência entre problema, hipótese e objetivos: acrescentar a avaliação da coerência entre problema, hipótese e objetivos na formulação do projeto.
• Transferência de conhecimento para a sociedade: avaliar a transferência de conhecimento para a sociedade como parte da análise do projeto.
• Transparência nos critérios e cálculos: exigir a divulgação de todos os critérios e cálculos utilizados internamente para a “priorização”.
• Indicadores de produção quantitativos: incluir indicadores quantitativos amplamente adotados, como Scopus, WOS, Scholar, etc.
• Inclusão de bolsistas negros/indígenas: contemplar uma cota (sob a forma de percentual) para bolsistas negros/indígenas.
• Alcance e grau de impacto: avaliar o alcance e o grau de impacto das publicações.

Na parte do formulário referente aos critérios para julgamento das propostas submetidas ao Edital Universal (Chamada CNPq/MCTI no. 10/2023), 85,2% dos respondentes informaram que tinham conhecimento dos critérios aplicados, enquanto 14,8% informaram desconhecê-los.

Dando continuidade à pergunta anterior, os respondentes foram questionados sobre a concordância (parcial ou integral) ou discordância dos critérios aplicados no julgamento de propostas submetidas ao Edital Universal: metade dos respondentes concorda inteiramente com os critérios e a outra metade concorda em parte.

Nas justificativas, apareceram respostas sobre a inadequação dos pesos atribuídos, exemplificando a desproporção entre “Adequação do orçamento” e “Coerência da equipe”. Além disso, apontou-se para a falta de destaque aos planos e projetos, com subvalorização da comunicação com a sociedade. Há sugestões de revisão nos pesos dos critérios, incluindo a inversão entre alguns deles. Outras críticas abordaram a pouca importância atribuída ao ensino, falta de clareza na explicitação dos critérios e a avaliação focada nas bolsas de produtividade em detrimento do projeto. A transparência na aplicação dos critérios foi uma preocupação recorrente. Alguns respondentes destacaram a necessidade de critérios mais objetivos, quantificáveis e verificáveis, enquanto outros apontaram para a natureza genérica dos critérios e sua interpretação variável. A falta de critérios relacionados ao impacto/resultados pretendidos com o projeto foi mencionada, assim como divergências na avaliação na Plataforma Carlos Chagas, sugerindo inclusão de itens mais quali-quantitativos. Por fim, críticas à formatação do formulário e a ausência de esclarecimentos sobre seu preenchimento indicam desafios na compreensão e aplicação dos critérios, destacando a necessidade de revisão para garantir uma avaliação mais justa e eficiente das propostas.

Os respondentes também foram questionados sobre 5 critérios de julgamento que deveriam ser eliminados no julgamento de propostas submetidas ao Edital Universal (Chamada CNPq/MCTI no. 10/2023). As respostas incluem:

• Adequação do orçamento: eliminar o critério de avaliação da adequação do orçamento aos objetivos, atividades e metas propostos.
• Comunicação com a sociedade: incluir de forma mais explícita a avaliação da comunicação com a sociedade, valorizando a divulgação em veículos de grande circulação, não apenas em revistas científicas.
• Peso para risco do prognóstico: arbitrar um peso específico ou grau para a avaliação do risco do prognóstico na parte propositiva da proposta.
• Revisão de valores pelo comitê de assessoramento ou CNPq: eliminar a prática de alteração dos valores solicitados pelo comitê de assessoramento, Área Técnico-Científica do CNPq ou pelo Presidente do CNPQ, a menos que haja um cálculo técnico justificando a mudança.
• Exigência de propostas interinstitucionais: transformar a exigência de propostas interinstitucionais em uma modalidade opcional, eliminando a obrigatoriedade.
• Inserção dos critérios no formulário de avaliação: revisar a inserção dos critérios no formulário de avaliação para garantir uma compreensão clara e eficiente, permitindo uma aplicação justa dos critérios.

Na questão seguinte, os respondentes deveriam apontar 5 sugestões de critérios a serem adicionados no julgamento de propostas submetidas ao Edital Universal (Chamada CNPq/MCTI no. 10/2023). As respostas incluem:

• Produção científica ou tecnológica da equipe integrante do projeto;
• Número de instituições participantes;
• Inserção em redes de pesquisa;
• Ações de extensão;
• Nova opção de subárea no formulário eletrônico para a área de Planejamento Urbano e Regional, específica para “Desenvolvimento Regional”.
• Ações de internacionalização e transferência de tecnologia;
• Consideração de temáticas regionais;
• Quantidade e regularidade na oferta de disciplinas:
• Ações voltadas à divulgação científica e transferência de conhecimento;
• Impacto social;
• Ranqueamento de produção;
• Orientações em pós-graduação;
• Viabilidade do projeto;
• Coerência entre problema, hipótese e objetivos;
• Indicadores de produção em pesquisa amplamente adotados como Scopus, WOS e Scholar, podendo incluir outras fontes de informação como Research Gate, SciVal, AD Scientific Index;
• Número verificável de orientações concluídas e em andamento;
• Evidências de originalidade da proposta;
• Cota para Pretos, Pardos e Indígenas.

A ANPUR agradece aos respondentes pelas suas contribuições e informa que os resultados do formulário foram encaminhados para a Profa. Raquel Rolnik para que possa subsidiar futuros aperfeiçoamentos, correções e eventual aumento no quantitativo de bolsas para as Áreas de Arquitetura e Urbanismo, Demografia, Geografia Humana e Regional, Geografia Física, Planejamento Urbano e Turismo.