Resumo

O ‘big data’ inaugura uma moderna forma de produzir ciência e pesquisa ao redor do mundo. Graças a uma explosão de dados disponíveis nas bases de dados científicas, aliada aos recentes avanços da tecnologia da informação, o pesquisador tem ao seu alcance novos métodos e tecnologias que facilitam o desenvolvimento científico. Considerando os desafios de produzir ciência em um cenário dinâmico e complexo, o principal objetivo deste artigo é apresentar um método modernizado alinhado às ferramentas recentemente desenvolvidas para apoiar a produção científica, a partir da aplicação de tecnologias e etapas sistemáticas para que o pesquisador materialize seus objetivos de pesquisa com eficiência e eficácia. Neste artigo, pretendemos apresentar um processo gerencial de trabalho racional para a produção científica e disponibilizar um sistema de informação de livre acesso para que o pesquisador possa aplicar técnicas de science mapping (SM) e bibliométricas com agilidade, tirando proveito de uma solução de uso fácil e que conta com recursos de computação em nuvem. A partir da aplicação do “Scientific Mapping Process” o pesquisador será capaz de gerar informação estratégica para uma produção científica orientada a resultados, percorrendo com assertividade pelas principais etapas de pesquisa e impulsionando a descoberta científica nos mais diversos campos de investigação. 

Introdução

A descoberta científica se desenvolve em um ambiente dinâmico, incessante, complexo, com alterações significativas, marcado pela superação constante dos temas de pesquisa e exigindo do pesquisador uma série de habilidades e um método sistemático de produção científica. Neste cenário observa-se um aumento considerável de publicações científicas, nas mais diversas áreas do saber, por isso, as escolhas dos pesquisadores precisam estar fundamentadas na análise e interpretação de grandes volumes de dados.

Este contexto de “big data” abre oportunidades para a junção entre novos métodos e ferramentas de análise de dados para que o pesquisador ganhe agilidade, eficiência e precisão na sua produção científica, ampliando os horizontes para novas tecnologias e metodologias (Carrera-Rivera et al., 2022; Kwabena et al., 2023; Mengist et al., 2020; Pessin et al., 2022; Westphaln et al., 2021). Dificilmente um pesquisador inicia seus estudos sem antes aplicar técnicas bibliométricas e de SM para obter insights sobre o panorama da ciência, identificar lacunas de conhecimento e assim desvendar com mais precisão o ‘estado da arte’ do saber em determinado campo de investigação (Chen et al., 2018; Favaretto et al., 2019; Sahoo, 2021; Sheng et al., 2019; Trieu, 2017).

Geralmente, os métodos mais conhecidos para a produção científica recomendam uma análise prévia dos dados disponíveis em portais científicos oficiais, quando é gerada informação bibliométrica que venha orientar a seleção de referencial teórico de qualidade (Alcaide–Muñoz et al., 2017a, 2017b; Donthu et al., 2021; Pessin et al., 2022; Rodríguez-Bolívar et al., 2018; Seddon et al., 2017).

Estes dados disponíveis nos portais científicos são insumos preciosos para gerar informação estratégica sobre o panorama da produção científica ao redor do mundo, fato que abre espaço para o desenvolvimento de novos métodos que congreguem um processo gerencial de atividades e aplicação de tecnologia para impulsionar o avanço da ciência (Kolajo et al., 2019). Por isso, é altamente recomendável ao pesquisador fundamentar o processo de pesquisa em um método consistente gerenciado, a partir de uma série de etapas organizadas e bem direcionadas. Também é fundamental que o pesquisador escolha com bom senso um referencial teórico de qualidade desde o início de seu trabalho, e assim, tenha alinhamento com as principais discussões da comunidade científica acerca de determinado objeto de estudo.

Um método sistemático bem aplicado tem elevado potencial para orientar a escrita científica com eficiência, em diversas etapas de execução. Em geral, é aconselhável a escolha de repertório bibliográfico de qualidade desde o início da pesquisa, fato que eleva a probabilidade de sucesso de uma publicação (Alcaide–Muñoz et al., 2017b; Donthu et al., 2021; Hallinger, 2020; Pallottino et al., 2018). 

De acordo com a literatura, as metodologias de SM e análise bibliométrica podem ser realizadas combinando diferentes ferramentas para analisar a evolução da estrutura cognitiva de determinado tópico de pesquisa, o que leva à descoberta de fronteiras científicas (Alcaide–Muñoz et al., 2017a). Apesar do uso ser mais consolidado na área de Medicina/Saúde (Liang et al., 2021), observa-se que o uso da bibliometria e SM está se estendendo a diversas áreas, considerando que o mapeamento científico é complexo e difícil de gerenciar, visto que envolve muitas etapas e frequentemente requer inúmeras ferramentas bibliométricas, nem sempre gratuitas (Aria and Cuccurullo, 2017).

Com o passar dos anos essas ferramentas bibliométricas evoluíram em conjunto com os sistemas de informação, seja fornecendo análises de SM com foco nas visualizações (Aria and Cuccurullo, 2017; Hallinger and Kovačević, 2019; M.J. Cobo, 2013), seja fornecendo análises bibliométricas com base em indicadores de classificação e seleção das publicações (Carrera-Rivera et al., 2022; de Campos et al., 2018; Dervis, 2019; Persson et al., 2009). Hoje, discute-se possibilidades de incorporar inteligência artificial (AI), com recursos de aprendizado de máquina e processamento de linguagem natural (NLP) nestes processos (Kwabena et al., 2023; Weißer et al., 2020).

As primeiras discussões sobre o mapeamento da literatura científica mostram a importância das aplicações metodológicas e de sistemas que possam realizar análises bibliométricas facilitando o trabalho do pesquisador e promovendo precisão na escrita científica (Ahlgren and Jarneving, 2008; Chavalarias and Cointet, 2008; Noyons et al., 1999; Small, 1997; Soós, 2011; Soós and Kampis, 2012). Essas metodologias e sistemas evoluíram consideravelmente depois que os bancos de dados científicos começaram a surgir, abrindo oportunidades para a aplicação de soluções tecnológicas com capacidade de processamento de grandes volumes de dados (Akdur et al., 2018; Frezza et al., 2019).

No meio empresarial e acadêmico é fundamental que o desenvolvimento da pesquisa esteja fundamentado em uma análise de dados, aplicando métodos e tecnologias que promovam racionalidade ao processo de produção científica e que relacionem os limiares do conhecimento sob o prisma de determinados autores e revistas ao redor de determinado problema, desvendando importantes nuances da evolução da ciência a partir da compreensão dos dados científicos (Aria and Cuccurullo, 2017; Cobo et al., 2014; De Carvalho et al., 2020; Donthu et al., 2021; Galvão and Ricarte, 2019).

Nesta tarefa de revisão bibliográfica, a pesquisa sistematizada é um procedimento tradicional no contexto acadêmico para facilitar a escrita científica (Alemdag and Cagiltay, 2018; Bak et al., 2020; Schreiber and Cramer, 2022), sendo reconhecida por seguir um método transparente e replicável de execução, para que seja possível selecionar as obras mais relevantes e eliminar aquelas que menos relevantes para uma pesquisa específica (Pagani et al., 2015).

As revisões sistemáticas da literatura (SLR) têm contribuído substancialmente para o desenvolvimento do conhecimento em diversas áreas, envolvendo a exploração de estudos existentes com atenção aos limites teóricos, unidades de análise, fontes de dados, contextos de estudo e definições e a operacionalização de construtos, bem como métodos de pesquisa, com o objetivo de refinar ou revisar a teoria existente (Durach et al., 2017). Ou seja, a produção científica perpassa por uma série de etapas sistematizadas e pressupõe sistemas de SM e bibliométricos para auxiliar o pesquisador em suas decisões sobre qual referencial teórico utilizar, dando origem a diversos métodos (Carrera-Rivera et al., 2022; Kwabena et al., 2023; Lo et al., 2020; Mdingi and Ho, 2021; Mengist et al., 2020; Quan-Hoang et al., 2020; Scheuer et al., 2021; Weißer et al., 2020; Westphaln et al., 2021).

Foi a partir dessas oportunidades no campo da cientometria que foi desenvolvido o sistema capaz de automatizar os processos de SM e análise bibliométrica materializado no sistema denominado “Smart Bibliometrics” (Pessin et al., 2022), desenvolvido em plataforma de Business Intelligence (BI), de livre acesso. A evolução desse sistema foi materializada no insightSci que tem como diferencial, fornecer recursos avançados de computação em nuvem para facilitar a seleção do referencial teórico e encontra-se em constante evolução para incorporar novas funções de análises de Inteligência Artificial (IA) e promover o conceito de ciência aberta.

Assim, o objetivo principal desse artigo é apresentar um método para a produção científica, aplicando um processo gerencial de trabalho, ao mesmo tempo disponibilizar ao pesquisador um sistema de informação que facilite o alcance de seus objetivos de pesquisa. Espera-se que este método, denominado “Scientific Process Method”, traga assertividade ao pesquisador em seu processo criativo de produção do conhecimento e contribua com o avanço da ciência.

Conclusão

Manter-se atualizado tornou-se um desafio para qualquer profissional da era do conhecimento, sobretudo no meio inovação de mercado e acadêmico em que se observa a superação constante dos temas de pesquisa em um ambiente complexo de discussões. Produzir material científico relevante exige muita dedicação e tempo, e os métodos de SM e bibliométricos constituem-se em um processo sistemático valioso para otimizar a produção científica com foco em resultados científicos e publicação. Como reflexo desse movimento, novas tecnologias e métodos surgem para subsidiar esses processos complexos, abrindo campo para novos desenvolvimentos que venham superar os desafios do futuro.

No meio empresarial, a análise de dados para subsidiar decisões tornou-se importante, assim como no meio científico em que a pesquisa é complexa e demanda total alinhamento a um problema bem definido. O embasamento em referencial teórico de qualidade é o que traz sustentação para uma investigação sólida, digna de defesa perante a comunidade científica. O pesquisador na era do conhecimento precisa atuar de forma inteligente, selecionando repertório bibliográfico atualizado e de qualidade para acompanhar as constantes publicações científicas.

As revistas especializadas tornaram-se cada vez mais exigentes, por isso, a produção científica requer um método coerente, fundamentado em análises de dados consistente. Ter um panorama amplo do “estado de arte” de qualquer tema, no início da pesquisa, é fator preponderante e que pode fazer a diferença entre um trabalho ser aceito ou não para publicação. 

As contribuições científicas destes autores, agrupados em função de tema e revista alvo, além de revelar as discussões da comunidade científica, têm elevado potencial para trazer clareza das expectativas dos diversos veículos de publicação sobre seu campo de investigação. Traz uma sequência lógica de importância dos artigos a partir de métricas assertivas que investiguem o relacionamento entre revistas, autores e áreas de pesquisa. Tal análise poderá direcionar com bastante assertividade o desenvolvimento do trabalho do pesquisador, convertendo inteligência em escrita orientada a resultados com inovação científica e publicação.

Logo, o método aqui apresentado tem potencial para facilita o trabalho do pesquisador, ampliando a assertividade na produção científica, e de forma complementar, contribuir com a expansão dos horizontes do saber, sendo a principal contribuição deste artigo.

Referências

Ahlgren, P., Jarneving, B., 2008. Bibliographic coupling, common abstract stems and clustering: A comparison of two document-document similarity approaches in the context of science mapping. Scientometrics 76, 273–290. https://doi.org/10.1007/s11192-007-1935-1

Akdur, D., Garousi, V., Demirörs, O., 2018. A survey on modeling and model-driven engineering practices in the embedded software industry. J. Syst. Archit. 91, 62–82. https://doi.org/10.1016/j.sysarc.2018.09.007

Alcaide–Muñoz, L., Rodríguez–Bolívar, M.P., Cobo, M.J., Herrera–Viedma, E., 2017a. Analysing the scientific evolution of e-Government using a science mapping approach. Gov. Inf. Q. 34, 545–555. https://doi.org/10.1016/j.giq.2017.05.002

Alcaide–Muñoz, L., Rodríguez–Bolívar, M.P., Cobo, M.J., Herrera–Viedma, E., 2017b. Analysing the scientific evolution of e-Government using a science mapping approach. Gov. Inf. Q. 34, 545–555. https://doi.org/10.1016/j.giq.2017.05.002

Alemdag, E., Cagiltay, K., 2018. A systematic review of eye tracking research on multimedia learning. Comput. Educ. 125, 413–428. https://doi.org/10.1016/j.compedu.2018.06.023

Aria, M., Cuccurullo, C., 2017. bibliometrix: An R-tool for comprehensive science mapping analysis. J. Informetr. 11, 959–975. https://doi.org/10.1016/j.joi.2017.08.007

Bak, O., Shaw, S., Colicchia, C., Kumar, V., 2020. A Systematic Literature Review of Supply Chain Resilience in Small–Medium Enterprises (SMEs): A Call for Further Research. IEEE Trans. Eng. Manag. 70, 328–341. https://doi.org/10.1109/TEM.2020.3016988

Bjerke, M.B., Renger, R., 2017. Being smart about writing SMART objectives. Eval. Program Plann. 61, 125–127. https://doi.org/10.1016/j.evalprogplan.2016.12.009

Carrera-Rivera, A., Ochoa, W., Larrinaga, F., Lasa, G., 2022. How-to conduct a systematic literature review: A quick guide for computer science research. MethodsX 9, 101895. https://doi.org/10.1016/j.mex.2022.101895

Chavalarias, D., Cointet, J.P., 2008. Bottom-up scientific field detection for dynamical and hierarchical science mapping, methodology and case study. Scientometrics 75, 37–50. https://doi.org/10.1007/s11192-007-1825-6

Chen, H., H.L.Chiang, R., C. Storey, V., 2018. Business Intelligence and Analytics: From Big Data To Big Impact. MIS Q. 36, 1165–1188.

Clarivate, 2023a. Web of Science [WWW Document]. URL https://www.webofscience.com/wos/woscc/basic-search (accessed 1.24.23).

Clarivate, 2023b. EndNote [WWW Document]. URL https://endnote.com/ (accessed 1.24.23).

Cobo, M.J., Chiclana, F., Collop, A., De Ona, J., Herrera-Viedma, E., 2014. A bibliometric analysis of the intelligent transportation systems research based on science mapping. IEEE Trans. Intell. Transp. Syst. 15, 901–908. https://doi.org/10.1109/TITS.2013.2284756

Corporation for Digital Scholarship, 2023. Zotero [WWW Document]. URL https://www.zotero.org/ (accessed 1.24.23).

Crossref, 2023. Crossref [WWW Document]. URL https://crossref.org/ (accessed 1.24.23).

de Campos, E.A.R., Pagani, R.N., Resende, L.M., Pontes, J., 2018. Construction and qualitative assessment of a bibliographic portfolio using the methodology Methodi Ordinatio. Scientometrics 116, 815–842. https://doi.org/10.1007/s11192-018-2798-3

De Carvalho, G.D.G., Sokulski, C.C., Da Silva, W.V., De Carvalho, H.G., De Moura, R.V., De Francisco, A.C., Da Veiga, C.P., 2020. Bibliometrics and systematic reviews: A comparison between the Proknow-C and the Methodi Ordinatio. J. Informetr. 14. https://doi.org/10.1016/j.joi.2020.101043

Dervis, H., 2019. Bibliometric analysis using bibliometrix an R package. J. Scientometr. Res. 8, 156–160. https://doi.org/10.5530/JSCIRES.8.3.32

Donthu, N., Kumar, S., Mukherjee, D., Pandey, N., Lim, W.M., 2021. How to conduct a bibliometric analysis: An overview and guidelines. J. Bus. Res. 133, 285–296. https://doi.org/10.1016/j.jbusres.2021.04.070

Duan, Y., Edwards, J.S., Dwivedi, Y.K., 2019. Artificial intelligence for decision making in the era of Big Data – evolution, challenges and research agenda. Int. J. Inf. Manage. 48, 63–71. https://doi.org/10.1016/j.ijinfomgt.2019.01.021

Durach, C.F., Kembro, J., Wieland, A., 2017. A New Paradigm for Systematic Literature Reviews in Supply Chain Management. J. Supply Chain Manag. 53, 67–85. https://doi.org/10.1111/jscm.12145

Elsevier B.V, 2023. Welcome to Scopus Preview [WWW Document]. URL https://www.scopus.com/home.uri (accessed 1.24.23).

Encyclopedia of Library and Information Sciences, 2022. Bibliometrics: Tools and Software [WWW Document]. URL https://liu.cwp.libguides.com/c.php?g=225325&p=4966525 (accessed 8.22.22).

Favaretto, M., De Clercq, E., Elger, B.S., 2019. Big Data and discrimination: perils, promises and solutions. A systematic review. J. Big Data 6. https://doi.org/10.1186/s40537-019-0177-4

Frezza, S., Daniels, M., Wilkin, A., 2019. Assessing students’ IT professional values in a global project setting. ACM Trans. Comput. Educ. 19, 1–34. https://doi.org/10.1145/3231710

Galvão, M.C.B., Ricarte, I.L.M., 2019. Revisão Sistemática Da Literatura: Conceituação, Produção E Publicação. Logeion Filos. da Informação 6, 57–73. https://doi.org/10.21728/logeion.2019v6n1.p57-73

Guilford, W.H., 2001. Teaching peer review and the process of scientific writing. Am. J. Physiol. – Adv. Physiol. Educ. 25, 167–175. https://doi.org/10.1152/advances.2001.25.3.167

Hallinger, P., 2020. Science mapping the knowledge base on educational leadership and management from the emerging regions of Asia, Africa and Latin America, 1965–2018. Educ. Manag. Adm. Leadersh. 48, 209–230. https://doi.org/10.1177/1741143218822772

Hallinger, P., Kovačević, J., 2019. A Bibliometric Review of Research on Educational Administration: Science Mapping the Literature, 1960 to 2018. Rev. Educ. Res. 89, 335–369. https://doi.org/10.3102/0034654319830380

Harrison, S.H., Rouse, E.D., 2015. An inductive study of feedback interactions over the course of creative projects. Acad. Manag. J. 58, 375–404. https://doi.org/10.5465/amj.2012.0737

Hotaling, S., 2020. Simple rules for concise scientific writing. Limnol. Oceanogr. Lett. 5, 379–383. https://doi.org/10.1002/lol2.10165

John Wiley & Sons, I., 2023. Cochrane library [WWW Document]. URL https://www.cochranelibrary.com/

Kitchenham, B., Budgen, D., Brereton, P., Turner, M., Charters, S., Linkman, S., 2007. Large-scale software engineering questions – Expert opinion or empirical evidence? IET Softw. 1, 161–171. https://doi.org/10.1049/iet-sen:20060052

Kitchenham, B., Charters, S., 2007. Guidelines for performing Systematic Literature Reviews in Software Engineering, EBSE Technical Report. EBSE Technical Report EBSE-2007-01, Keele, Durham. https://doi.org/10.1109/ACCESS.2016.2603219

Kiv, S., Heng, S., Wautelet, Y., Poelmans, S., Kolp, M., 2022. Using an ontology for systematic practice adoption in agile methods: Expert system and practitioners-based validation. Expert Syst. Appl. 195, 116520. https://doi.org/10.1016/j.eswa.2022.116520

Kolajo, T., Daramola, O., Adebiyi, A., 2019. Big data stream analysis: a systematic literature review. J. Big Data 6. https://doi.org/10.1186/s40537-019-0210-7

Kwabena, A.E., Wiafe, O.B., John, B.D., Bernard, A., Boateng, F.A.F., 2023. An automated method for developing search strategies for systematic review using Natural Language Processing (NLP). MethodsX 10. https://doi.org/10.1016/j.mex.2022.101935

Li, J., Goerlandt, F., Reniers, G., 2021. An overview of scientometric mapping for the safety science community: Methods, tools, and framework. Saf. Sci. 134, 105093. https://doi.org/10.1016/j.ssci.2020.105093

Liang, C., Qiao, S., Olatosi, B., Lyu, T., Li, X., 2021. Emergence and evolution of big data science in HIV research: Bibliometric analysis of federally sponsored studies 2000–2019. Int. J. Med. Inform. 154, 104558. https://doi.org/10.1016/j.ijmedinf.2021.104558

Liu, J.W., Ho, C.Y., Chang, J.Y.T., Tsai, J.C.A., 2019. The role of Sprint planning and feedback in game development projects: Implications for game quality. J. Syst. Softw. 154, 79–91. https://doi.org/10.1016/j.jss.2019.04.057

Lo, K., Stephenson, M., Lockwood, C., 2020. Extending the hierarchical decision matrix to incorporate a dominance ranking score for economic systematic reviews. MethodsX 7, 101047. https://doi.org/10.1016/j.mex.2020.101047

Luo, W., 2019. User choice of interactive data visualization format: The effects of cognitive style and spatial ability. Decis. Support Syst. 122, 113061. https://doi.org/10.1016/j.dss.2019.05.001

M.J. Cobo, 2013. SciMAT: A New Science Mapping Analysis Software Tool. J. Am. Soc. Inf. Sci. Technol. 64, 1852–1863. https://doi.org/10.1002/asi

Martin W. Bauer, George Gaskell, 2000. Qualitative Researching with Text, Image and Sound: a Practical Handbook., 1st ed. Sage Publications Ltd, London.

Mdingi, K., Ho, S.Y., 2021. Literature review on income inequality and economic growth. MethodsX 8, 101402. https://doi.org/10.1016/j.mex.2021.101402

Mendeley Ltd, 2023. Mendeley [WWW Document]. URL https://www.mendeley.com/?interaction_required=true (accessed 1.24.23).

Mengist, W., Soromessa, T., Legese, G., 2020. Method for conducting systematic literature review and meta-analysis for environmental science research. MethodsX 7, 100777. https://doi.org/10.1016/j.mex.2019.100777

Noyons, E.C.., Moed, H.., van Raan, A.F.., 1999. Integrating research performance analysis and science mapping. Scientometrics 46, 591–604. https://doi.org/10.1016/S0138-9130(00)86853-7

Ogbeiwi, O., 2017. Why written objectives need to be really SMART. Br. J. Heal. Care Manag. 23, 324–336. https://doi.org/10.12968/bjhc.2017.23.7.324

Pagani, R.N., Kovaleski, J.L., Resende, L.M., 2015. Methodi Ordinatio: a proposed methodology to select and rank relevant scientific papers encompassing the impact factor, number of citation, and year of publication. Scientometrics 105, 2109–2135. https://doi.org/10.1007/s11192-015-1744-x

Pallottino, F., Biocca, M., Nardi, P., Figorilli, S., Menesatti, P., Costa, C., 2018. Science mapping approach to analyze the research evolution on precision agriculture: world, EU and Italian situation. Precis. Agric. 19, 1011–1026. https://doi.org/10.1007/s11119-018-9569-2

Papa, R., Gioia, T., Alseekh, S., Frascaroli, E., Costa, C., Carpentier, S., Schurr, U., Loreto, F., Menesatti, P., 2019. Plant Phenotyping Research Trends, a Science Mapping Approach. Front. Plant Sci. | www.frontiersin.org 1. https://doi.org/10.3389/fpls.2018.01933

Persson, O., Danell, R., Schneider, J.W., 2009. How to use Bibexcel for various types of bibliometric analysis. Int. Soc. Sci. Inf. 95.

Pessin, V.Z., Yamane, L.H., Ribeiro, R.R., 2022. Smart bibliometrics : an integrated method of science mapping and bibliometric analysis. Scientometrics. https://doi.org/10.1007/s11192-022-04406-6

Quan-Hoang, V., Anh-Vinh, L., Viet-Phuong, L., Phuong-Hanh, H., Manh-Toan, H., 2020. Making social sciences more scientific: Literature review by structured data. MethodsX 7, 100818. https://doi.org/10.1016/j.mex.2020.100818

Rodríguez-Bolívar, M.P., Alcaide-Muñoz, L., Cobo, M.J., 2018. Analyzing the scientific evolution and impact of e-Participation research in JCR journals using science mapping. Int. J. Inf. Manage. 40, 111–119. https://doi.org/10.1016/j.ijinfomgt.2017.12.011

Sahoo, S., 2021. Big data analytics in manufacturing: a bibliometric analysis of research in the field of business management. Int. J. Prod. Res. 0, 1–29. https://doi.org/10.1080/00207543.2021.1919333

Scheuer, S., Jache, J., Sumfleth, L., Wellmann, T., Haase, D., 2021. Creating accessible evidence bases: Opportunities through the integration of interactive tools into literature review synthesis. MethodsX 8, 101558. https://doi.org/10.1016/j.mex.2021.101558

Schreiber, F., Cramer, C., 2022. Towards a conceptual systematic review: proposing a methodological framework. Educ. Rev. 0, 1–22. https://doi.org/10.1080/00131911.2022.2116561

Seddon, P.B., Constantinidis, D., Tamm, T., Dod, H., 2017. How does business analytics contribute to business value? Inf. Syst. J. 27, 237–269. https://doi.org/10.1111/isj.12101

Sheng, J., Amankwah-Amoah, J., Wang, X., 2019. Technology in the 21st century: New challenges and opportunities. Technol. Forecast. Soc. Change 143, 321–335. https://doi.org/10.1016/j.techfore.2018.06.009

Small, H., 1997. Update on science mapping: Creating large document spaces. Scientometrics 38, 275–293. https://doi.org/10.1007/BF02457414

Soós, S., 2011. The functional anatomy of science mapping: Katy Börner: Atlas of science: Visualizing what we know. The MIT Press, Cambridge, MA/London, UK, 2010, US$20. Scientometrics 89, 723–726. https://doi.org/10.1007/s11192-011-0480-0 Soós, S., Kampis, G., 2012. Beyond the basemap of science: Mapping multiple structures in research portfolios: Evidence from Hungary. Scientometrics 93, 869–891. https://doi.org/10.1007/s11192-012