Antes de nada, una precisión terminológica. Hemos dicho que en nuestra opinión el término análisis bibliográfico es inadecuado. El análisis bibliográfico, literalmente, sería el análisis, por ejemplo, del número de veces que una obra es citada por otras, o cualquier otra métrica del mundo de la bibliometría.
Lo que casi todo académico hace en realidad cuando lleva a cabo esta actividad es un análisis de la producción científica (literature review) más relevante en su campo. Por este motivo, aconsejo a mis doctorandos que le llamen así, para resaltar el verdadero trabajo de tipo intelectual que han llevado a cabo y que lo añadan como parte de la metodología en el apartado correspondiente de la Introducción explicando las fuentes consultas y las principales ecuaciones de búsqueda utilizadas para poder hacerlo.
Muchas veces he estado tentado de añadir como uno de los ítems metodológicos, el siguiente: “esfuerzo intelectual”, pero nunca me he atrevido por el simple hecho de que conozco demasiado bien los tics de los evaluadores y me temo que tendría poco recorrido.
Es algo natural por otro lado. Si eres un evaluador, pongamos uno de los miembros que ha de juzgar una tesis o un TFM, quieres saber qué garantías tiene lo que estás evaluando y el uso de una metodología reconocida y aceptada por la comunidad científica siempre actúa muy bien en este sentido.
 |
| Primera página del artículo de Grant y Booth sobre tipología de revisiones DOI: 10.1111/j.1471-1842.2009.00848.x |
A diferencia de nuestro país, los trabajos de revisión tienen una gran aceptación en el ámbito académico anglosajón, así que hay varias revistas consagradas a este género de la literatura científica, y algunos de sus mejores autores llevan año discutiendo la mejor forma de llevarlos a cabo de forma que sus resultados sean lo más fiables posible.
Desde los años noventa, concretamente en el ámbito de la Salud, se lleva a cabo un tipo de trabajos de revisión que recibe el nombre de systematic reviews. Estos trabajos siguen un protocolo preciso y su prestigio creciente ha hecho que cada vez sean más aceptados en la comunidad científica como artículos científicos con valor por sí mismos.
La cuestión es que últimamente se están reivindicando cada vez más la utilización de estas revisiones sistemáticas originadas, como hemos señalado, en el ámbito de las Ciencias de la Salud) para llevar a cabo las revisiones bibliográficas en otros ámbitos, como el de las Humanidades y las Ciencias Sociales, y para otros objetivos, por ejemplo para llevar a cabo estados de la cuestión para Tesis Doctorales o Trabajos de Final de Máster.
La diferencia de denominaciones: sistemáticas versus sistematizadas se debe a que el protocolo que quedó fijado en el Ciencias de la Salud utiliza exclusivamente métodos estadísticos de resultados de investigaciones cuantitativas. Cuando trasladamos este protocolo a otros campos distintos de la salud o que no usan análisis estadístico, usamos el segundo término. En resumen (ver más en el Anexo):
- Systematics reviews: término reservado para estudios de revisión del ámbito de las Ciencias de la Salud y para resumir estudios con resultados cuantitativos
- Systematized reviews: término preferente para otros ámbitos, incluyendo Humanidades y Ciencias Sociales y para resumir trabajos cualitativos.
Resulta oportuno señalar que no es sorprendente que sean investigadores del ámbito de la salud los que estén innovando en este terreno, porque ellos tienen desde hace tiempo la denominado Medicina Basada en la Evidencia, que se apoya en los estudios de revisión, y por tanto en las revisiones bibliográficas de forma principal, por no decir, única para llevar a cabo sus aportaciones.
Otra buena parte del mérito en el asentamiento de esat filosofía a favor de la sistematicidad en las revisiones bibliográficas se debe sin duda a la labor de algunas editoriales, con un papel muy destacado por parte de Sage, que ha publicado varios títulos importantes dedicados a esta clase de sistemas de análisis en los últimos años (ver Referencias).
En particular, hace tiempo que esta editorial inglesa de revistas y libros mantiene una línea importantísima dedicada a las metodologías de investigación. Y no solo en formato impreso, como demuestra su portal Sage ResearchMethods.
 |
| Cochrane Collaboration |
La poderosa influencia de las revisiones sistemáticas nacidas en las ciencias experimentales para llevar a cabo estudios de revisión, han acabado influenciado, para bien, a las que se se llevan a cabo en ámbitos como los estados de la cuestión.
Revisiones Sistematizadas
Pero, ¿en qué consiste y en qué se diferencia una revisión sistematizada de una revisión bibliográfica “normal”? Para muchos académicos que siempre han seguido las mejores prácticas p.e. usar bases de datos, hacer explícitos los criterios de búsqueda y de selección, etc., no hay una gran diferencia. El principal cambio procede de la necesidad de dar cuenta de todo el procedimiento seguido, de modo que respete uno de las principios de las revisiones sistematizadas, el de poder ser replicado o contrastado.
Además, la ventaja de usar esta filosofía, como decimos cada vez más asentada, es que nos permite adherirnos a un método tiene detrás una sistemática explícita y bien documentada. Al declarar y adherirnos a una metodología de revisión sistemática (si la hemos aplicado bien) se supone que hemos podido examinar la mejor evidencia disponible para nuestro trabajo.
Si lo consideramos desde el punto de vista opuesto, otra virtud del término es que sirve para exhibir nuestro alejamiento de las malas prácticas, en concreto de revisiones bibliográficas sesgadas o que no utilizan fuentes aceptadas por la comunidad científica, sino que se han manejado solamente las obras que por gustos o inclinaciones personales, o por simple casualidad, han caído en manos del revisor.
De este modo, una revisión sistematizada se caracteriza por cuatro dimensiones muy bien determinadas por la filosofía de la que procede (las systematic reviews). En concreto, se caracteriza por ser:
- Sistemática (y de aquí su nombre).
- Completa.
- Explícita.
- Reproducible.
- Sistemática significa que no es arbitraria: ni sesgada ni subjetiva, sino que, por el contrario, hemos examinado la mejor producción científica disponible utilizando las mejores fuentes de información.
- Completa que se han usado sistemas de información de los que se presume que facilitan el acceso al grueso de la producción de calidad de una disciplina y a nivel internacional y que no hemos descartado ni incluido nada sin seguir otros criterios que los que hemos hecho explícitos, lo que conecta con los dos siguientes puntos.
- Explícita implica que se dan a conocer tanto las fuentes utilizadas como los criterios de búsqueda y de selección y exclusión.
- Reproducible es en realidad una consecuencia de todo lo anterior: dado que hemos sido sistemático y explícitos, permitimos a otros investigadores comprobar nuestro trabajo y, si lo desean, seguir los pasos y contrastar nuestros resultados para determinar su exactitud o su grado de acierto.
Con salsa, algunas cosas mejoran. A su vez, el framework SALSA, procedente también del ámbito original, es el marco que permite analizar si una metodología de análisis garantiza las cuatro calidades (sistemática, completa, etc.) que hemos señalado antes. En concreto, SALSA corresponde a las siglas:
- Search
- AppraisaL
- Synthesis
- Analysis
Además, la S del framework se refiere también a que la búsqueda debe hacerse con criterios bien definidos de inclusión y de exclusión de los trabajos a analizar. Normalmente, estos criterios se expresarán con la elección de las palabras clave y las ecuaciones de búsqueda, pero también mediante criterios que establecen un doble filtro: criterios pragmáticos (por ejemplo, lengua y fecha de publicación de los trabajos, tipología, etc.) y de calidad (metodología utilizadas y validez de los trabajos).
Appraisal se refiere a cómo se evaluarán los trabajos, con qué criterios se considerarán las contribuciones de cada uno de los artículos que finalmente han pasado a formar parte del corpus de trabajos que se van a analizar, y posiblemente esta fase sirva también para excluir algunos trabajos del corpus final.
Synthesis y Analysis se refieren a las dos fases que permitirán redactar y presentar el resultado de la revisión sistemática bajo alguna de sus formas características. En el caso de una tesis o de un TFM sería como un estado de la cuestión. Respecto a las denominacioes en sí, bajo mi forma de ver, sería justo al revés, a la primera fase yo la llamaría de análisis y a la segunda de síntesis.
Lo que importa es que Synthesis se refiere a representación sintética de cada trabajo en base a la extracción de las características de cada artículo considerado (por ejemplo, la metodología utilizada, los resultados obtenidos, si confirman o no algunas hipótesis, etc.). Por su parte, Analysis se refiere a la descripción y valoración global de los resultados encontrados. Por eso decimos que son las dos fases (llaménse como sea) que nos permiten presentar un discurso global sobre la situación del campo de estudios considerado, a través del análisis de los trabajos considerados.
De modo que el marco SALSA es el que nos proporciona las facetas principales que nos permiten diseñar una revisión sistemática merecedora de este nombre y a la vez indica las dimensiones que deberemos hacer explícito en nuestros trabajos de revisión para justificar la características de sistematicidad, explicación, completud y reproducibilidad de una systematic review.
Cabe recordar que algunos aspectos del marco SALSA se entienden mejor si consideramos que procede de estudios de revisión donde se analizan resultados cuantitativos de tipo clínico o experimental. De este modo, por ejemplo, el doble filtro (pragmático y de calidad) serviría para establecer si se admiten o no trabajos en función de la metodología aplicada o del tipo de diseño experimental utilizado, etc.
No obstante, tanto la filosofía como los principios operativos del marco SALSA y de las revisiones sistemáticas son no solamente válidos, sino absolutamente necesarios también en investigaciones cualitativas, como tantas de las que se llevan a cabo en el ámbito de las Humanidades y las Ciencias Sociales en general.
Conclusiones
Lo que conseguiremos si nos adherimos a la filosofía de las revisiones sistematizadas y al framework SALSA asociado cuando debamos afrontar un estudio de revisión, es no solamente garantizar unos resultados mucho mejores al obligarnos a un protocolo mucho más exigente, sino la posibilidad de invocar en el apartado de metodologías de nuestra tesis o TFM, un método que está ampliamente aceptado y que cuenta con una buena base de literatura científica detrás. Así, solucionamos dos problemas a la vez: garantizamos un mejor resultado, como hemos señalado, pero también dotamos de mayor credibilidad y solvencia a nuestro trabajo.
Es más, la potencia de las revisiones sistematizadas (insisto: siempre que merezcan este nombre) es tal que justifican aportaciones basadas únicamente en trabajos de revisión. En el mundo académico anglosajón, mucho menos acomplejado que el nuestro, y en campos como las ciencias de la salud, obviamente aún menos acomplejado que las Humanidades, hace mucho tiempo que se aceptan trabajos científicos cuya aportación principal, si no la única, son estudios de revisión.
Recuerde: no le llame análisis bibliográfico, llámelo revisión sistematizada. O, si lo prefiere, llámelos análisis de la producción científica por revisión sistematizada si no le importa usar una denominación un poco más larga, pero mucho más explícita. Y, claro, el protocolo obliga, aplique los 4 principios: sistematicidad, completud, explicación y reproducibilidad para poder justificar el uso de esta magnífica expresión de rigor y auto exigencia en el trabajo.
Referencias
- Boland, Angela; Cherry, M. Gemma; Dickson, Rumona. Doing a Systematic Review: A Student’s Guide. London: Sage, 2014.
- Booth, Andrew; Papaionnou; Sutton, Anthea. Systematic Approaches to a Successful Literature Review. London: Sage, 2012.
- Fink, Arlene. Conducting Research Literature Review. London: Sage, 2014.
- Gouch, David et al. An Introduction to Systematics Reviews. London: Sage, 2012.
- Grant, Maria J.; Booth, Andrew. “A typology of reviews: an analysis of 14 review types and
- associated methodologies”. Health Information and Libraries Journal, 26, pp.91–108, 2009.
- Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona M. Doing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
- Machi, Lawrence A.; McEvoy, Brenda T.. The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
- Ridley, Diana. The Literature Review. London: Sage, 2012.
- Sandelowski, Margarete; Barroso, Julie. Handbook for Synthesizing Qualitative Research. New York: Springer, 2007
En el artículo de Grant y Booth, se utiliza el término Systematic Review de una forma muy precisa. Mediante este términos se refieren a trabajos de revisión que cumplen estas condiciones:
- Suelen llevarse a cabo en el ámbito de las ciencias de la salud.
- Se centran en el análisis de artículos publicados sobre aspectos concretos de algún tratamiento o técnica sanitaria.
- Son llevados a cabo para comparar y resumir resultados cuantitativos de decenas o centenares de estudios referidos a técnicas o a tratamientos de salud bien determinados.
- Suelen llevarse a cabo por parte de dos o más autores, y pueden ser de larga duración (un año o más).
- No suelen ser parte de un trabajo mayor, como una tesis o un TFM, sino que sirven para producir artículos o informes independientes, ya que las systematics reviews se consideran un género científico en sí mismo.
Es decir, según este enfoque, no todas las revisiones, aunque sean sistemáticas, son revisiones sistemáticas, y disculpen el juego de palabras.
Precisamenete, lo que solemos hacer en la mayoría de las revisiones bibliográficas llevadas a cabo en el seno de las Humanidades y Ciencias Sociales cae en alguno de los otros tipos de revisión que ellos denominan Qualitative systematic review, State-of-the-art review, etc., revisiones que pueden formar parte de la categoría más general de Systematized review cuando aplican todos o a mayoría de los principios de las revisiones sistemáticas originales.
Es por este motivo que, en esta nueva versión de la entrada, he optado por el término revisión sistematizada con el objetivo de evitar confusiones, ya que parece que ha quedado consagrado el término sistemático solo para revisiones que cumplen con las cinco condiciones señaladas más arriba.
Autor: Lluís Codina
Twitter: <@lcodina>
Fuente: <http://www.lluiscodina.com/>
No hay comentarios.:
Publicar un comentario