Artículos
Adaptación y
validación al español de la Escala de Empoderamiento Psicológico
Spanish
adaptation and validation of the Psychological Empowerment Scale
Francisco
D. Bretones fdiazb@ugr.es
Universidad de Granada, España
María
J. Jáimez mjaimez@grupomainjobs.com
Universidad de Granada, España
Adaptación y validación al español de la Escala de
Empoderamiento Psicológico
Interdisciplinaria, vol. 39, núm. 1, pp. 195-210, 2022
Centro Interamericano de Investigaciones Psicológicas y Ciencias
Afines
1. Los autores/as
conservan los derechos de autor y ceden a la revista el derecho de la primera
publicación, con el trabajo registrado con la licencia de atribución, no
comercial, compartir igual de Creative Commons, que permite a terceros utilizar
lo publicado siempre que mencionen la autoría del trabajo y a la primera
publicación en esta revista, no se utilice con fines comerciales y las obras
que se deriven del mismo se compartan en iguales condiciones. 2. Los autores/as
pueden realizar otros acuerdos contractuales independientes y adicionales para
la distribución no exclusiva de la versión del artículo publicado en esta
revista (p. ej., incluirlo en una web personal, una red social académica, un
repositorio institucional o temático o publicarlo en un libro) siempre que
indiquen claramente que el trabajo se publicó por primera vez en esta revista.
Esta obra está bajo una Licencia Creative
Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.
Recepción:
04 Junio 2020
Aprobación:
28 Septiembre 2021
Resumen:
El empoderamiento psicológico es un constructo de gran
importancia en Psicología. Aunque existen diversos instrumentos de medida, el Psychological
Empowerment Instrument de Spreitzer (PEI, 1995) ha
sido tradicionalmente el más utilizado en el área de la Psicología
Organizacional. Originalmente, este instrumento constaba de 16 ítems
organizados en cuatro factores. Por ello, el objetivo del presente artículo fue
la adaptación y validación al español del PEI, así como el análisis de su
estructura factorial. Para ello, se llevaron a cabo dos estudios
independientes. El objetivo del primero fue su traducción al español y su
adaptación cultural en una muestra de 242 estudiantes universitarios para
analizar la estructura factorial de los ítems y su fiabilidad. En el segundo
estudio, se aplicó el nuevo instrumento traducido a una muestra de 317
trabajadores de una empresa de servicios con el fin de validarlo y comprobar la
bondad del modelo, así como la validez concurrente con otras variables, tales
como el empoderamiento estructural, el compromiso afectivo y la rotación, de la
que se conoce su relación por estudios previos. El nuevo cuestionario
resultante confirmó la estructura factorial original en cuatro dimensiones
(competencia, significado, autonomía e impacto), aunque redujo el número de
ítems (de los 16 originales a 13). El cuestionario adaptado al español obtenido
tuvo, además, buenos parámetros psicométricos y de bondad de ajuste. El trabajo
finaliza discutiendo sobre la relevancia del instrumento adaptado y sus
posibles aplicaciones.
Palabras clave: compromiso, empoderamiento, español, intención de irse,
validación de cuestionario.
Abstract: Psychological empowerment
is a construct with a multifaceted character composed of four basic cognitions
(impact, competence, meaning, and self-determination), which goes beyond a
simple delegation of power. The impact of empowerment in different fields of
Psychology has been important due to the proven relations maintained with other
well-founded psychological variables in the scientific literature, and because
of the positive consequences on the results and well-being of people. Although
there are different instruments for the measurement of this construct, the Psychological
Empowerment Instrument (PEI) by Spreitzer (1995) has been traditionally the one
most employed to measure the psychological empowerment in the area of
Organizational Psychology, counting with more than one thousand publications,
and articles as well as translations and adaptations to different languages.
The original questionnaire elaborated by Spreitzer consists of 16 items
organised in four factors following the four basic cognitions that were
described above. Therefore, the aim of this article is the adaptation to
Spanish, validation of the PEI, and to analyse its factor structure.
In order to do so, two independent studies were carried out. The specific objective of the first study was to translate into Spanish and to adapt culturally such questionnaire. In the second study, the objective was to validate the resulting questionnaire and to analyse the factor structure and its goodness and with other psychological and organisational variables as well as the external validity in a sample of workers. In order to do so, in the first study it was carried out an inverse translation and adaptation to Spanish with a sample of 242 university students to subsequently analyse the factorial structure of the items and its reliability. The resulting translated questionnaire confirmed the factor structure in four dimensions (Competence, Meaning, Self-determination, and Impact), although the number of items was reduced from the original 16 to 13, which would explain the 74.08 % of the sampling variance.
To confirm the psychometric characteristics of this new
questionnaire, we performed a second study with 317 workers of a Spanish
service company in order to analyse through confirmative procedures the
internal structure of this new instrument, verify its adequacy and goodness of
fit of the resulting factors as well as assessing the relation and external
validity in a sample of workers and concurrency with other variables
(structural empowerment, affective commitment and intention to leave), which
are known to have a relation with psychological empowerment from previous
research. From the application of this new questionnaire translated to Spanish
into this sample of workers, we confirmed again the structure of 13 items in
four factors from the first study. Furthermore, we obtained good fit indexes
(GFI, AGF, and NNFI), with values between .90 and .96. Additionally, through
regression analysis we obtained positive and statistically significant results
between psychological empowerment and other variables included in the study
(structural empowerment, affective commitment, and intention to leave), testing
the interrelations among them. Therefore, those people with a greater cognition
on their empowerment developed a greater engagement and attachment towards the
organisation, and consequently, their wish to leave was lower.
Our study concludes with a discussion about the importance of
the adapted instrument and its possible applications.
Keywords: commitment, empowerment, intent to leave, questionnaire
validation, Spanish.
Introducción
El constructo del empoderamiento apareció en el campo de la
psicología y, especialmente, su aplicación en el ámbito comunitario, en la
década de los ochenta del siglo pasado a través de los trabajos de Julian
Rappaport (Miguel et al., 2015),
aunque rápidamente ha sido aplicado a otros ámbitos, entre ellos el
organizacional (Conger y Kanungo, 1988).
En cuanto a la naturaleza de este constructo, mucho se ha debatido sobre su
carácter multidimensional, y sobre la existencia y relación de varios
componentes cognitivos, emocionales, conductuales o relacionales (Rodrigues et al., 2018).
En el ámbito de la psicología organizacional se ha enfatizado,
especialmente, su componente cognitivo, que se lo conceptualiza como la
creencia que tiene un trabajador sobre el control, nivel de autonomía y toma de
decisiones acerca de su trabajo (Conger y
Kanungo, 1988); lo que le llevará a una conducta más intraemprendedora y
activa dentro de la organización (Bretones,
2014), con implicaciones sobre su satisfacción (Li et al., 2018), bienestar y salud (Jáimez y Bretones, 2011; Laschinger y Read, 2017).
Este tipo de empoderamiento psicológico se diferenciaría de
otros tipos como el empoderamiento estructural, el cual había sido previamente
caracterizado (Kanter, 1993) como
aquellas prácticas organizativas que permiten al trabajador alcanzar
estructuras de empoderamiento, tales como el acceso a los recursos necesarios
para desempeñar una tarea, el acceso a la información necesaria y el apoyo de
compañeros y superiores. Diversas investigaciones han comprobado las relaciones
entre empoderamiento estructural y psicológico, de manera que este último sería
un consecuente del empoderamiento estructural (Kazlauskaite et al., 2012; Zhang et al., 2018).
También el empoderamiento psicológico se ha relacionado con el
compromiso organizacional, en la medida que se trata de un estado psicológico
que caracteriza la relación de un empleado con su entorno de trabajo (Bohrt y Bretones, 2018). Entre las teorías
más relevantes sobre el compromiso organizacional, se puede citar a Meyer y Allen (1997), quienes señalaron
que este estaría integrado por tres componentes diferentes: la identificación
afectiva del empleado hacia la organización (al que llamaron “compromiso
afectivo”), el relativo a los costos (personales y económicos) asociados con
dejar la organización (compromiso de continuidad), y la obligación moral de
permanecer en la organización (compromiso normativo).
Diversos estudios han confirmado las relaciones entre el
compromiso y otras variables cognitivas (Lupano
Perugini y Castro Solano, 2018), y entre ellas, el empoderamiento
psicológico, que actúa este último como un antecesor del compromiso (Abdulrab et al., 2017) en la medida que lo
vincula con el entorno en el que trabaja y, especialmente, con el compromiso
afectivo (Morin et al., 2016).
Finalmente, otra de las variables que se ha relacionado con el empoderamiento
psicológico ha sido la de rotación o abandono de la organización.
Tradicionalmente, los modelos explicativos sobre las razones
principales por las que los empleados se quedaban o tenían intención de
abandonar la organización a la que estaban vinculados se han basado en
variables de satisfacción laboral o baja retribución (Bretones y González, 2009; Chang et al., 2013).
Sin embargo, en los últimos años, diversas investigaciones han
puesto de relieve la importancia de otros factores relacionados con la
intención de irse o permanecer en una organización, como ha sido el
empoderamiento psicológico (Ouyang et al.,
2020). Varios estudios han comprobado una relación directa de este en la
reducción tanto de la intención de rotación como de la rotación real (Gardner et al., 2011; Kim y Fernández, 2017), por lo que se
demostraría que el empoderamiento psicológico es un fuerte antecedente de la
rotación.
Medidas del empoderamiento psicológico
Varios son los instrumentos de medida que, desde distintas áreas
de la psicología, se han desarrollado para la evaluación del empoderamiento
psicológico (Miguel, Ornelas, y Marôco,
2015), aunque cada uno de ellos ha estado influenciado por una
conceptualización o modelo teórico de empoderamiento psicológico.
En el área de la psicología organizacional, uno de los primeros
instrumentos fue el Psychological
Empowerment Instrument (PEI), desarrollado por Spreitzer (1995). El PEI es una medida
multidimensional de empoderamiento psicológico aplicable en contextos laborales
que se basa en el modelo de empoderamiento de Thomas y Velthouse (1990). Estos autores
establecieron que el empoderamiento psicológico estaba compuesto por cuatro
cogniciones básicas (impacto, competencia, significado y autonomía), algunas de
las cuales serían consideradas después como necesidades básicas dentro de la
teoría de la autodeterminación (Self-Determination Theory, SDT) de Deci y Ryan (2000). El PEI de Spreitzer (1995) tenía una estructura
factorial en cuatro dimensiones, una por cada cognición, conformada por tres
ítems cada una. En un trabajo posterior (Spreitzer,
1996) incluyó un ítem más para cada una de estas dimensiones, por lo que el
instrumento final está conformado por cuatro subescalas de cuatro ítems cada
una. Desde entonces, el PEI de Spreitzer
(1995, 1996) ha sido el más
empleado en el campo de la psicología organizacional, y es utilizado en más de
mil publicaciones científicas (Seibert et
al., 2011), especialmente, en el sector sanitario (Li et al., 2018), aunque también se ha
utilizado para medir el nivel de empoderamiento psicológico en trabajadores de
otros sectores de actividad (Ayala Calvo y
García, 2018). En todos estos casos, el cuestionario ha dado muy buenos
resultados psicométricos. Además, aunque este instrumento fue creado
originalmente en inglés, existen diferentes traducciones y adaptaciones
posteriores a diversas lenguas como el español (Albar et al., 2012), portugués (Santos et al., 2014; Schumaher et al., 2019), chino (Sun et al., 2011) y turco (Uner y Turan, 2010).
Por todo ello, el objetivo general de esta investigación ha sido
la traducción al español y la validación del Psychological Empowerment Instrument
(PEI), analizando su estructura multidimensional. Se llevaron a cabo dos
estudios independientes: el primero, con el objetivo específico de traducir y
adaptar culturalmente el cuestionario proponiendo una estructura factorial; el
segundo, con el objeto de comprobar las características psicométricas,
confirmar la estructura factorial obtenida y comprobar la bondad del nuevo
modelo, a partir de evaluar la relación con otras variables psicológicas y
organizativas, y la validez externa en otra muestra de trabajadores.
Estudio 1: Traducción y
estructura factorial de la Escala de Empoderamiento Psicológico
Método
Participantes
En el estudio 1 participaron 242 estudiantes de la Facultad de
Relaciones Laborales y Recursos Humanos de la Universidad de Granada en un
rango de edad entre 19 y 58 años, con un promedio de 25.92 años. Dos de cada
tres participantes eran mujeres. Los criterios de inclusión para participar en
el estudio fueron tener más de 18 años y tener como lengua materna el idioma
español. La participación era anónima y voluntaria, sin recibir los
participantes ningún tipo de incentivo. La muestra fue recogida mediante
muestreo accidental no probabilístico, y su tamaño resultó adecuado para el
propósito del estudio (McNeish, 2017; Robinson, 2018).
Instrumentos
El PEI (Spreitzer, 1995,
1996) está compuesto por cuatro
subescalas (competencia, significado, autonomía e impacto) de cuatro ítems cada
una, en una escala de respuestas que va desde 1 = totalmente en desacuerdo a 7 = totalmente de acuerdo.
Procedimiento
Para el proceso de traducción y adaptación se siguió el
procedimiento de Hambleton y Zeniski
(2011). Así, el primer paso fue una traducción inversa de los 16 ítems
originales del cuestionario al español. Para ello, se contó con la colaboración
de cuatro profesores universitarios del área de psicología que no participaban
en el estudio, quienes realizaron la traducción del cuestionario del inglés al
español de manera independiente. A continuación, se compararon las cuatro
traducciones y se debatieron con ellos las diferencias existentes hasta llegar
a un consenso en cada uno de los ítems, con el fin de obtener una sola versión
en español de los distintos ítems.
El siguiente paso fue realizar la traducción de la versión
española obtenida del cuestionario al inglés. Dicha traducción fue realizada
por una traductora profesional totalmente ajena a la primera traducción y cuyo
idioma materno era el inglés. Posteriormente, se compararon las dos versiones
inglesas, la original y la obtenida de la traducción de la versión española,
para analizar la bondad de la traducción en función del grado de coincidencia
de los ítems en ambos cuestionarios y modificar aquellos ítems que así lo
requirieran.
Para analizar la validez de la escala en español construida, se
sometió cada uno de los ítems a evaluación mediante juicio de expertos. Para
ello, se contó con la participación de tres expertos (dos de ellos en el
constructo a evaluar y otro en la construcción de escalas).
Para poder llevar a cabo la evaluación de manera efectiva, se
les facilitó el concepto de empoderamiento psicológico y el de cada una de las
dimensiones que lo componen. Posteriormente, se les dio un listado con todos
los ítems, de tal forma que la tarea de los jueces consistió en clasificar cada
uno de los ítems en aquella dimensión en la que ellos consideraran que
pertenecía. También se les ordenó que expresaran su opinión sobre si el número
de ítems por dimensión era suficiente para medir cada una de las dimensiones.
Por último, se les pidió que evaluasen si los ítems estaban redactados de forma
clara (International Test Commission.
2017).
De dicho juicio de expertos, se obtuvieron unos resultados muy
favorables, ya que los tres jueces clasificaron de manera adecuada cada uno de
los ítems en la dimensión correspondiente, y coincidieron también en que las
dimensiones podían ser perfectamente medidas con cuatro ítems. No obstante, se
realizó una redacción más clara de algunos de los ítems.
El resultado de todas las fases anteriores fue la traducción al
español del PEI, compuesta por un total de 16 ítems y cuatro dimensiones:
competencia, significado, autonomía e impacto. Las respuestas fueron recogidas
en una escala tipo Likert del 1 al 7, en la que 1 equivale a poco y 7 a demasiado. Al
igual que en el cuestionario original, la puntuación total de empoderamiento
psicológico será la puntuación media de la suma de los ítems, de manera que, a
mayor puntuación media, mayor es el nivel de empoderamiento psicológico.
Obtenida la traducción española del PEI, se procedió a la
recogida de datos y posterior análisis cuantitativo de los ítems para su
análisis factorial (Goretzko et al., 2019).
Análisis de los datos
Los datos obtenidos fueron analizados mediante estadísticos
descriptivos (media y desviación típica) y correlacionales mediante el programa
informático SPSS(c) (versión 20.0. IBM Company, Chicago, IL). En cuanto al
método de extracción de factores, se utilizó el análisis de componentes
principales y la rotación Varimax (Kline,
2013).
Resultados
Recogidos los datos, se realizaron unos primeros análisis
descriptivos (media y desviación típica de cada ítem, coeficiente de
correlación corregido entre la puntuación en el ítem y la total obtenida en la
dimensión a la que pertenece), y de fiabilidad de cada una de las dimensiones
propuestas en el cuestionario original, así como la fiabilidad de cada dimensión
si el ítem es eliminado. En este sentido, se tomaron como criterios de
adecuación que la desviación típica por ítem fuera superior a 1, su coeficiente
de correlación corregido entre la puntuación del ítem y la dimensión fuera
superior a .30 y que la fiabilidad de la dimensión no aumentara cuando el ítem
fuera eliminado (International Test
Commission, 2017).
Como se puede observar en la Tabla 1, todos
los ítems obtuvieron una desviación típica superior a 1 (a excepción del ítem 1
que fue cercana, del .91). Por otro lado, todos los ítems tuvieron unas
correlaciones con sus dimensiones originarias superiores a .30. Aun así,
debemos indicar que los ítems 8 y 12 mostraron una correlación negativa con su
dimensión de origen.
Tabla 1
Media y desviación típica de
cada ítem; coeficiente de correlación corregido.
Ítems |
M |
DT |
R IT-c |
Empoderamiento psicológico |
|||
Competencia |
|||
1. Tengo confianza en mi capacidad para
hacer mi trabajo. |
6.25 |
.91 |
.72 |
9. Mi trabajo está acorde con mis
habilidades/capacidades. |
3.76 |
2.04 |
.53 |
11. He adquirido las habilidades necesarias
para mi trabajo. |
5.57 |
1.46 |
.52 |
15. Estoy seguro de mí mismo/a acerca de mis
capacidades para realizar las actividades de mi trabajo. |
6.04 |
1.09 |
.66 |
Significado |
|||
2. El trabajo que hago es importante para
mí. |
4.95 |
1.87 |
.84 |
5. Las actividades laborales tienen un
significado personal para mí. |
4.82 |
1.81 |
.77 |
8. Realmente me importa lo que hago en mi
trabajo. |
2.64 |
1.65 |
-.51 |
13. El trabajo que hago tiene sentido para
mí. |
4.81 |
1.80 |
.85 |
Autonomía |
|||
3. Tengo bastante autonomía para decidir
cómo hacer mi trabajo. |
4.51 |
1.75 |
.86 |
7. Puedo decidir por mí mismo/a cómo voy a
realizar mi propio trabajo. |
4.37 |
1.88 |
.90 |
10. Tengo bastantes oportunidades de
independencia y libertad en la forma de hacer mi trabajo. |
4.19 |
1.96 |
.87 |
16. Tengo la oportunidad de utilizar la
iniciativa personal para llevar a cabo mi trabajo. |
4.54 |
1.81 |
.81 |
Impacto |
|||
4. Mi influencia sobre lo que ocurre en mi
departamento o área es alta. |
3.95 |
1.96 |
.90 |
6. Tengo mucho control sobre lo que sucede
en mi departamento. |
3.63 |
1.97 |
.89 |
12. Mi opinión cuenta en la toma de
decisiones del departamento o área. |
4.39 |
1.99 |
-.49 |
14. Tengo bastante influencia sobre lo que
ocurre en mi departamento. |
3.54 |
2.03 |
.85 |
En cuanto a los análisis de fiabilidad, se observa que la única
dimensión que tuvo una fiabilidad aceptable, manteniendo la composición de
ítems original, fue la que se refiere a la autonomía (α = .88). Las demás
dimensiones mostraron bajos índices de fiabilidad (α = .27 para competencia; α
= .08 para significado, y α = .19 para impacto). Sin embargo, realizados los
análisis de fiabilidad de cada una de las dimensiones, se comprobó que en la de
competencia, al eliminar el ítem 9 (“Mi trabajo está acorde con mis
habilidades/capacidades”) su fiabilidad aumentaba a .70. Del mismo modo, en la
dimensión de significado, eliminando el ítem 8 (“Realmente me importa lo que
hago en mi trabajo”), la fiabilidad ascendía a .83. Asimismo, en la dimensión
de impacto, suprimiendo el ítem 12 (“Mi opinión cuenta en la toma de decisiones
de mi departamento o área”), la fiabilidad se elevaba a .92. Por último, para
confirmar la conveniencia o no de eliminar estos ítems, se decidió realizar un
análisis de fiabilidad de la escala de empoderamiento psicológico en su
conjunto eliminando los ítems 8, 9 y 12. El resultado fue que, de este modo, la
fiabilidad global del cuestionario aumentaba de α = .60 a α = .89. Por ello, se
tomó la decisión de continuar los análisis con la eliminación de los tres ítems
descriptos anteriormente.
A continuación, para estudiar la homogeneidad de las
dimensiones, se realizó un análisis de correlación entre las puntuaciones de
cada uno de los ítems y la puntuación total de las dimensiones. En este caso,
el criterio para considerar un ítem adecuado fue que la diferencia entre la
correlación obtenida con la dimensión a la que pertenece y la correlación
obtenida con las demás dimensiones debía ser superior a .20 (Jackson, 1970) (Tabla 2).
Tabla 2
Correlaciones entre las
puntuaciones de cada uno de los ítems y su dimensión.
Ítem |
Competencia |
Significado |
Autonomía |
Impacto |
Competencia |
||||
1. Tengo confianza en mi capacidad para
hacer mi trabajo. |
.72 |
-.00 |
.09 |
.02 |
11. He adquirido las habilidades necesarias
para mi trabajo. |
.53 |
.20 |
.39 |
.15 |
15. Estoy seguro de mí mismo/a acerca de mis
capacidades para realizar las actividades de mi trabajo. |
.66 |
.05 |
.22 |
.07 |
Significado |
||||
2. El trabajo que hago es importante para
mí. |
-.23 |
.84 |
.42 |
.35 |
5. Las actividades laborales tienen un
significado personal para mí. |
-.26 |
.77 |
.33 |
.39 |
13. El trabajo que hago tiene sentido para
mí. |
-.24 |
.85 |
.42 |
.31 |
Autonomía |
||||
3. Tengo bastante autonomía para decidir
cómo hacer mi trabajo. |
-.05 |
.34 |
.86 |
.43 |
7. Puedo decidir por mí mismo/a cómo voy a
realizar mi propio trabajo. |
.07 |
.35 |
.87 |
.52 |
10. Tengo bastantes oportunidades de
independencia y libertad en la forma de hacer mi trabajo. |
-.05 |
.39 |
.87 |
.52 |
16. Tengo la oportunidad de utilizar la
iniciativa personal para llevar a cabo mi trabajo. |
.00 |
.41 |
.81 |
.43 |
Impacto |
||||
4. Mi influencia sobre lo que ocurre en mi
departamento o área es alta. |
-.12 |
.44 |
.55 |
.90 |
6. Tengo mucho control sobre lo que sucede
en mi departamento. |
-.12 |
.45 |
.56 |
.89 |
14. Tengo bastante influencia sobre lo que
ocurre en mi departamento. |
-.09 |
.50 |
.63 |
.85 |
Del análisis de los datos, se observa que todos los ítems
obtuvieron un índice de correlación mucho mayor con la dimensión originaria de
pertenencia que con el resto de dimensiones, de manera que se cumplió el
criterio establecido por Jackson (1970).
Finalmente, para conocer la estructura interna de la versión
española del PEI, se llevó a cabo un análisis factorial exploratorio sobre los
13 ítems (Goretzko, Pham y Bühner, 2019). El método de extracción de factores
utilizado fue el análisis de componentes principales y el tipo de rotación
Varimax. De los resultados obtenidos, se observó que el cuestionario traducido
y adaptado posee una estructura multidimensional en cuatro factores
constituidos por tres ítems cada uno claramente diferenciados (véase Tabla 3).
Tabla 3
Análisis factorial
exploratorio.
Factor |
F1 |
F2 |
F3 |
F4 |
1. Tengo confianza en mi capacidad para
hacer mi trabajo. |
-.05 |
.05 |
-.04 |
.89 |
11. He adquirido las habilidades necesarias
para mi trabajo. |
.15 |
.04 |
.40 |
.55 |
15. Estoy seguro de mí mismo/a acerca de mis
capacidades para realizar las actividades de mi trabajo. |
.02 |
.04 |
.11 |
.87 |
2. El trabajo que hago es importante para
mí. |
.80 |
.21 |
.17 |
.09 |
5. Las actividades laborales tienen un
significado personal para mí. |
.75 |
.27 |
.06 |
-.08 |
13. El trabajo que hago tiene sentido para
mí. |
.83 |
.17 |
.18 |
.08 |
3. Tengo bastante autonomía para decidir
cómo hacer mi trabajo. |
.16 |
.26 |
.81 |
-.00 |
7. Puedo decidir por mí mismo/a cómo voy a
realizar mi propio trabajo. |
.16 |
.25 |
.82 |
.16 |
10. Tengo bastantes oportunidades de
independencia y libertad en la forma de hacer mi trabajo. |
.22 |
.29 |
.80 |
.05 |
16. Tengo la oportunidad de utilizar la
iniciativa personal para llevar a cabo mi trabajo. |
.23 |
.35 |
.66 |
.16 |
4. Mi influencia sobre lo que ocurre en mi
departamento o área es alta. |
.17 |
.85 |
.24 |
.02 |
6. Tengo mucho control sobre lo que sucede
en mi departamento. |
.20 |
.85 |
.26 |
.00 |
14. Tengo bastante influencia sobre lo que
ocurre en mi departamento. |
.29 |
.83 |
.32 |
.08 |
% Varianza explicada |
44.01 |
12.87 |
10.36 |
6.82 |
Autovalor |
7.04 |
2.06 |
1.65 |
1.09 |
Alfa de Cronbach |
.83 |
.92 |
.88 |
.70 |
En resumen, el nuevo cuestionario traducido estaría conformado
por un total de cuatro dimensiones al igual que en su escala original
(competencia, significado, autonomía e impacto), compuestas cada una por tres
ítems, a excepción de la dimensión de autonomía, que estaría formada por cuatro
ítems que explican el 74.08 % de la varianza de la muestra. De los cuatro
factores, el factor 1 (F1, significado) explicaría un mayor porcentaje de
varianza (F1 = 44.01 %) con un índice de fiabilidad α = .83. El factor 2 (F2,
impacto) explicaría un 12.87 % de la varianza con una consistencia interna de α
= .92. El tercer factor (F3, autonomía) presentaba una varianza de 10.36 % y
una fiabilidad de α = .88. El cuarto y último factor (F4, competencia)
explicaría un 6.82 % de la varianza y tenía una consistencia interna más
modesta, de α = .70.
Estudio 2: Análisis
factorial confirmatorio y validez concurrente del PEI en el ámbito laboral
Se decidió realizar un segundo estudio independiente en el cual
se pudiera comprobar con procedimientos confirmatorios la estructura interna
del instrumento obtenido en el anterior, además de analizar su validez
concurrente y externa en una muestra de trabajadores.
Método
Participantes
La muestra de este estudio estuvo conformada por 317
trabajadores de una empresa española del sector servicios que opera a nivel
nacional, se realizó mediante la técnica de muestreo accidental no
probabilístico. Con el propósito de aislar la variable sexo de la muestra, se
intentó balancear el número de mujeres (51.5 %) y hombres (48.5 %)
participantes. La edad promedio de esta muestra fue de 34.39 años con un rango
de entre 17 y 64 años, y un promedio de antigüedad en la empresa de 5.66 años.
Los participantes en el estudio lo hicieron de manera anónima y voluntaria, sin
recibir ningún tipo de incentivo por su participación.
Instrumentos
Los instrumentos de medida utilizados en nuestro segundo estudio
fueron los siguientes:
(1) Empoderamiento psicológico: para medir esta variable se
empleó la traducción al español del PEI derivada del estudio 1, conformado por
13 ítems en las cuatro dimensiones anteriormente descriptas.
También se comprobó la validez concurrente del nuevo cuestionario
con otras variables psicológicas y organizativas, las cuales habían sido
ampliamente estudiadas en su relación con el empoderamiento psicológico (Seibert et al., 2011).
(2) Empoderamiento estructural: para medirlo utilizamos el
Conditions of Work Effectiveness Questionnaire CWEQ (Laschinger et al., 2004) en su adaptación
y validación al español de Jáimez y
Bretones (2013).
En cuanto a las variables consecuentes, tal como se señaló en la
introducción, se tomaron en cuenta otras dos variables: el compromiso afectivo,
que para medirla se utilizó las Commitment Scales de Meyer y Allen (1997) a través de la
adaptación al español elaborada por Arciniega
y González (2006). Dicha versión consta de seis ítems en una sola
dimensión. La otra variable fue intención de irse y para su análisis se
elaboraron tres ítems en escala tipo Likert: 1 = a menudo pienso dejar el trabajo,
2 = yo buscaré un
nuevo trabajo probablemente en el próximo año, y 3 = cuando pueda me iré de
esta empresa. Estos fueron intercalados entre los ítems de las
escalas de compromiso organizacional.
Resultados
En primer lugar, con la intención de confirmar los resultados
obtenidos en el estudio 1, se llevó a cabo un análisis estadístico de los ítems
obtenidos en esta nueva muestra. Los datos descriptivos (media, desviación
típica y rango de respuesta) de esta segunda muestra confirmarían los
conseguidos en el estudio 1. Los índices de correlación ítem-total corregidos
resultaron adecuados para todas las subescalas, de ahí que los valores de la
dimensión de competencia estuvieron entre r = .74 y r = .82; los de la
dimensión significado entre r = .84 y r = .91; los valores de autonomía entre r
= .56 y r = .60; y los valores de la dimensión de impacto entre r = .86 y r =
.90.
Seguidamente, se realizó un análisis factorial exploratorio, por
el método de extracción de componentes principales y posterior rotación
Varimax. Los datos obtenidos confirmaron la estructura de cuatro factores
obtenida en el estudio 1. Un primer factor (autonomía) que explicaría el 45.94
% de la varianza; un segundo factor (impacto) con un 12.69 % de la varianza; un
tercer factor (significado) que explicaría el 8.05 % de la varianza, y, por
último, un cuarto factor (competencia) con un 7.12 % de la varianza.
Una vez confirmados los resultados obtenidos en el estudio 1, y
con el fin de confirmar la estructura empírica de la escala, se realizó un
análisis factorial confirmatorio. El modelo a comprobar estaría formado por los
cuatro factores de tres ítems cada uno a excepción del factor de autonomía,
compuesto por cuatro ítems tal como se propuso en el estudio 1. Para evaluar la
adecuación del modelo, se calculó el índice de chi-cuadrado, el cual resultó
estadísticamente significativo (χ2 = 328.83, p < .01). A pesar de
ello, se decidió llevar a cabo diversos análisis de bondad de ajuste del
modelo, ya que el análisis del chi-cuadrado es susceptible a variaciones en
función del tamaño de la muestra.
Los resultados obtenidos mostraron buenos índices de ajuste con
valores superiores a .85 (Brown y Cudeck,
1993; Schermelleh-Engel et al., 2003)
tanto en el índice de bondad de ajuste (GFI = .96) como en el índice ajustado
de bondad de ajuste (AGFI = .94) e índice de ajuste no normado (NNFI = .90).
Por tanto, estos resultados vienen a corroborar la estructura interna de la
versión española del PEI de Spreitzer
(1995, 1996), tal como aparece en
el Anexo.
En cuanto a las evidencias, se realizó un análisis de validez de
criterio entre la variable empoderamiento psicológico y sus dimensiones, con
las variables empoderamiento estructural, compromiso afectivo e intención de
irse, por su relación, tal como reflejaba la literatura existente. Para ello,
se hizo, en primer lugar, un análisis correlacional y posteriormente, varios
análisis de regresión para comprobar dicha predicción.
En la Tabla 4 se observa que tanto el
empoderamiento psicológico como cada una de sus dimensiones correlacionan
significativamente y en sentido positivo con el compromiso afectivo y con el
empoderamiento estructural. Con la intención de irse también poseen una
correlación significativa, aunque de signo negativo.
Tabla 4
Análisis de
intercorrelaciones de las variables de estudio.
1 |
2 |
3 |
4 |
5 |
6 |
7 |
|
1. E. psicológico |
|||||||
2. Competencia |
.53** |
||||||
3. Significado |
.82** |
.41** |
|||||
4. Autonomía |
.88** |
.33** |
.58** |
||||
5. Impacto |
.85** |
.27** |
.59** |
.65** |
|||
6. Emp. estructural |
.57** |
.24** |
.47** |
.52** |
.45** |
||
7. Comp. afectivo |
.66** |
.24** |
.63** |
.58** |
.52** |
.69** |
|
8. Intención de irse |
.40** |
.19** |
-.46 |
.32** |
.27** |
.48** |
.65** |
* p < .05** p < .01.
Asimismo, realizados los análisis de regresión, se pudo
comprobar que el empoderamiento psicológico tiene una relación significativa
con el empoderamiento estructural (β = .57 p = .00), el compromiso afectivo (β
= .66 p = .00) y el nivel de intención de irse de los trabajadores (β = -.40 p
= .00). También se realizó el análisis de regresión entre las diferentes
subescalas (competencia, significado, autonomía e impacto) y el empoderamiento
estructural, el compromiso afectivo y la intención de irse de los trabajadores.
Realizados dichos análisis, se comprobó que el empoderamiento estructural tenía
una relación estadísticamente significativa mediante pruebas asociativas de
regresión con cada una de las cuatro dimensiones del PEI (competencia: β = .24,
p = .00; significado: β = .47, p = .00; autonomía: β = .52, p = .00; impacto: β
= .45, p = .00). Por otra parte, estas dimensiones serían buenos antecesores
del compromiso afectivo (competencia: β = .24, p = .00; significado: β = .63, p
= .00; autonomía: β = .58, p = .00; impacto: β = .52, p = .00); así como de la
intención de irse de los trabajadores (competencia: β = -.19, p = .00;
significado: β = -.46, p = .00; autonomía: β = -.32, p = .00; impacto: β =
-.28, p = .00).
Discusión
El deseo de contar con instrumentos confiables, válidos y
parsimoniosos ha sido un objetivo central de la Psicología en todos sus
ámbitos, incluido el organizacional. En este caso, el objetivo de este estudio
era la traducción al español y validación del PEI (Spreitzer, 1995, 1996). Realizadas todas las fases de
traducción inversa del cuestionario original, así como los análisis
estadísticos pertinentes, se debe indicar que la versión al castellano del
instrumento propuesto en este trabajo (véase el Anexo)
queda perfectamente validada, ya que tanto las puntuaciones obtenidas en los
análisis factorial y de consistencia interna demuestran que el ajuste del
modelo factorial es adecuado.
Este estudio ha permitido comprobar que el PEI tiene un carácter
multidimensional constituido por cuatro subescalas (competencia, significado,
autonomía e impacto) en la misma línea que otros estudios (Seibert et al., 2011), aunque, en el caso
de la adaptación que se presenta (véase el Anexo), el
número de ítems de cada una de las subescalas varía con respecto al
cuestionario original, de manera que las subescalas estarían compuestas por
tres ítems: competencia (ítems 1, 11 y 15), significado (ítems 2, 5 y 13) e
impacto (ítems 4, 6 y 14), mientras que la subescala autonomía, por cuatro
(ítems 3, 7, 10 y 16), la cual se acerca más al formato original de Spreitzer de 1995 que la modificación que
hizo la autora posteriormente.
En este estudio, también se puede observar la validez
concurrente o aproximación del cuestionario adaptado con otros, cuya relación
ha sido comprobada previamente en la literatura. En este sentido, la validación
al español que se presenta aporta novedad sobre otras adaptaciones y
validaciones en otros idiomas. Los datos obtenidos en este estudio muestran
relaciones estadísticamente significativas de cada una de las cuatro
dimensiones con los constructos que han reportado relaciones en estudios
previos, como han sido el empoderamiento estructural (Kazlauskaite et al., 2012; Zhang et al., 2018), el compromiso
afectivo (Morin et al., 2016) y la
rotación (Gardner et al., 2011; Kim y Fernández, 2017). Así, se pudo
comprobar que el empoderamiento psicológico está antecedido por las prácticas
organizativas (empoderamiento estructural) y que tiene una estrecha vinculación
con el compromiso afectivo, de manera que aquellas personas con una mayor
cognición acerca de su empoderamiento desarrollan una mayor vinculación y
adhesión hacia la organización y el centro de trabajo y, por tanto, un menor
deseo de abandonarla.
Como todo estudio, este tiene limitaciones. Uno de ellos es que
la generalidad de los hallazgos está limitada por el uso de una muestra de
conveniencia, en este caso en una empresa del sector servicios en España, por
lo que sería conveniente realizar nuevos estudios que permitan verificar la
adaptación del PEI en otros sectores y entornos culturales. También sería
recomendable estudiar la validez concurrente con otros constructos análogos,
tales como la autoeficacia o el locus de control.
Se considera, por último, que esta validación del PEI al español
provee de una útil e importante herramienta para los investigadores en el
estudio del empoderamiento psicológico en el ámbito laboral y permite avanzar
en el estudio de esta variable psicológica y su relación con distintas
variables psicológicas en otras muestras de trabajadores.
Directrices éticas
Todos los procedimientos realizados en ambos estudios siguieron
los estándares éticos internacionales de la declaración de Helsinki de 1964 y
sus posteriores modificaciones, y de la Asociación Americana de Psicología
(APA). Todos los participantes fueron voluntarios, no recibieron compensación
alguna y manifestaron su autorización a participar en el estudio.
Materiales suplementarios
Anexo (pdf) Versión española del Psychological Empowerment
Instrument (Spreitzer, 1995)
A continuación, indique el grado en el que cada una de las
siguientes condiciones de trabajo se da en su puesto de trabajo. Para ello,
escriba el número correspondiente al final de cada frase teniendo en cuenta lo
siguiente:
Anexo
Versión española del
Psychological Empowerment Instrument
1 |
2 |
3 |
4 |
5 |
6 |
7 |
Muy poco |
Poco |
Regular |
Suficiente |
Bastante |
Mucho |
Demasiado |
1. Tengo confianza en mi capacidad para
hacer mi trabajo |
||||||
2. El trabajo que hago es importante para mí |
||||||
3. Tengo bastante autonomía para decidir
cómo hacer mi trabajo |
||||||
4. Mi influencia sobre lo que ocurre en mi
departamento o área es alta |
||||||
5. Las actividades laborales tienen un
significado personal para mí |
||||||
6. Tengo mucho control sobre lo que sucede
en mi departamento |
||||||
7. Puedo decidir por mí mismo/a cómo voy a
realizar mi propio trabajo |
||||||
8. Tengo bastantes oportunidades de
independencia y libertad en la forma de hacer mi trabajo |
||||||
9. He adquirido las habilidades necesarias
para mi trabajo |
||||||
10. El trabajo que hago tiene sentido para
mí |
||||||
11. Tengo bastante influencia sobre lo que
ocurre en mi departamento |
||||||
12. Estoy seguro de mí mismo/a acerca de mis
capacidades para realizar las actividades de mi trabajo |
||||||
13. Tengo la oportunidad de utilizar la
iniciativa personal para llevar a cabo mi trabajo |
Referencias
Abdulrab, M., Zumrah, A.
R., Almaamari, Q. y Altahitah, A. (2017). The role of psychological empowerment
on work engagement: The development of conceptual framework. International Journal of
Business Management and Economic Research, 8(6), 1157-1163.
Albar, M. J.,
García-Ramírez, M., Jiménez, A. M. L y Garrido, R. (2012). Spanish adaptation
of the scale of psychological empowerment in the workplace. The Spanish Journal of
Psychology, 15(2), 793-800. https://doi.org/10.5209/rev_sjop.2012.v15.n2.38891
Arciniega, L. M. y
González, L. (2006). What is the influence of work values relative to other
variables in the development or organizational commitment? Revista de Psicología
Social, 21, 35-50. https://doi.org/10.1174/021347406775322269.
Ayala Calvo, J. C. y
García, G. M. (2018). Hardiness as moderator of the relationship between
structural and psychological empowerment on burnout in middle managers. Journal of Occupational
and Organizational Psychology, 91(2), 362-384. https://doi.org/10.1111/joop.12194.
Bohrt, R. y Bretones, F. D.
(2018). El compromiso organizacional y su relación con el intercambio
líder-empleado y la satisfacción laboral. Revista de Trabajo y Seguridad Social,
419, 187-212.
Bretones, F. D. (2014).
Entrepreneurial employees. En A. Manuti y P. Davide de Palma (Eds.) Why human capital is
important for organizations: People come first (pp. 53-61). Londres:
Palgrave McMillan.
Bretones, F. D. y González,
J. M. (2009). Absentismo y rotación laboral. En V. Zarco y J. M. González
(Eds.), Psicología
del Trabajo (pp. 91-113). Madrid: Pirámide.
Brown, M. W. y Cudeck, R.,
(1993). Alternative ways of assessing model fit. En K. Bollen y L. Long (Eds.),
Testing Structural
Equation Models (pp. 136-162). Newbury Park, CA: Sage.
Chang, W. J. A., Wang, Y.
S. y Huang, T. C. (2013). Work design–related antecedents of turnover
intention: A multilevel approach. Human Resource Management, 52(1), 1-26. https://doi.org/10.1002/hrm.21515
Conger, J. A. y Kanungo, R.
N. (1988). The empowerment process: Integrating theory and practice. Academy of Management
Review, 13, 471-483. https://doi.org/10.5465/amr.1988.4306983.
Deci, E. L. y Ryan, R. M.
(2000). The “what” and “why” of goal pursuits: Human needs and the
self-determination of behavior. Psychological Inquiry, 11(4), 227-268. https://doi.org/10.1207/s15327965pli1104_01.
Gardner, T. M., Wright, P.
M. y Moynihan, L. M. (2011). The impact of motivation, empowerment, and
skill-enhancing practices on aggregate voluntary turnover: The mediating effect
of collective affective commitment. Personnel Psychology, 64(2), 315-350. https://doi.org/10.1111/j.1744-6570.2011.01212.x
Goretzko, D., Pham, T. T.
H. y Bühner, M. (2019). Exploratory factor analysis: Current use,
methodological developments and recommendations for good practice. Current Psychology, 1-12.
https://doi.org/10.1007/s12144-019-00300-2
Hambleton, R. K. y Zeniski,
A. L. (2011). Traslating and adapting educational tests for cross-cultural
assessments. En D. Matsumoto y F. J. R. van de Vijver (Eds.). Cross-cultural research
methods in Psychology (pp 46-70). New York: Cambridge University
Press.
International Test
Commission. (2017). The
ITC Guidelines for Translating and Adapting Tests (Second edition).
www.InTestCom.org
Jackson, D. N. (1970). A
sequential system for personality scale development. En C. D. Spielberger
(Ed.), Current
topics in clinical and community psychology (pp. 61-96). Nueva York:
Academic Press. https://doi.org/10.1016/b978-0-12-153502-5.50008-4.
Jáimez, M. J. y Bretones,
F. D. (2011). Towards a healthy organisation model: the relevance of
empowerment. Is-Guc,
The Journal of Industrial Relations & Human Resource, 13(3),
7-26. https://doi.org/10.4026/1303-2860.2011.0180.x
Jáimez, M. J. y Bretones,
F. D. (2013). Spanish adaptation of Structural Empowerment Scale. Spanish Journal of
Psychology, 16, 1-7. https://doi.org/10.1017/sjp.2013.14
Kanter, R. M. (1993). Men and women of the
corporation. Nueva York: Basic Books.
Kazlauskaite, R.,
Buciuniene, I. y Turauskas, L. (2012). Organisational and psychological
empowerment in the HRM‐performance linkage. Employee Relations, 34(2),
138-158. https://doi.org/10.1108/01425451211191869
Kim, S. Y. y Fernandez, S.
(2017). Employee Empowerment and Turnover Intention in the U.S. Federal
Bureaucracy. American
Review of Public Administration, 47(1), 4-22. https://doi.org/10.1177/0275074015583712.
Kline, R. B. (2013).
Exploratory and confirmatory factor analysis. En Y. Petscher y C. Schatsschneider
(Eds.), Applied
quantitative analysis in the social sciences (pp. 171-207). Nueva
York: Routledge.
Laschinger H., Finegan J.
E., Shamian J. y Wilk P. (2004) Longitudinal analysis of the impact of
workplace empowerment on work satisfaction. Journal of Organizational Behavior, 25,
527-544. https://doi.org/10.1002/job.256
Laschinger, H. S. y Read,
E. (2017). Workplace empowerment and employee health and wellbeing. En C. L.
Cooper y M. P. Leiter (Eds.), The Routledge Companion to Wellbeing at Work (pp. 182-196).
Londres: Routledge.
Li, H., Shi, Y., Li, Y.,
Xing, Z., Wang, S., Ying, J., ... y Sun, J. (2018). Relationship between nurse
psychological empowerment and job satisfaction: A systematic review and
meta‐analysis. Journal
of Advanced Nursing, 74(6), 1264-1277. https://doi.org/10.1111/jan.13549
McNeish, D. (2017).
Exploratory factor analysis with small samples and missing data. Journal of Personality
Assessment, 99(6), 637-652. https://doi.org/10.1080/00223891.2016.1252382
Meyer, J. P. y Allen, N. J.
(1997). Commitment
in the workplace: Theory, Research, and Application. Thousand Oaks,
CA: Sage.
Miguel, M. C., Ornelas, J.
H. y Marôco, P. (2015). Defining psychological empowerment construct: Analysis
of three empowerment scales. Journal of Community Psychology, 43(7), 900-919. https://doi.org/10.1002/jcop.21721
Morin, A. J., Meyer, J. P.,
Bélanger, É., Boudrias, J. S., Gagné, M. y Parker, P. D. (2016). Longitudinal
associations between employees’ beliefs about the quality of the change management
process, affective commitment to change and psychological empowerment. Human Relations, 69(3),
839-867. https://doi.org.10.1177/0018726715602046
Ouyang, C., Zhu, Y. y Guo,
M. (2020). Effect of empowering leadership on the turnover intention of
industrial workers. Social
Behavior and Personality: An International Journal, 48(8), 1-11. https://doi.org/10.2224/sbp.9124
Lupano Perugini, M. L. y
Castro Solano, A. (2018). Influencia de virtudes organizacionales sobre
satisfacción, compromiso y performance laboral en organizaciones argentinas. Interdisciplinaria, 35(1),
171-188. https://doi.org/10.16888/interd.2018.35.1.9
Robinson, M. A. (2018).
Using multi‐item psychometric scales for research and practice in human
resource management. Human
Resource Management, 57(3), 739-750. https://doi.org/10.1002/hrm.21852
Rodrigues, M., Menezes, I.
y Ferreira, P. D. (2018). Validating the formative nature of psychological
empowerment construct: Testing cognitive, emotional, behavioral, and relational
empowerment components. Journal of Community Psychology, 46(1), 58-78. https://doi.org/10.1002/jcop.21916
Santos, J. V., Gonçalves,
G. y Orgambídez‐Ramos, A. (2014). Adaptação da escala de Empowerment
Psicológico de Spreitzer numa amostra portuguesa. Avaliação Psicológica, 13(3),
325-332.
Schermelleh-Engel, K.,
Moosbrugger, H. y Muller, H. (2003). Evaluating the fit of structural equation
models: tests of significance and descriptive goodness-of-fit measures. Methods of Psychological
Research Online, 8(2), 23-74.
Schumaher, M. L. N.,
Milani, D. y Alexandre, N. M. C. (2019). Psychometric properties evaluation of
the Psychological Empowerment Instrument in a Brazilian context. Journal of Nursing
Management, 27(2), 404-413. https://doi.org/10.1111/jonm.12701
Seibert, S. E., Wang, G. y
Courtright, S. H. (2011). Antecedents and consequences of psychological and
team empowerment in organizations: A meta-analytic review. Journal of Applied
Psychology, 96(5), 981-1003. https://doi.org/10.1037/a0022676
Spreitzer, G. M. (1995).
Psychological Empowerment in the Workplace: Dimensions, Measurement, and
Validation. Academy
of Management Journal, 38, 1442-1465 https://doi.org/10.2307/256865
Spreitzer, G. M. (1996).
Social structural characteristics of psychological empowerment. Academy of Management
Journal, 39, 483-504. https://doi.org/10.2307/256789
Sun, N., Li, Q. J., Lv, D.
M., …., y An, X. M. (2011). The psychometric properties of the Chinese version
of the Problem Areas in Psychological empowerment Scale (PES): scale
development. Journal
of Clinical Nursing, 20(3‐4), 369-376 https://doi.org/10.1111/j.1365-2702.2010.03519.x
Thomas, K. W. y Velthouse,
B. A. (1990). Cognitive Elements of Empowerment: An “Interpretive” Model of
Intrinsic Task Motivation. Academy of Management Review,15, 666-681. https://doi.org/10.5465/amr.1990.4310926
Uner, S. y Turan, S.
(2010). The construct validity and reliability of the Turkish version of
Spreitzer’s psychological empowerment scale. BMC Public Health, 10, 117. https://doi.org/10.1186/1471-2458-10-117.
Zhang, X., Ye, H. y Li, Y.
(2018). Correlates of structural empowerment, psychological empowerment and
emotional exhaustion among registered nurses: A meta-analysis. Applied Nursing Research,
42, 9-16. https://doi.org/10.1016/j.apnr.2018.04.006
HTML generado a partir de XML-JATS4R por
Refbacks
- No hay Refbacks actualmente.
Añadir comentario