Communication Institute for Online Scholarship
Communication Institute for Online
Scholarship Continous online service and innovation
since 1986
Site index
 
ComAbstracts Visual Communication Concept Explorer Tables of Contents Electronic Journal of Communication ComVista

EJC 22(1 & 2): Metrics and Ranking Issues in Communication / Parametres et les methodes de classement et d’indice dans le domaine de la Communication
Electronic Journal of Communication

Volume 22 Numbers 1 & 2, 2012

Metrics and Ranking Issues in Communication /
Paramètres et les méthodes de classement et d’indice dans le domaine de la Communication

With Editor / Avec éditeur :

Thomas Hugh Feeley
University at Buffalo, The State University of New York
Buffalo, NY, USA

Editor’s Introduction / L’introduction de l’éditeur

Thomas Hugh Feeley
University at Buffalo, The State University of New York
Buffalo, NY, USA

Funding in published communication research / Le financement de la recherche publié dans la communication

Timothy R. Levine
Michigan State University
East Lansing, MI, USA

Does publishing in high-impact journals in communication matter? / Est-ce que publier dans les grandes revues sur la communication est important?

Thomas Hugh Feeley
Shin-Il Moon
Yixin Chen
University at Buffalo, The State University of New York
Buffalo, NY, USA


EJC Research Article


Editor's Introduction:
Metrics and Ranking Issues in Communication

Thomas Hugh Feeley
University at Buffalo, The State University of New York
Buffalo, NY, USA

In this issue of The Electronic Journal of Communication, we explore different metrics and methods of rankings and ratings in the field of Communication. Despite the importance of various metrics in the field, there are few venues to debate the relative merits and shortcomings inherent in each metric. Metrics are used for various rankings, including the evaluation of scholars, scholarly journals, individual articles, and departments. With shrinking college and university budgets observed in recent history, there is increased pressure on Deans, Chairs and faculty members to use ratings and rankings to negotiate limited resources, faculty promotion cases or, in some instances, the short- or long-term fate of programs. At a minimum, articles debating varying metrics in Communication promise to initiate more intensive and collaborative discussions among various stakeholders in the field about measurement and ranks. At the core of these discussions are at least thr ee questions: (1) What factors represent quality?, (2) Who or what represents fair comparisons?, and, (3) How relevant (and important) is quantity?

The seven articles accepted for this topic examined metrics and ratings in Communication from various vantage points. All examine issues related to publishing in academic journals in the field. Specifically, Stephen’s first article, The Quest for Practical Benchmarks, regressed rankings from a 2004 NCA reputational study onto data from the 2010 NRC study (2005 data) and recent CIOS data on publications. The second article by Allen et al. uses citations to faculty members in doctoral-granting departments (i.e., citing data) to rank doctoral-granting programs in the field. Their findings indicated Pennsylvania, UC-Santa Barbara and Michigan State to be the top three cited departments in the United States.

The third article by Stephen introduces an innovative metric for ranking 80 journals in the field of Communication – the P-index. Stephen contextualizes these ranks within the sub-fields of communication (e.g., rhetoric, interpersonal) where no analyses before his have made these important distinctions. Following this article is an analysis by Levine of the amount of external funding for Communication research over time. His findings indicated health communication to be the most researched topic in 2010 and the number of attributions to funding sources has not changed from 2000 to 2010. The fifth  article by Feeley and colleagues attempted to validate, at the individual article-level of analysis, the impact of publishing in higher-ranked ISI journals (using journal impact factor as metric) on citations to an article’s work. The last empirical article by Lagoe et al. provides H-index data on the top 100 prolific authors in the field of Communication and also considers faculty rank, sex, and tenure as covariates. Finally, Kramer authored a critical analysis of the value of rating and rankings in relation to published research in Communication. His essay asks important questions about ratings and measures and provided some preliminary suggestions as to what should be considered for those who endeavor to perform these exercises in the future.

Taken as a whole, these articles represent an ambitious and evidence-based approach to the ongoing debate as to what should be count for quantity and quality in rankings in communication. It is my personal hope that future inquiries attempt to measure teaching quality in the field. Teaching quality in all its forms, including lecturing, mentoring and advising at the undergraduate and graduate levels should be measurable activities. Also important is the measurement of service to one’s department, to one’s field of study and to the academic community surrounding the college and university. Until these important activities become appropriately quantified, they potentially become marginalized in the evaluation of individual scholars and departments in Communication. I also sound a call to journal editors to consider publication of creative and well done scholarship related to measurement considerations in the field of Communication. While these studies will l ikely be largely atheoretical, they still promise to greatly inform our understandings in relation to measurement concerns and clearly these understandings have important consequences in terms of what is prioritized in faculty recruitment, retention, and promotion.


L’introduction de l’éditeur : 
Paramètres et les méthodes de classement et d’indice dans le domaine de la Communication

Thomas Hugh Feeley
University at Buffalo, The State University of New York
Buffalo, NY, USA

Dans ce numéro de la revue électronique de Communication, nous examinons les différents paramètres et les méthodes de classement et d’indice dans le domaine de la Communication. Malgré l'importance des diverses mesures dans ce domaine, il y a quelques sites ou il est possible de débattre les mérites et les défauts inhérents à chaque métrique. Les paramètres sont utilisés pour des classements divers, y compris l'évaluation des érudits, des revues spécialisées, des articles individuels ainsi que de différents départements. Avec des budgets collégiaux et universitaires actuellement en baisse, il existe une pression forte sur les doyens, les présidents et les membres de la faculté d'utiliser les indices et les classements de ressources limitées en cas de promotion de la faculté de négocier ou, dans certains cas, le destin est à court ou long terme des programmes. Au minimum, les articles débattent de paramètres divers de Communication promettant d'engager des discussions plus intensives et une collaboration entre les différents intervenants dans les domaines de mesure et de rangs. Au cœur de ces discussions existent au moins trois questions: (1) quels sont les facteurs représentant la qualité?, (2) qui ou quoi représente une comparaison équitable? et de quelle (3) utilité (et importance) est la quantité ?

Les sept articles acceptés pour ce sujet examinent les paramètres et les indices dans la Communication à travers divers points de vue. Tous examinent les questions liées à la publication dans des revues spécialisées dans ce domaine. Plus précisément, le premier article de Stephen, la quête pour les indicateurs de référence pratique, a régressé le classement d'une étude de réputation de NCA 2004 sur les données de l'étude de NRC 2010 (données de 2005) et des informations récentes de CIOS sur les publications. Le deuxième article par Allen et cie. utilise des citations par des membres de la faculté dans des programmes de doctorat (p. ex., citant données) au rang des programmes de doctorat sur le terrain. Leurs résultats indiquent que la Pennsylvanie, la UC Santa Barbara et le Michigan State sont les trois &ea cute;coles les plus cités aux États-Unis.

Le quatrième article par Stephen introduit une métrique novatrice pour le classement de 80 revues dans le domaine de la Communication – l'indice P. Stephen remet ces rangs dans les domaines de la communication (p. ex., la rhétorique, les relations interpersonnelles) où aucune analyse avant que la sienne n'a fait ces distinctions importantes. Suite à cet article est une analyse par Levine du montant du financement externe pour la recherche de la Communication au fil du temps. Ses conclusions ont montré que la communication sur la santé a été le sujet le plus recherché en 2010. Le nombre d'attributions de moyens de financement n'a pas changé entre les années 2000 à 2010. L'article de Feeley et de ses collègues a tenté de valider, à chaque niveau de l’analyse de l'article, l'impact de la publication au niveau supérieur des revues de ISI (en uti lisant l’impact de la revue comme métrique) sur les citations de travail d'un article. Le dernier article par Lagoe et cie. fournit des données sur l'indice H sur les 100 auteurs les plus prolifiques dans le domaine de la Communication et qui aussi considère également le niveau du membre de la faculté, le sexe et la titularisation. Enfin, Kramer a rédigé une analyse critique de la valeur de l’indice et les classements à l'égard de la recherche publiée dans la Communication. Son essai pose des questions importantes sur les indices et les mesures et fourni quelques suggestions préliminaires quant à ce qui devrait être considéré pour ceux qui vont s'efforcer de réaliser ces exercices dans le futur.

Pris ensemble, ces articles représentent une approche fondée sur des preuves pour le débat en cours sur ce que devrait être la quantité et la qualité dans les classements dans la communication. C'est mon espoir personnel que les enquêtes futures tentent de mesurer la qualité de l'enseignement dans ce domaine. L’enseignement de qualité dans toutes ses formes, y compris des conférences, du conseil au premier cycle et aux cycles supérieurs doivent être des activités mesurables. Il est aussi important de mesurer la fonction de son département dans son domaine d'études et dans la communauté universitaire qui entoure le Collège et l'Université. Jusqu'à ce que ces activités importantes deviennent quantifiées de façon adéquate, il est possible qu’elles se marginalisent dans l'évaluation des chercheurs et des d épartements dans la Communication. J’envois un appel aux rédacteurs de revues de tenir compte des publications créatives bien faites liée à des considérations de mesure dans le domaine de la Communication. Bien que ces études seront sans doute principalement non-théoriques, elles promettent quand même de nous tenir au courant dans notre compréhension à l'égard de nos préoccupations. Clairement ces ententes ont des conséquences importantes en termes de ce qu'est la priorité dans la promotion, la rétention et le recrutement du corps professoral.

Helping communication programs represent their strengths:
Toward an endogenous measure of article publication productivity in communication serials

Timothy D. Stephen
University at Albany
Albany, NY, USA

Abstract: In a time of radically shrinking campus resources university administrators rely increasingly on quantitative metrics in the evaluation of the productivity and prestige of communication scholars and departments. The principal such metric is the citation count calculated using the ISI Web of Knowledge database. However, that database excludes more than 60% of the communication field's serial literature. Research relating publication patterns in the communication field to reputational measures of department excellence has demonstrated that peer perceptions of departmental excellence are correlated with article publication in the field's own literature (Stephen, 2008, 2009). A measure named P-index is proposed to assist communication departments in representing and defending their stature and impact and also as an adjunctive metric for use in the evaluation of journal article productivity for communication departments and faculty. P-index ranks f or 80 communication journals and annuals were significantly related to ISI impact factor scores, Hirsh's H-index calculated separately using Google Scholar (scholar.google.com) and ISI data, and to acceptance/rejection ratios for 65 communication journals, providing evidence of convergent and discriminant validity.

Aider les programmes de communication a représenter leurs points forts : Vers une mesure endogène de la publication productive d'un article dans les publications en série de communication : Abrégé: Cet essai analyse un certain nombre de discours traditionnels se rapportant aux gens de « Wall Street » en contraste aux gens « normaux » lors de la création et de l'adoption de la Loi d'urgence de la stabilisation économique de 2008. Par métonymie de fonctionnement, cette « normalité de rue » a fourni des identités formelles pour un grand nombre de variables en jeu dans la crise. Loin d'être existant dans un vide discursif, cependant, la rhétorique des rues est en train d’être négocié par un certain nombre de contraintes institutionnelles et technologiques. De ce fait, la rhétorique économique examinée dans cet essai est mieux comprise comme un ac te d'articulation plutôt que comme un processus constitutif qui produit la réalité économique.


Evaluating doctoral programs in communication on the basis of citations

Mike Allen
Melissa Maier
Dennis Grimes
University of Wisconsin — Milwaukee
Milwaukee, IL, USA

Abstract: This article ranks doctoral programs in communication based on the combined number of citations of articles by faculty members in the Web of Knowledge. The analysis considers the number of faculty and the number of publications cited, as well as the number of citations per publication and faculty member. The technique provides one alternative to surveying faculty as a means to rank or evaluate communication doctoral departments.

Évaluation des programmes de doctorat dans la Communication sur la base des citations : Abrégé: L'agitation et la controverse sociale qui durent encore à la suite du plan de sauvetage en 2008 de Wall Street illustrent l'importance de l’ « économie » dans la culture politique américaine. Grâce à une analyse des fondements contradictoires de la difficulté a définir les causes et le recours appropriés pour gérer la crise économique, cette étude identifie et théorise un registre particulier de jugement économique qui prévaut dans la culture politique américaine. Cet article fait valoir que le jugement économique, en grande partie moderniste dans sa configuration actuelle, exige une sensibilité prudente qui peut élargir la portée de ce qui peu t être délibéré à l'égard des sujets économiques. Une telle expansion permettrait l'élargissement des possibilités d'action dans le domaine économique par le biais de l'examen plus large des perspectives multiples et des savoirs, un élargissement qui est nécessaire à la fin de ces temps modernes.


The quest for practical benchmark indicators of communication doctoral program quality and reputation:
Relating data from the NCA, CIOS, and NRC

Timothy D. Stephen
University at Albany
Albany, NY, USA

Abstract: This study reviews procedures used by the NRC in its assessment of the communication field and examines the NRC's outcome data for communication doctoral programs in relationship to other sources of assessment data produced within the discipline -- the 2004 NCA Doctoral Reputation Study and publication productivity data from the CIOS. The purpose is to better understand the relevance of the NRC data and factors that may have reduced its validity, and to identify alternative approaches for creating timely and valid profiles of communication program excellence. Multiple regression analyses relating the NRC and CIOS data to NCA ranks strongly support that the field is comprised of separate scholarly cultures with different relevant performance indicators, a factor that likely reduced the validity of the NRC analysis. The strongest predictor of doctoral program reputation across most of the field’s areas of program focus was the CIOS conten t-appropriate article publication counts.

La quête pour les indicateurs de référence pratique sur la qualité et la réputation du programme doctoral en communication : Mettant ensemble les données des publications du NCA, du CIOS et du NRC  : Abrégé : Cette étude examine les procédures utilisées par le NRC dans son évaluation du domaine de la communication et examine les données sur les résultats du CNRC pour les programmes de doctorat en communication dans la relation à d'autres sources de données d'évaluation produites au sein de la discipline--l'étude de la réputation du doctorat en 2004 par le NCA et les données de productivité de publication du CIOS. Le but est de mieux comprendre la pertinence des données de la NRC et des facteurs qui peuvent avoir réduit sa validité et d'identifier des alternatives pour créer des profils de programme d’excellence en communication au moment opportun. Les analyses de régression multiple concernant les données du NRC et du CIOS au NCA qui s’appuient fortement a ce que le domaine de la comm unication soit composé de cultures éduquées séparées par des indicateurs pertinents différents sont des facteurs qui réduisent probablement la validité de l'analyse du NRC. La prédiction la plus forte pour la réputation du programme doctoral dans la plupart des domaines du programme a été la publication approprié des articles du CIOS.


Funding in published communication research

Timothy R. Levine
Michigan State University
East Lansing, MI, USA

Abstract: Faculty members in communication are experiencing increased pressure to seek external funding for their research. The frequency of attribution to funding sources was examined in a content analysis of articles published in communication journals in 2010 (N = 611) and 2000 (N = 141). In 2010, 22.9% of published articles reported funding of some sort, with 9.3% of the total receiving US federal funding. The rates of funding varied by journal and topic of study. No evidence was found for a large increase in funding since 2000, but topics of study appear to have changed over time to favor funding potential. Health communication was the most researched topic in published communication research in 2010.

Le financement de la recherche publié dans la communication : Abrégé: Les membres de la faculté en communication subissent une pression forte à la recherche de financement externe pour leurs recherches. La fréquence de l'attribution de sources de financement a été examinée dans une analyse du contenu des articles publiés dans des revues de la communication en 2010 (N = 611) et en 2000 (N = 141). En 2010, 22,9 % des articles publiés ont signalé un financement de quelque sorte, avec 9,3 % du total ayant reçu une aide fédéral américaine. Les taux de financement varient par revue et par sujet d'étude. Aucune preuve n'a été trouvé pour une grande augmentation du financement depuis l’an 2000, mais les sujets d'étude semblent avoir changé au fil du temps af in de favoriser les possibilités de financement potentielles. La communication sur la santé a été le sujet le plus documenté dans la recherche sur toute la communication publiée en 2010.


Does publishing in high-impact journals in communication matter?

Thomas Hugh Feeley
Shin-Il Moon
Yixin Chen
University at Buffalo, The State University of New York
Buffalo, NY, USA

Abstract: This study uses an article-level analysis to measure the relationship between the Journal Impact Factor (JIF) of the journal where an article is published and the number of citations to the same article, as indexed in Google Scholar (scholar.google.com). JIF is a metric that measures the average number of citations to a given journal article published in the two years prior to analysis. For this study, data on 4,313 articles were extracted from 1,102 authors affiliated with 102 doctoral programs in communication in the United States. Multiple regression analysis indicates that articles published in higher-impact journals, as measured by JIF, were significantly more likely to be cited in Google Scholar after controlling for article age and author productivity.

Est-ce que publier dans les grandes revues sur la communication est important?  : Abrégé : L’étude actuelle regarde l’analyse au niveau de l’article afin de mesurer la relation entre le Facteur de l’Impact du Journal (FIJ) de la revue dont l’article est publié et le nombre de citation du même article, selon l’indexe de Google Scholar (scholar.google.com). FIJ mesure la moyenne des citations dans un article de revue parut dans les deux ans avant l’analyse. Les données de 4 313 articles ont été des extraits de 1 102 écrivains ayant des affiliations avec 102 programmes de communications au niveau du doctorat aux Etats Unis. Les résultats de l’analyse de régression indiquent que les articles publiés dans les revues aux impacts majeurs selon les mesures de FIJ, étai ent bien plus probable d'être cités dans Google Scholar en contrôlant l'âge de l’article et la productivité de l’auteur.


Predicting the prominence of scholarship for prolific communication scholars

Carolyn A. Lagoe
David J. Atkin
Yi Mou
University of Connecticut
Storrs, CT, USA

Abstract: Given that academic publication represents a necessary benchmark for institutional appointment, tenure and salary, citation analysis is a useful method through which the productivity level of individual scholars and departments can be assessed. Although various metrics have been used to assess productivity among scholars in other academic fields (e.g., the Journal Impact Factor, see Pagel & Hudetz, 2011; Hirsch Index, see Fuller, Choi & Thomas, 2009), relatively little work addresses the productivity levels of individual researchers and departments in the communication discipline (Feeley, LaVail, & Barnett, 2011; Barnett & Feeley, 2011; Hickson, Bodon & Turner, 2004). The present analysis set out to (a) expand on the research available that analyzes the productivity levels of individual scholars within the field of communication, (b) compare two proxy measures of prestige that can serve as a metric for productivity and impac t of individuals within the field of communication (i.e., Hickson’s rankings and the ranking of the same scholars based on H-index), and (c) present descriptive data on productivity levels among prolific scholars within the field. Results indicate a moderate degree of correspondence between career productivity, as identified by Hickson et al. (2004), and H-ranking.

Prévoir l'importance des bourses d'études pour les spécialistes prolifiques de la communication  : Abrégé: Puisque la publication universitaire représente une référence nécessaire pour les rendez-vous institutionnels, la titularisation et le salaire, l’analyse de référence est une méthode utile à travers laquelle le niveau de productivité des départements et des chercheurs individuels peut être évalué. Bien que diverses mesures aient été utilisées pour évaluer la productivité parmi les chercheurs dans d'autres domaines universitaires (par exemple, le Journal Impact Factor, voir Pagel & Hudetz, 2011 ; Indice de Hirsch, voir Choi, Fuller & Thomas, 2009), peu de travaux relatifs portent sur les niveaux de la productivité des chercheu rs individuels et des départements dans le domaine de la communication (Feeley, LaVail et Barnett, 2011 ; Barnett & Feeley, 2011 ; Hickson, Bodon & Turner, 2004). L’analyse à présent essaie (a) d’élargir la recherche disponible qui analyse les niveaux de la productivité des chercheurs individuels dans le domaine de la communication et (b) de comparer deux mesures substitutives de prestige qui peuvent servir à une métrique pour la productivité et l'impact des individus dans le domaine de la communication (c.-à-d., les classements de Hickson et les classements de ces mêmes spécialistes basé sur l’index H) et enfin (c) des données descriptives présentes sur les niveaux de productivité parmi les spécialistes prolifiques dans ce domaine. Les résultats indiquent un degré modéré de la correspondance entre la productivi té de la carrière, tels qu'identifiés par Hickson et cie (2004) et sur le classement H.


Assessing the validity and value of program and faculty productivity assessments

Michael W. Kramer
University of Oklahoma
Norman, OK, USA

Abstract: The essay explores the merits of the scholarship on scholarship in the field of communication. First, it examines a number of methodological problems in the way this research is conducted including the questionable selection of journals for analysis. Next, it questions the value of the ratings and rankings given that they attempt to make fine distinctions between members of an elite group of scholars and programs. Then, it discusses the inappropriate application of this scholarship to non-PhD programs. Finally, it suggests an alternative approach to reporting results so that the appropriate value of the research is realized.

Evaluer la validité et la valeur des évaluations de productivité pour le programme et la faculté : Abrégé :  Cet essai explore les mérites d’une bourse sur les bourses d'études dans le domaine de la communication. D’abord, cet essai examine un certain nombre de problèmes méthodologiques dans la façon dont cette recherche est effectuée, y compris le choix discutable de revues pour l'analyse. Ensuite, l’essai remet en question la valeur des indices et des classements étant donné qu'ils tentent de faire des distinctions subtiles entre les programmes et un groupe d'érudits élite. Ensuite, l’essai traite de l'application qui n’est pas appropriée de cette bourse d'études pour les programmes qui ne sont pas du niveau du doctorat. Enfin, l’essai su ggère une autre façon de présenter les résultats afin que la valeur appropriée de la recherche soit réalisée.


Charting the future of journalism education at HBCUs:
Finding a place for multimedia in the curricula

Kim Smith, Ph.D.
North Carolina A&T State University
Greensboro, NC, USA

Abstract: The author surveyed 240 journalism educators and department chairs at 51 Historically Black Colleges and Universities to learn how they were coping with possible changes in journalism curricula as a result of the growing popularity of multimedia journalism. Out of the 93 who completed the survey, 97% agreed that all students in a journalism program should be required to take multimedia courses. But they disagreed over who should take the lead for making changes in the curricula. Other obstacles included (a) lack of faculty training in multimedia techniques, and (b) lack of financial resources to buy and maintain the equipment needed to teach multimedia. The study also compares obstacles HBCUs face in adding multimedia to the curricula to studies that examined the stumbling blocks predominately white colleges and universities (PWCUs) have faced in adding multimedia to their journalism curricula.

Tracer le future de l'enseignement du journalisme aux HBCU : Trouver une place pour le multimédia dans les programmes : Abrégé :  L'auteur a tenté de faire une enquête sur 240 éducateurs de journalisme et de chefs de départements dans 51 collèges et universités de population historiquement noir afin d'apprendre comment les changements possibles dans les programmes de journalisme ont changé de programmes en raison de la popularité croissante du journalisme par multimédias. Des 93 qui ont rempli le sondage, 97 % ont convenu que tous les élèves dans un programme de journalisme devraient être tenus a suivre des cours de multimédias. Mais ils exprimaient leur désaccord sur qui devrait mener ces changements dans les programmes. D’autres obstacles incluent (a) le manque de for mation des professeurs en techniques de multimédias et (b) le manque de ressources financières pour l'achat et l'entretien de l'équipement nécessaire pour enseigner le multimédia. L'étude compare également les obstacles de HBCU en ajoutant le multimédia pour les programmes d'études qui ont examiné les difficultés que les collèges et les universités de population en majorité blanche ont fait face en ajoutant le multimédia à leurs cursus de journalisme.


Copyright 2012 Communication Institute for Online Scholarship, Inc.

This file may not be publicly distributed or reproduced without written permission of
the Communication Institute for Online Scholarship,
P.O. Box 57, Rotterdam Jct., NY 12150 USA (phone: 518-887-2443).