[ELSEVIER#6] University Ranking with Scopus & SciVal
1. 대학 순위 평가란?
대학 순위 평가는 다양하고 불완전하나, 동시에 영향력이 있습니다.
대학은 고유한 사명을 실현하기 위해 노력하며, 이러한 노력과 성과를 예비 대학생, 잠재적 연구원, 교원, 정책 담당자, 그리고 펀딩 기관에 어떻게 전달할 수 있는지 고려할 때, 다양한 커뮤니케이션 도구와 전략을 활용합니다. 웹사이트, 브로셔, 성과 자료, 대학 순위 정보, 그리고 이벤트 등을 활용하여 대학의 역량과 비교 장점을 강조하며 소통합니다. 대학 순위 평가는 이러한 비교와 선정에 도움을 줄 수 있는 중요한 도구 중 하나입니다.
완벽하진 않지만 유용한 순위 평가
대학 순위 평가와 순위표는 고등교육기관을 간단하게 비교하는 유용한 도구이지만, 이용 시 주의가 필요합니다. 순위는 대학의 평판과 결합될 때 종종 비판을 받기도 하는데, 이러한 한계로 인해 순위 평가와 순위표를 유일한 평가 척도로 사용해서는 안 됩니다. 의사 결정에 활용하기 위해서는 다른 지표나 데이터를 추가하는 것이 좋습니다. 이를 통해 보다 풍부하고 균형있는 정보를 활용하여 대학을 비교하고 선택하는 데 도움이 될 것입니다.
종류는 다양, 모든 상황에 적용은 불가
세계 대학 순위를 집계하는 한 곳인 IREG Observatory가 자사의 웹사이트에서 하기와 같이 언급했습니다:
“순위 평가 기관은 교육기관의 다양성을 인정하고 교육기관의 다양한 사명과 목표를 고려해야 합니다. 예를 들어, 연구 중심 교육기관에 대한 질적 평가는 소외된 지역사회를 위해 교육 서 비스를 제공하는 교육기관과 비교해 상당히 다릅니다.”
아래 차트는 시계열에 따른 국제 순위 평가 기관의 성장과 변화를 간략하게 나타낸 것입니다.
2. 순위 평가가 중요한 이유는?
세계 대학 순위 평가는 지난 20여년 동안 양적·질적으로 성장해왔으며 여러 요인에 영향을 받습니다. 이러한 영향 요인에는 다음과 같은 것들이 있습니다:
- 정부의 교육기관 연구 우수성 측정: 정부가 교육과 연구를 장려하고 지원하는 정책과 기준이 세계 대학 순위에 영향을 미칩니다. 정부가 대학의 연구 우수성을 측정하고 인센티브를 제공하면, 이는 대학들이 연구 활동을 더욱 강화하고 순위 평가에서 높은 등수를 얻기 위해 노력하는 원동력이 될 수 있습니다.
- 학부생 또는 대학원생(및 학부모)의 대학 선택: 학생과 학부모의 대학 선택은 세계 대학 순위에 영향을 미칩니다. 순위 평가 결과가 학부생 및 대학원생의 대학 선택에 영향을 미칠 가능성이 있으며, 대학들은 이를 고려하여 자신의 평판을 유지하거나 향상시키려고 노력할 수 있습니다.
- 기업의 파트너 대학 선정: 기업은 파트너 대학을 선택할 때 세계 대학 순위를 고려할 수 있으며, 이는 대학의 산업 및 기술 협력을 촉진하고 연구 기회를 확대하는 데 영향을 미칠 수 있습니다.
- 펀딩 기관의 대학 연구 부문 투자: 펀딩 기관은 대학의 연구 활동을 지원하고 투자하는데, 이는 대학의 연구 우수성과 연구 활동을 촉진할 수 있으며, 이는 순위 평가에 영향을 미칠 수 있습니다.
리서치 2030 팟캐스트의 에피소드인 “젊은 대학이 바라보는 순위 평가에 대한 관점”에서 카타르대학의 국제 업무 책임자인 세자르 와젠(César Wazen)이 순위 평가가 중요한 이유를 설명합니다.
Podcast Episode
www.buzzsprout.com
Then over the years, we realized that tracking's not only is it a game to play, to compete on the, on the market, but also contain some very interesting indicators that can provide the university with answers on whether where it was doing well and bad and benchmarking it with regional and worldwide competitors. So basically now where we are quite engaged in rankings, I can say.
수년에 걸쳐 트래킹은 시장에서 경쟁하는 게임일 뿐만 아니라 대학이 잘하고 있는 곳과 그렇지 않은 곳을 파악하고 지역 및 전 세계 경쟁자와 벤치마킹할 수 있는 매우 흥미로운 지표를 포함하고 있다는 사실을 깨달았습니다. 따라서 기본적으로 현재 우리는 순위에 상당히 관여하고 있다고 말할 수 있습니다,
3. 순위는 누가 발표하는가? (대학 순위 평가 관련 세계 7대 보고서)
1. CWTS 라이덴 랭킹
- 대상: 연구 중심 대학
- 규모: 1,411개 기관 (2023년)
- 발표 시기: 매년 (6월)
- 명시된 목표: 대학 성과를 다차원적 관점에서 평가하며 과학적 영향력, 협업, 오픈 액세스 출판, 성별 다양성 지표를 제공
- 데이터 출처 : 과학 인용색인 확장판, 사회과학 인용색인, 예술 및 인문학 인용색인의 웹 오브 사이언스 데이터를 CWTS 자체 데이터로 보
강해 사용, 오픈 액세스 지표를 위한 OpenAlex
- 평가 방법: 핵심 출판물(인용 분석에 적합하고 특정 기준을 충족하는 분야의 국제 과학 저널에 게재된 출판물)로 분류된 것 중 최근 3년 동안의 출판물. 일반적으로 대학은 교육과 연구를 수행하는 기관으로 학위 수여권한을 갖는 특징이 있습니다. 그렇다고 대학들이 모든 면에서국제적 비교가 가능한 동질적인 기관이라고는 할 수 없습니다. 라이덴 순위 평가는 과학 연구에 중점을 두면서 연구 집약도가 공통적으로 높은 대학을 평가 대상으로 합니다.
- 주요 지표: 출판물, 오픈 액세스 지표, 규모 의존적 vs 규모 독립적 지표, 성별 지표, 과학적 영향력 지표, 집계 방법, 협업 지표, 추세 분석, 안정성 간격
2. QS 세계 대학 순위
- 대상: 글로벌
- 규모: 1,500여 기관 (2023년)
- 발표 시기: 매년 (봄)
- 데이터 출처: 엘스비어 서지 데이터세트 및 데이터베이스 (Scopus와 SciVal)
- 명시된 목표: 자신의 대학이 전 세계 학계와 미래 고용주에게 어떤 평가를 받고 있는지를 알고자 하는 학생을 대상. 동기부여가 강한 사람들이 세계 어디에서나 교육적 성취, 국제적 이동성, 경력 개발을 통해 자신의 잠재력을 실현할 수 있도록 지원. 신평가 방법에서는 고용가능성과 지속가능성 강조
- 평가 방법: (20th edition부터) QS는 평가방법 프레임워크를 발전시켜 기존 6개 지표에 지속가능성, 고용가능성, 연구 협력을 추가
QS 세계 대학 순위는 대학을 9개 지표에 따라 평가
학문적 평판도 30%
교수당 피인용 횟수 20%
고용주 평판도 10%
학부생 수 10%
유학생 수 5%
외국인 교원 5%
국제 연구 네트워크 5%(2023년 추가)
고용 성과 5%(2023년추가)
지속가능성 5%(2023년 추가)
3. 전공별 QS 세계 대학 순위
- 대상: 54개 세부 전공을 5개 학부로 분류
- 규모: 1,500여 기관 (2023년)
- 발표 시기: 매년 (봄)
- 명시된 목표: 전공 분야별 대학간 비교를 원하는 예비 대학생들
이 자신이 선택한 분야에서 세계 최고의 학교를 파악할 수 있도
록 지원
- 데이터 출처:
1. 국제 평판도
QS 글로벌 학계 설문조사
QS 글로벌 고용주 설문조사
2. 연구 영향력: 엘스비어 서지 데이터세트 및 데이터베이스 (Scopus와 SciVal)
논문당 연구 인용 횟수
관련 전공 분야 h-인덱스
- 평가 방법: 아래 다섯 가지 지표를 종합해 각 전공별 순위에 대한 결과를 산출하고 분야별 가중치를 적용
학문적 평판도
고용주 평판도
논문당 인용 횟수
h-인덱스
국제 연구 네트워크(IRN)
학문 분야별로 연구 문화와 논문 출판율이 크게 다르기 때문에 전공별 QS WUR은 전공별로 5가지 지표의 가중치를 다르게 적용합니다.
예를 들어, 논문 출판율이 매우 높은 의학의 경우, 연구 피인용 횟수와 h-인덱스는 각 대학 총점의 20%를 차지합니다. 역사학과 같이 논문 출판율이 낮은 분야에서는 이러한 연구 관련 지표는 전체 순위 점수의 7.5%에 불과합니다. 예술이나 디자인처럼 출판 논문 수가 너무 적어 통계적 유의성이 없는 분야에서는 고용주와 학계 설문조사만을 기반으로 순위를 산출합니다.
4. 상하이 랭킹(ARWU)
- 대상: 글로벌
- 규모: 매년 2,500여 대학 순위를 분석해 상위 1,000곳 발표
- 발표 시기: 매년 (8월)
- 명시된 목표: 국가적 차원의 강점과 약점을 파악해 개선점 도출과 새로운 목표 설정을 위한 기반 제공
- 데이터 출처:
- 노벨상
- 필즈 메달(http://www.mathunion.org)
- HiCi: 클래리베이트
- N&S: 웹 오브 사이언스
- 서지 정보: 웹 오브 사이언스
- 전국 교원 수: 교육부와 통계청과 같은 국가 기관, 전국 대학 협의회, 전국 총장 협의회
- 평가 방법: 최고 점수를 받은 대학에 100점을 부여하고 다른 대학은 최고 점수 대비 백분율로 계산. 한 대학의 순위는 그 위 순위에 있는 대학의 수를 의미. 순위 평가 기준은 다음과 같은 학문적 또는 연구 성과 지표를 사용.
- 노벨상 및 필즈 메달 수상 동문 및 교원 수
- 많이 인용된 연구자 수
- Nature와 Science에 발표된 논문 수
- 주요 인용색인에 색인된 논문 수
- 대학의 1인당 학업 성과
5.THE 세계 대학 순위
- 대상: 글로벌
- 규모: 1,799개 대학 (2023년)
- 발표 시기: 매년 (9/10월)
- 명시된 목표:
- 연구 중심 대학을 대상으로 교육, 연구, 지식 이전, 국제적 관점 등 대학의 핵심 사명에 걸쳐 평가
- 학생과 학부모, 학계, 대학 운영진, 정부, 업계에 신뢰할 수있는 대학의 성과 데이터 제공
- 데이터 출처:
- 학술 평판도 설문조사(엘스비어의 대학 데이터를 THE 데이터와 매핑)
- 엘스비어: Scopus 데이터베이스 및 SciVal (대학 차원의 서지 데이터, 정규화된 FWCI 점수, 매핑)
- 대학 자체 제출 데이터
- 평가 방법: THE는 13개 성과 지표를 사용해 전 세계 1,400여곳의 대학 순위를 평가. 성과 지표는 다섯 가지 영역으로 분류됨
30% 교육(학습 환경)
- 15.0% 평판도 조사
- 4.50% 교원/학생 비율
- 2.25% 박사/학사 비율
- 6.00% 박사 학위 취득자/교원 비율
- 2.25% 대학 수입
30% 연구(연구량, 수입, 평판도)
- 18% 평판도조사
- 6.0% 연구수입
- 6.0% 연구생산성
30% 피인용 (연구 영향력)
- 7.5% 국제적 관점 (교원, 학생, 연구)
- 2.5% 유학생 비율
- 2.5% 외국인 교원 비율
- 2.5% 국제 협력
2.5% 산업체 관련 수입 (지식 이전)
6. THE 세계 대학 영향력 순위
- 대상: 유엔의 지속가능개발목표(SDG)
- 규모: 112개 국가/지역의 1,591개 대학 (2023년, 매년 변경)
- 발표 시기: 매년 (4월)
- 명시된 목표: 지역사회를 위해 노력하는 대학의 사례를 통해 다
른 순위 평가에서 다뤄지지 않은 대학의 활동과 노력을 조명함.
대학이 세상에 어떠한 기여를 할 수 있는가를 제시
- 데이터 출처:
- 대학이 17개 SDG 가운데 최대한 해당 되는 분야의 데이터를 제출
- 엘스비어 서지 데이터세트 및 데이터베이스 (Scopus와 SciVal)
- 평가 방법: THE는 SDG 각 영역을 놓고 네 가지 광범위한 영역 (연구, 지원, 교육, 관리)에서 대학간 비교 지표를 사용. 전체 순위에 들어가는 대학은 SDG 17번과 기타 3개 이상의 SDG에 대한 데이터를 제공. 평가 방법은 THE의 파트너 기관인 버티고 벤처스 (Vertigo Ventures) 및 엘스비어와 협력하고 개별 대학, 학계, 각 부문 그룹의 자문과 의견을 수렴해 개발
각 SDG에는 해당 SDG에서 대학의 성과를 평가하는 데 사용되는 일련의 지표가 존재. THE는 전체 순위뿐만 아니라 각각의 SDG 평가 결과도 공개. 이를 통해 전체 순위에 포함될 자격이 없더라도 참여한 모든 대학에 순위를 부여
7. U.S. 뉴스 & 월드 리포트: 베스트 대학 순위
- 대상: 글로벌
- 규모: 95개국 이상의 2,000개 대학
- 발표 시기: 매년 (10월)
- 명시된 목표:
- 예비 학생들에게 다른 나라의 고등교육 옵션을 제시하고 연구 활동 측면에서 목표 학교들을 서로 비교 가능하게 함
- 대학을 위해 타대학과 비교를 통한 벤치마킹, 글로벌 인지도 제고, 다른 나라의 우수 대학과 협력할 수 있는 기회를 제공
- 데이터 출처:
- 서지 데이터 및 지표: 클래리베이트
- 평판도 지표: 클래리베이트 애널리틱스의 학술 평판도 설문조사
- 평가 방법: 개별 학부 또는 대학원 프로그램이 아닌 대학의 학술 연구 및 평판도 전반에 초점. 순위 산정은 13개 지표 각각에 대한 가중치와 z 점수를 조합해 전체 글로벌 점수를 계산
- 글로벌 연구 평판도 12.5%
- 지역 연구 평판도 12.5%
- 출판물 10%
- 도서 2.5%
- 학회 2.5%
- 정규화된 인용 영향력 10%
- 총 피인용 횟수 7.5%
- 가장 많이 인용된 상위 10%에 속하는 논문 수 12.5%
- 전체 출판물 중 가장 많이 인용된 상위 10%에 속하는 논문 수의 비율 10%
- 국제 협력 – 국가별 비율 5%
- 국제 협력 5%
- 각 분야에서 가장 많이 인용된 상위 1%에 속하는 논문 중 피인용 횟수가 높은 논문 수 5%
- 전체 출판물 중 가장 많이 인용된 상위 1%에 속하는 논문의 비율 5%
4. 어떻게 평가하는가?
순위 평가 방법은 다양하고 계속 발전하며, 지표 선택과 가중치 할당, 한계와 제한 사항, 대학 목적에 따른 적합성 등을 고려해야 합니다. 대학 순위를 이해하고 활용할 때, 단순한 순위만이 아니라 그 평가 방법과 목적을 고려하며, 다양한 평가 지표를 종합적으로 고려해야 합니다.
매사추세츠공대의 대학 연구 책임자인 리디아 스노버(Lydia Snover)는 타임스고등교육(THE) 블로그에서 다음과 같이 언급 했습니다.
“분명히 말씀드리자면 완벽한 대학 순위 평가란 존재하지 않 습니다. 고등교육에서 우수성을 비교 가늠하는 단일한 모델 은 없으며, 모든 순위는 이용 가능하고 비교 가능한 데이터에 기반합니다. (지표와 가중치에 대해) 데이터 분석자의 주관적 판단이 작용하기에 ‘올바른’ 결과는 존재하지 않습니다.”
순위 평가 방법은 주로 다양한 외부 리소스의 데이터 입력에 의존하며, 이에는 대학의 기관 데이터, 연구자 데이터, 서지 및 인용색인 데이터베이스, 대학 부서에서 얻은 데이터, 평판도 설문 조사, 그리고 웹사이트를 통한 평가 방법 설명이 포함됩니다. 특정 순위 평가는 선택한 가중치와 계산 방법에 따라 결과를 특정 방향으로 조정할 수 있으며, 중점 사항과 데이터 출처를 이해하는 데 도움을 주기 위해 평가 기관은 자세한 정보를 제공합니다. 이러한 다양한 데이터와 정보를 고려해 대학 순위를 산정하고 이해하는 것이 중요합니다.
- 대학의 기관 데이터 및 연구자 데이터(연구 결과물 기준)는 서지 또는 인용색인 데이터베이스(예: Scopus및 SciVal)에서 채택
- 인사, 교무, 재정 등 대학 부서에서 얻은 데이터
- 교원, 학생, 졸업생, 고용주를 대상으로 실시한 평판도 설문 조사
4-1 대학평가에 있어서 Scopus 와 SciVal 역할 이해하기
대학 순위 평가에서 데이터 출처의 신뢰성과 투명성은 결정적인 역할을 합니다. 신뢰할 만하며 투명한 출처에서 나오는 데이터를 기반으로 한 평가는 목적에 부합하고 정확한 대학 평가 순위를 제공할 것으로 기대됩니다. 따라서 대학을 선택하거나 평가할 때, 데이터의 출처와 정확성을 신중히 고려하는 것이 중요합니다.
대학 랭킹 세계 7대 보고서 중 4개의 리포트가 Elsevier의Scopus와Scival와 같은 신뢰할 만한 데이터 소스를 활용하여 연구 성과를 효율적으로 분석하고 정리하는 데 도움을 받고 있으므로, 이러한 툴은 대학 순위 평가에서 중요한 역할을 합니다.
해당 내용은 엘스비어 엠베서더로써 엘스비어에서 제공되는 자료집을 바탕으로 재구성하여 포스팅 하였습니다.