배경 및 연혁

    ● 배경
    공명하고 정대한 평가지표의 정립은 모든 사회 경쟁력의 근원이다. 조직의 특성을 막론하고 해당 조직의 효율성과 역량을 규정한다. 컴퓨터 과학, 컴퓨터 공학등으로 통칭되는 컴퓨터 SW분야는 자연과학이나 여타 공학분야와 달리 국제학술대회에서 발표된 논문도 매우 중요한 연구결과로 평가 받는다. 저널의 경우에는 SCI(Science Citation Index) 라는 지수가 저널의 수준을 나타낸다. 완벽한 지표라고 하기에는 논란의 여지가 있으나 SCI의 impact factor가 저널의 수준을 나타내는 지표로서 존재한다. 반면 학술대회의 경우, 그 수준이 매우 다양함에도 불구하고 학술대회의 수준을 나타내는 적절한 지표가 없는 현실이다. 일부 논문 참조 사이트(구글 스칼러, citeseer등)에서 학술대회의 impact factor를 계산하여 공지하고 있으나, 아직 연혁이 오래지 않아 통계에 미흡함이 있는 실정이다. 국제학술대회의 논문 발표가 학계의 주류 동향으로 자리잡은 분야에서 연구자들의 소중한 연구결과가 올바르게 평가받고, 연구활동을 진작시키기 위해서 학술대회의 우수성을 나타낼 수 있는 지표 정립이 매우 시급하다.

    한국정보과학회(이하, 학회)에서는 SW분야의 경쟁력 제고와 세계기술선도를 위하여 우수한 학술대회를 선별하는 사업을 수행하고자 한다. SW분야에서는 주류학술 활동이 권위있는 학술대회의 논문발표를 통해 이루어지는 분야가 다수 존재하다. 이들 분야에서는 교수의 정년 보장심사, 박사학위 취득시의 졸업 요건, 교수채용등에서 주류 학술대회에 논문 게재실적이 매우 중요시 된다. 한국 정보과학회 에서는 학회 회원들의 값지고 소중한 연구결과가 사장되거나 불공정하게 평가되는 경우가 없도록 하기 위하여, 학술대회에의 논문게재가 매우 중요시 되는 학문분야에서는 주류학술대회를 선별하고, 주류학술대회의 논문 발표를 장려할 수 있는 토대를 마련코자 한다.

    본 학회에서는 전산학, 컴퓨터 공학으로 통칭되는 학문분야를 (Computer Science and Engineering) 10여 개 소분야로 분류하고, 각 소분야별로, 권위있는 학술대회들을 엄선한다. 이렇게 해서 선정된 학술대회를 “우수학술대회” 라 하며, 이를 “우수학술대회 목록”이라는 이름으로 관리한다. 각 소분야에서 학술대회를 두개의 군으로 분류하였다. 이들 두 개 군의 학술대회를 각기 최우수 학술대회(S급)와 우수학술대회(A급)라 칭한다. 최우수 학술대회는 전 세계 연구중심대학(예를 들어 미국의 대학원 순위 상위 20위권 이내)에서 정년보장심사에 반영될 수 있는 학술대회 논문들을 기준으로 한다. 우수학술대회는 의미 있는 연구결과가 발표되고 최소한 SCI급 저널의 논문 수준을 유지하는 학술대회들이다. 소분야 간의 특성이 상이하기에 서로 다른 소분야 간의 학술대회 수준의 대한 비교는 의미가 없다.

    학문분야의 동향과 흐름에 따라 학술대회에도 부침이 따르는 바, 우수학술대회 목록을 정기적으로 갱신하는 것은 필수다. “우수학술대회 목록”의 관리는 학술활동진작을 담당하는 정보과학회의 사회적 소명이다. 정보과학회에서는 우수학술대회 목록의 갱신, 관리등에 대한 일련의 사업을 학회의 의무사항으로 규정하고 관련 사업을 수행한다. 우수학술대회 목록을 관리함에 있어 논문 피인용지수 (Google H-5 index, Google H-10 index), 논문 합격률(acceptance ratio), 발표논문 편수 및 전문가 평가 등을 종합적으로 고려한다.

    학회의 우수학술대회 목록은 컴퓨터과학, 컴퓨터 공학, SW학과의 각종 평가, 승진, 승급 기준, 각종 과제의 선정 및 결과 평가에 사용될 수 있다. 본 학회가 제정하는 우수학술대회 목록이 전산학 분야 학문 활동의 권위를 정립하고 나아가 대한민국 전산학 분야의 학문경쟁력 제고에 일조하기 희망한다.
    2018년 6월 한국정보과학회 회장 엄영익
    ● 연혁요약

    2018년 4월

    최우수학술대회 발표자료 전수조사 (주관: 정보과학회, 자료)

    2017년 2월

    제2차 우수학술대회 목록 공표 (보고서, 목록)

    2016년 12월

    우수학술대회 목록에 대한 공청회 개최(정보과학회 동계학술대회, 공청회 자료)

    2016년 8월

    우수학술대회 개편위원회 발족(위원장: 서울대 김종권 교수)

    2015년 2월

    제1차 우수학술대회 목록 제정 및 공표(목록)

    2015년 1월

    소프트웨어분야 평가지표 개선 TF 해단

    2014년 11월 7일

    소프트웨어 분야 평가지표 개선을 위한 공청회 (발표자료, 우수학술대회 목록(안))

    2014년 10월

    정보과학회 소프트웨어 분야 평가지표 개선을 위한 회장단 워크샵 (발표자료)

    2014년 9월

    소프트웨어분야 평가지표 개선 TF 발족(위원장: 서강대 서정연 교수)

    2014년 3월

    정보과학회 소프트웨어정책연구회 워크샵 “SCI에 발목잡힌 SW: 불평에서 대안제시로”
    (발표자료)

    2013년 11월

    소프트웨어 분야 평가체계 적정성 연구(수행기관: 정보과학회, 보고서)

    ● 2016년도 개정 주요 내용
    2016년, 2014년 11월 제정된 소프트웨어분야 우수학술대회 목록의 개편을 위하여, 정보과학회 학술진흥위원회 산하 우수학술대회 개편위원회(약칭 “우개위”)가 조직되었으며, 김종권 위원장과, 원유집 부위원장을 중심으로 5인의 실무위원과 25인의 전문위원이 위촉되었다. 개편절차는 각 전문분야과에서 추가 삭제의견을 제출받고 5차의 전문위원 워크샵을 통해 10개의 분과별로 목록 개편 내용이 정리되었다.

    주요 개정 내용은 다음과 같으며, 구체적인 내용은 아래 표에 정리한 바와 같다.

    ▣ INFOCOM, SIGGRAPH-ASIA, ISMB, CAV, NACCL/HLT의 6개 학술대회를 최우수학술대회에 추가함
    ▣ IJCAI, COLING, ICFP, EDBT, ISWC, VIS의 6개 학술대회를 최우수학술대회에서 삭제하고 우수학술대회로 하향 조정함
    ▣ CVPR, NIPS, ICCV, ECCV의 스팟라이트 및 포스터 논문을 우수학술대회 논문으로 인정함

    표 1 2016년 개정 내용 요약

    (신규) 신규 추가
    (우→최) 우수→최우수 상향
    (최→우) 최우수→우수로 하향
    (삭제) 우수에서 삭제

    1 . 인공지능
    1) 최우수 신규 추가(1): ISMB
    2) 우수→최우수 상향(0): N/A
    3) 최우수→우수 하향(1): IJCAI
    4) 우수 신규 추가(7): CVPR-spotlight/poster, NIPS-spotlight/poster, ICCV-spotlight/poster, ECCV-spotlight/poster, RECOMB, BIBM, BMVC
    5) 우수에서 삭제(9): BIBE, COGSCI, CSB, EMBC, ICIP, IJCAR, IROS, ITS, WCCI
    6) 비고
    - ISMB는 ECCB와 더불어 실질적으로 Bioinformatics 분야의 최우수학술대회지만, 프로시딩이 Bioinformatics 저널에 자동 게재되어 이전에 최우수학술대회 리스트에서 제외된 것을 바로잡음.
    - AI분야의 최우수 논문 편수가 다소 많다는 지적이 있어, AAAI, IJCAI 둘 중 하나를 우수로 하향하기로 하고, 전문위원의 의견수렴 절차를 거쳐 IJCAI를 우수로 하향함.
    - 인공지능 분야의 최우수학술대회 4개 (NIPS, CVPR, ECCV, ICCV)의 경우 5%이내의 극소수의 논문만이 구두 발표되므로, 예외적으로 스팟라이트 및 포스터 (spotlight and poster) 논문을 (최우수가 아닌) 우수학술대회 실적으로 인정하기로 함.
    - Bioinformatics 분야의 RECOMB, BIBM 및 컴퓨터 비전 분야의 BMVC도 인공지능 분야의 요청으로 우수학술대회에 추가됨.
    - 9개의 학술대회가 괄호안의 사유로 우수학술대회에서 삭제됨: BIBE (>50% 이상 게재율), COGSCI (전문 문야에서 삭제 요청), CSB (전문 문야에서 삭제 요청), ICIP (>40% 게재율 및 저널 중심 분야(signal processing)), IJCAR (>40% 게재율 및 전문 분야 동의), IROS (>40% 게재율 및 전문 분야 동의), ITS (전문 분야에서 삭제 요청), WCCI (2년에 한 번씩 열리는 meta conference로서, 이를 구성하는 학술대회들을 각각 독립적으로 평가하기로 함).

    2 . 언어공학
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(2): NAACL/HLT, EMNLP
    3) 최우수 → 우수 하향(1): COLING
    4) 우수 신규 추가(1): CoNLL
    5) 우수에서 삭제(3): ICASSP, INTERSPEECH, ASRU/SLT
    6) 비고
    - 언어공학 분야의 의견 수렴 결과 기존 우수학술대회인 NAACL/HLT 및 EMNLP를 최우수학술대회로 상향하고, 대신 COLING을 우수학술대회로 하향하기로 함.
    - 최우수 3개 학술대회인 ACL, NACCL/HLT, EMNLP는 oral long 논문만 최우수로 인정하기로 함.
    - 전문 분야의 의견을 수렴하여 CoNLL을 우수학술대회로 신규 추가함.
    - ICASSP, INTERSPEECH등의 음성처리 분야 학술대회는 높은 게재율로 인해, ASRU/SLT는 학술대회 통계자료조차 미비하여, 전문 분야의 수렴을 거쳐 우수학술대회에서 삭제하기로 함.
    - IUI는 그래픽스/HCI 분과로 이관하기로 함. (우수 유지)

    3 . 정보통신
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(1): INFOCOM
    3) 최우수 → 우수 하향(0): N/A
    4) 우수 신규 추가(3): WoWMoM, IM(NOMS와 격년개최), PAM
    5) 우수에서 삭제(2): COSN, DCOSS
    6) 비고
    - 정보통신 분야의 의견 수렴 결과 연구분야의 크기를 고려하여 INFOCOM과 Mobihoc 2개 학술대회의 최우수 상향 요청이 있었으나, 이 중 INFOCOM만 최우수학술대회로 인정하기로 결정함.
    - IM은 기존 우수학술대회 NOMS와 격년으로 개최되며, 신규 우수학술대회로 인정함(NOMS/IM).
    - 정보통신 분야에서 8개의 학술대회를 우수학술대회로 신규 추가할 것을 제안하였고, 이 중 WoWMoM과 PAM 2개의 학술대회를 채택함. 대신, COSN과 DCOSS 2개의 학회를 우수학술대회에서 삭제함.

    4 . 프로그래밍 언어
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(1): CAV
    3) 최우수 → 우수 하향(1): ICFP
    4) 우수 신규 추가(1): VMCAI
    5) 우수에서 삭제(2): ITP (TPHOLs), SPLASH
    6) 비고
    - 소프트웨어공학 분야의 최우수학회 CAV, 계산이론 분과의 최우수학회인 LICS를 편입함.
    - SPLASH는 여러 개의 학술대회가 함께 열리는 meta conference의 성격으로, 대표 학술대회인 OOPSLA가 이미 포함되어 있으므로 우수학술대회에서 삭제하고, 이를 구성하는 학술대회를 각각 독립적으로 평가하기로 함.
    - 프로그래밍 언어 분야의 의견 수렴 결과 하향세에 있는 ICFP를 우수학술대회로 하향하고, 대신 CAV를 최우수학술대회로 상향 조정함.
    - SAS와 VMCAI 2개의 학술대회에 대한 우수학술대회 추가 요청이 있었으며, 위원회의 논의를 거쳐 이 중 VMCAI를 우수학술대회로 추가함. 대신 ITP(TPHOLs)를 우수학술대회에서 삭제함.

    5 . 정보보안
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(0): N/A
    3) 최우수 → 우수 하향(0): N/A
    4) 우수 신규 추가(2): ASIACCS, FC
    5) 우수에서 삭제(2): SACMAT, TCC
    6) 비고
    - 정보보안 분야 의견 수렴 결과 3개의 학술대회 (ASIACCS, FC, PKC)에 대한 우수 신규 추가 요청이 있었으며, 위원회의 심의 결과 이 중 ASIACCS, FC 2개를 신규로 우수학술대회에 추가하기로 함. 대신 기존의 SACMAT 및 TCC를 목록에서 삭제함.
    - 정보보안 분야를 Security와 Cryptography 두 개의 트랙으로 나누는 것을 고려해 달라는 의견 있었음.

    6 . 컴퓨터 시스템
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(0): N/A
    3) 최우수 → 우수 하향(0): N/A
    4) 우수 신규 추가(3): FPGA, ICCPS, SYSTOR
    5) 우수에서 삭제(6): HiPC, GRID, HiPEAC, ISMM, ISMVL, PERFORMANCE
    6) 비고
    - 컴퓨터 시스템 분야의 의견 수렴 결과 다음 6개의 학술대회를 우수학술대회에서 삭제하기로 함. HiPC (인도에서만 열리는 regional conference의 성격이 큼), GRID (2012년부터 우수학술대회인 ccGRID와 통합), HiPEAC (SCI 저널인 ACM TACO 저널에 프로시딩이 자동 출판됨), ISMM (>40%대의 높은 게재율), ISMVL (>50%대의 높은 게재율), PERFORMANCE (2년마다 한번씩 ACM SIGMTRICS와 공동개최됨. IFIP PERFORMANCE 학술대회 자체는 학술적 공헌도가 높은 논문들이 많이 개제되지 않음).
    - 대신 FPGA, ICCPS, SYSTOR 3개의 학술대회를 우수학술대회로 신규 추가함.

    7 . 데이터베이스
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(0): N/A
    3) 최우수 → 우수 하향(2): EDBT, ISWC
    4) 우수 신규 추가(3): BIGDATA, Recsys, PAKDD
    5) 우수에서 삭제(1): ICDT
    6) 비고
    - 데이터베이스 분야의 의견수렴 결과 최우수학술대회에 비해 우수학술대회의 수가 너무 적다는 의견이 있어, 최근 상향세에 있고 낮은 채택률을 갖는 BIGDATA, Recsys, PAKDD 3개의 학술대회를 신규로 우수학술대회에 추가함. 대신 ICDT를 우수학술대회에서 삭제함.
    - 데이터베이스 및 데이터마이닝 분야의 최우수학술대회의 수가 다소 많다는 지적이 있어, 의견 수렴을 거쳐 EDBT, ISWC 2개의 학술대회를 우수학술대회로 하향 조정하기로 함.
    - WSDM의 우수→최우수 상향 요청이 있었으나, 역사가 길지 않은 만큼 조금 더 학술대회의 발전 추이를 지켜보고 결정하기로 함 (기각).

    8 . 소프트웨어공학
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(0): N/A
    3) 최우수 → 우수 하향(0): N/A
    4) 우수 신규 추가(3): FASE, ICSOC, SPLC
    5) 우수에서 삭제(1): CSEET
    6) 비고
    - ISSTA, ICSM 2개 학술대회의 우수→최우수 상향 요청이 있었음. 위원회에서 수차례 전문위원들간의 토론을 거침. 해당 학술대회의 수준이 정보과학회에서 지향하는 최우수학술대회의 수준에 미치지 못하는 것으로 판단하고 최종 기각함.
    - FASE, ICSOC, SPLC, MSR 4개 학회에 대한 우수학술대회 신규 추가 요청이 있었으며, 위원회의 토론을 거쳐 이중 FASE, ICSOC, SPLC 3개의 학회를 우수학술대회 목록에 추가함.
    - CSEET는 컴퓨터 교육 관련 학술대회로 발표 논문수가 적고, 높은 게재율(~40%)로 우수학술대회에서 제외하기로 함.

    9 . 계산이론
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(0): N/A
    3) 최우수 → 우수 하향(0): N/A
    4) 우수 신규 추가(0): N/A
    5) 우수에서 삭제(2): COCOON, ISSAC
    6) 비고
    - 최우수 학회인 LICS를 프로그래밍언어 분과로 이관함.
    - ICALP의 우수→최우수 상향 요청 상정됨. 위원회에서 논의 후 기각됨.
    - SOCG의 최우수→우수 하향 요청 상정됨. 위원회에서 논의 후 기각됨.
    - COCOON 및 ISSAC는 높은 게재율 (>40% 및 >50%)로 우수학술대회에서 삭제하기로 함.

    10 . 그래픽스 및 HCI
    1) 최우수 신규 추가(0): N/A
    2) 우수→ 최우수 상향(1): SIGGRAPH-ASIA
    3) 최우수 → 우수 하향(1): VIS
    4) 우수 신규 추가(0): N/A
    5) 우수에서 삭제(1): INFOVIS
    6) 비고
    - 그래픽스 분야의 요청으로 SIGGRAPH-ASIA가 최우수학술대회로 상향 조정됨.
    - VIS는 VAST, INFOVIS, SCIVIS 3개의 학술대회로 구성된 meta conference로서 우수학술대회로 하향조정하기로 함. INFOVIS는 VIS에 포함되므로 우수학술대회에서 삭제함.
    - 언어공학 분과의 우수학술대회 IUI, 미분류 우수학술대회 CSCW가 그래픽스 및 HCI 분야로 재분류됨 (모두 우수유지).

    11 . 기타 (미분류 우수학술대회)
    1) 우수에서 삭제(3): CIVR, ICLP, PP
    2) 비고
    - CIVR, ICLP, PP 3개의 학술대회는 어느 전문분야에서도 유지 요청이 없어 우수학술대회 목록에서 삭제하기로 함.

    ▣ 기타의견
    1) 데이터베이스 분야의 CIKM, 시스템 분야의 RTAS, HPDC에 대해 일부에서 최우수→우수 하향 권고가 있었으나, 이번 위원회에서는 모두 최우수 학회로 유지하기로 최종 결정함.
    2) 트랙이 여럿 있는 학회의 경우 가장 수준이 낮은 트랙을 기준으로 평가하는 것이 타당함. 만약 다른 트랙보다 현저히 떨어지는 트랙이 있으면, 그걸로 정량평가를 optimize할 수 있는 hole이 생김. 또한, 같은 게재율이라도 100개의 논문을 출판하는 학술대회보다 50개를 출판하는 학술대회가 훨씬 어려움을 고려할 필요가 있음.
    ● 2014년도 제정 주요 내용
    한국정보과학회는 2014년 8월 우수학술대회 목록 제정 추진위원단(위원장: 서정연 한국 정보과학회 명예회장)을 구성하여 본 작업을 추진하였다. 본 목록은 Google Scholar, Microsoft Academics, China Computer Federation (중국), Computing Research and Education Association (호주), Computing Research Association (미국) 그리고 국내 6 개 주요대학의 내부 우수 학술대회관련 지표 등 전세계 총 11 개 기관에서 제정 관리하는 우수학술대회 목록을 총체적으로 분석하여 작성되었다. 2014년 7월에서 2015년 1월까지 약 7개월이 소요되었으며 20여명의 전문위원이 참여하였다. 최초 목록은 2014년 11월 공청회에서 발표되었으며, 추후 수정을 거쳐 최종적으로 2014년 12월 초본이 공표되었다.