[사이테크+] 챗GPT '유추 추론'도 한다…"대학생 수준 추론 성능 보여" 2023-08-01 07:18:51

찾는 식이다. 실험 결과 GPT-3는 행렬 추론에서 정답률이 80%로 실험 참여 대학생들 평균(60%)보다 훨씬 높은 점수를 기록하는 등 대부분 분야에서 대학생들과 비슷하거나 높은 수준의 추론 성능을 보였다. 연구팀은 그러나 GPT-3가 일부 추론 문제에서는 예상보다 훨씬 뛰어난 성능을 보였지만 일부 분야에서는 사람에게는...

• 뉴스 > 경제
• 바로가기
• #사이테크 챗GPT #문제 #유추 #추론 #연구팀 #능력 #사용

"챗GPT 기반 최신 LLM 'GPT-4' 3개월 전보다 성능 하락" 2023-07-20 09:58:02

없다"고만 짧게 답했다. 코드 생성에서도 6월 정답률은 10.0%로, 3월(52.0%)보다 크게 낮았다. 시각적 추론에 대한 정답률만 27.4%대 24.6%로 6월이 다소 높았다. GPT-3.5의 경우 민감한 질문에 대해서는 2.0%(3월)대 8.0%(6월)였고, 시각적 추론도 10.3%(3월)대 12.2%(6월)로 6월이 더 높았다. 다만, 코드 생성은 6월이...

• 뉴스 > 정치·사회
• 바로가기
• #챗GPT 기반 #질문 #연구팀

[윤성민 칼럼] 문제는 킬러 문항이 아니라 킬러 전공이다 2023-07-18 17:52:53

정답률이 한 자릿수대인 초고난도 문제다. 윤 대통령은 수능시험에서 킬러 문항 배제와 함께 교육당국과 사교육계 간 카르텔을 척결 대상으로 제시했다. ‘검사 윤석열’의 세계관이 응축된 2021년 6월 대선 출마 선언문 속 ‘정권과 이해관계로 얽힌 이권 카르텔’에는 애당초 사교육 카르텔도 포함돼 있었다. 사교육이...

• 뉴스 > 경제
• 바로가기
• #윤성민 칼럼

구글 "바드, 40개 이상 언어·이미지 버전 곧 출시" 2023-07-13 14:06:04

미세 조정한 결과 미국 전문의 자격증 시험에서 정답률이 85%에 달했다. 엄청난 이정표"라고 강조했다. 그러면서 "AI 시장은 제로섬 영역이 아니고 많은 주체가 참여할수록 더 많은 기회와 가치가 발생하기 때문에 협업이 중요하다"고 덧붙였다. 이를 위해 과기정통부와 앞으로 정례적인 연구개발 교류를 할 것이라고 밝혔...

• 뉴스 > 경제
• 바로가기
• #구글 바드 #구글 #시장 #바드 #규제 #개발 #인재 #사장 #소개 #언어

책한권도 요약…앤스로픽, 새 인공지능 챗봇 '클로드2' 출시 2023-07-12 10:13:42

73%를 기록했던 변호사시험 선다형 문제에서 76.5%의 정답률을 보였으며 파이썬 코딩 테스트에서도 클로드 2가 이전 버전 15%포인트나 높은 71%를 기록했다고 설명했다. 지난 2021년 오픈 AI의 창립자 그룹 일원이었던 대니엘라와 다리오 애머데이 남매가 설립한 앤스로픽은 올해 들어 3월 3억달러(약 3천882억원)에 이어...

• 뉴스 > 정치·사회
• 바로가기
• #책한권도 요약앤스로픽 #클로드 #앤스로 #이전 #데이

캐나다 국민, 시민권 필기시험 가상 합격률 23% 불과 2023-06-29 11:10:31

메티, 극지방 원주민 이누이트 등 3개 그룹이라는 사실에 대해서는 정답률이 79%에 달했다. 캐나다의 모토가 '바다에서 바다로(From sea to sea)'라는 답을 맞힌 비율은 42%를 기록했다. 시험 점수는 브리티시 컬럼비아, 새스캐처원주 등 서부 지역이 50% 선으로 상대적으로 높았고 동부 대서양 연안 지역은 가장...

• 뉴스 > 정치·사회
• 바로가기
• #캐나다 국민 #캐나다 #국민 #시험 #조사 #시민권 #문항

"어렵지도 않은데 웬 킬러문항?"…혼란만 더 커졌다 2023-06-27 09:31:09

싶다"고 했고, 한 강사도 "수학의 경우 정답률을 기준으로 킬러문항을 구분하기는 어렵다"고 말했다. 킬러문항 배제가 사교육 경감 대책으로 나왔지만, 근본적으로 사교육이 줄어드는 효과를 내기 어렵다는 비판도 있다. 킬러문항을 배제하면 '준킬러' 문항이 늘어나는데 준킬러 문항을 대비하는 사교육이 나올 수...

• 뉴스 > 생활문화
• 바로가기
• #어렵지도 않은데 #킬러문항 #문항 #수능 #학생

출제 단계부터 '킬러문항' 배제…내년부턴 현직 교사가 문제 낸다 2023-06-26 18:33:30

국어 14번과 33번을 킬러문항으로 꼽았는데, 정답률(EBSi 기준)이 각각 36.4%, 36.8%에 달한다. 교육부 관계자는 “정답률이 킬러문항을 선정하는 기준은 아니고 참고만 했다”며 “공교육 과정에서 다루지 않는 내용은 수능에서 출제하지 않는다는 게 원칙”이라고 설명했다. 강영연 기자 yykang@hankyung.com

• 뉴스 > 생활문화
• 바로가기
• #출제 단계부터 #킬러문항 #수능 #사교육 #교육부 #출제 #문제 #대학 #발표 #공정 #문항

국어 14번, 수학 22번?…6월 모평 '킬러문항' 공개 앞두고 주목 2023-06-23 09:39:18

가채점한 결과에 따르면 국어 영역에서는 14번 정답률이 36.4%로 가장 낮았다. 14번은 인지 과정이 몸 바깥으로 확장된다고 주장하는 로랜즈의 확장 인지 이론을 다룬 지문과 주체와 대상이 지각을 통해 확정된다는 취지의 지문을 각각 읽고, 1∼5번 선택지 설명이 적절한지 추론하는 문제였다. 비문학인 14번의 경우 EBS...

• 뉴스 > 생활문화
• 바로가기
• #국어 14번 #문항 #정답률 #지문 #모의평가