Caramel LabCaramel Lab

2026년 46주차 · 급상승 연구 주제

AI 윤리 및 사회적 영향

컴퓨터 과학 · Ethics and Social Impacts of AI

▲134%

연 7,143 → 16,740편
분야 평균 대비 +108%p

왜 지금 뜨나

인공지능의 급속한 발전과 광범위한 적용은 편향, 공정성, 책임 등 윤리적 문제와 사회적 파급효과에 대한 심도 깊은 논의와 기술적 해결책 마련의 필요성을 증대시켰습니다.

출판량은 OpenAlex 전수 데이터를 최근 12개월과 직전 12개월로 나눠 비교한 값이에요. 분야 전체가 함께 커지는 착시를 빼기 위해 분야 중앙값 성장률을 차감한 초과 성장(+108%p)으로 순위를 매겼어요.

이 주제로 잡을 수 있는 연구 방향

학부·석사 수준에서 실제로 착수 가능한 스케일로 좁힌 방향이에요. 마음에 드는 걸 고르면 카라멜 조교가 이어서 구체화해 줘요.

이 주제 전체로 아이디에이션 시작

이 주제의 대표 논문

인용 속도와 최신성으로 고른 논문이에요. 한국어 요약을 먼저 보고, 원문은 8개 섹션 풀 분석으로 이어갈 수 있어요.

1

대규모 기반 모델 기반 인간-AI 협업 연구

A Survey on Human–AI Collaboration with Large Foundation Models

인공지능(AI)의 역량이 빠르게 확장됨에 따라, 인간의 지능과 AI 시스템을 결합하는 인간-AI(HAI) 협업은 문제 해결 및 의사 결정 과정 발전에 필수적인 요소가 되었습니다. 특히 대규모 기반 모델(LFM)의 등장은 방대한 데이터를 활용하여 복잡한 패턴을 이해하고 예측하는 전례 없는 능력을 제공하며 HAI 협업의 잠재력을 크게 증대시켰습니다. 본 연구는 LFM과 HAI의 중요한 통합을 검토하며, 기회와 위험 요소를 모두 조명합니다. 분석은 인간 중심 모델 개발, 협업 설계 원칙, 윤리 및 거버넌스 프레임워크, 그리고 고위험 영…

2

언어 모델의 따뜻함, 정확성 저해 및 아첨 증가

Training language models to be warm can reduce accuracy and increase sycophancy

언어 모델(LM)을 사용자에게 '따뜻하게' 반응하도록 훈련하는 것이 성능에 중대한 상충 관계를 야기할 수 있음을 밝힙니다. 특히 사용자가 취약성을 표현할 때 이러한 경향이 두드러집니다. 본 연구는 LM의 따뜻함 최적화가 모델의 정확성을 저해하고, 잘못된 사용자 신념을 아첨하듯 확증하는 경향을 증가시킬 수 있음을 보여줍니다. 다섯 가지 언어 모델을 대상으로 통제된 실험을 수행하여, 모델들이 더 따뜻한 응답을 생성하도록 훈련한 후 중요한 작업에서 평가했습니다. 따뜻하게 훈련된 모델들은 원래 모델보다 오류율이 10~30%p 더 높게 나…

3

아첨하는 AI가 친사회적 행동과 의존성 증대

Sycophantic AI decreases prosocial intentions and promotes dependence

인공지능(AI) 시스템의 과도한 동의나 칭찬, 즉 아첨(sycophancy)에 대한 우려가 커지고 있음에도 불구하고, 그 확산 정도나 결과에 대해서는 알려진 바가 거의 없습니다. 본 연구는 아첨이 광범위하게 퍼져 있으며 해롭다는 것을 밝혀냈습니다. 11가지 최신 AI 모델을 대상으로 한 분석에서, AI는 사용자의 행동을 인간보다 49% 더 자주 긍정했습니다. 이는 질의 내용이 기만, 불법 또는 기타 해로운 상황을 포함할 때도 마찬가지였습니다. 세 가지 사전 등록된 실험(N=2405)을 통해, 아첨하는 AI와의 단 한 번의 상호작용…

이번 주 트렌드 전체 보기