10편의 한국어 분석 — 최신순으로 정렬했어요
딥러닝 시대에 트랜스포머 아키텍처는 사전 학습된 대규모 모델과 다양한 다운스트림 작업에서 강력한 성능을 입증했습니다. 그러나 트랜스포머의 막대한 연산 요구량은 많은 연구자에게 큰 부담으로 작용하고 있습니다. 이에 따라 어텐션 모델의 복잡성을 줄이기 위한 효율적인 방법론 설계 노력이 활발히 이루어지고 있습니다. 이러한 노력 중 자기 회귀 기반 트랜스포머 모델의 잠재적 대안으로 상태 공간 모델(SSM)이 최근 주목받고 있습니다. 본 논문은 SSM 관련 연구들을 최초로 종합적으로 검토하고, SSM의 특징과 장점을 명확히 보여주기 위한 …
비균일 축방향 가열 조건에서 임계열유속(CHF) 예측은 국부 열적 여유가 국부 열역학적 조건뿐만 아니라 상류 가열 이력에도 의존하기 때문에 여전히 어려운 과제입니다. 기존의 비균일 CHF 예측 방법은 경험적 보정 계수를 통해 열 이력 효과를 설명하지만, 본 연구에서는 트랜스포머 모델을 활용하여 이 보정 계수를 학습하고 기존의 예측 공식을 유지합니다. 먼저, 대규모 균일 가열 CHF 데이터베이스로 사전 학습된 신경망을 고정하고 기준 균일 가열 CHF 예측에 사용합니다. 이후 비균일 CHF 데이터에 대해 인과적 트랜스포머 모델을 훈련…
다양한 분야에서 널리 사용되는 테이블 데이터는 이질적인 특성과 복잡한 구조적 관계로 인해 분석에 어려움이 있습니다. 높은 예측 성능과 견고성을 달성하는 것은 수많은 응용 분야에서 중요합니다. 최근 자연어 처리, 특히 트랜스포머 아키텍처의 발전은 테이블 데이터 모델링을 위한 새로운 방법론을 이끌어냈습니다. 초기 기법들은 트랜스포머를 처음부터 사전 학습하는 데 집중했으나, 확장성 문제에 직면했습니다. 이후 BERT와 같은 사전 학습된 언어 모델을 활용하는 방법들이 개발되어 더 적은 데이터로도 향상된 성능을 보였습니다. GPT, LLaM…
딥페이크 생성 기술의 발전은 디지털 미디어의 신뢰성을 위협하며, 사생활 침해, 보안 문제, 허위 정보 유포 등 심각한 위험을 초래하고 있습니다. 딥러닝(DL) 기반 탐지 방법론이 유망하지만, 적용의 일관성 부족, 표준화된 파이프라인 부재, 그리고 데이터셋 간 일반화 능력의 한계로 인해 실제 환경에서의 신뢰성 있는 배포가 어렵습니다. 본 연구는 비디오 딥페이크 탐지를 위해 트랜스포머 및 CNN 기반 아키텍처를 종합적으로 평가합니다. 여러 벤치마크 데이터셋과 새롭게 구축된 얼굴 재연(facial-reenactment) 데이터셋을 활용…
딥페이크는 디지털 미디어의 신뢰성을 심각하게 위협하는 주요 문제로 부상하고 있습니다. 본 연구는 이러한 위협에 대응하기 위해 DeiT 기반 트랜스포머 모델인 DeiTFake와 점진적 증강 복잡도를 활용하는 2단계 훈련 전략을 제안합니다. 제안하는 방법론은 표준 증강을 적용한 전이 학습 단계로 시작하며, 이후 고급 아핀 및 색상 기반 증강을 사용한 미세 조정 단계를 거칩니다. DeiT 모델의 사전 학습된 가중치를 활용하여 조작 흔적 학습을 위한 강력한 초기화를 제공함으로써 탐지 모델의 견고성을 크게 향상시킵니다. OpenForen…
식물 질병으로 인한 연간 약 2,200억 달러의 농업 손실은 자동화된 탐지 시스템의 필요성을 증대시킨다. 본 체계적 문헌 검토는 RGB 및 초분광 이미징을 활용한 딥러닝 기반 식물 질병 탐지 접근법을 고전적 이미지 처리부터 최신 신경망 아키텍처까지 분석한다. 연구는 11개 벤치마크 데이터셋에서 최첨단 모델들을 평가했으며, 실험실 조건(정확도 95-99%)과 실제 현장 배포(정확도 70-85%) 간의 상당한 성능 격차를 확인했다. 특히 트랜스포머 기반 아키텍처가 뛰어난 견고성을 보였는데, SWIN은 실제 데이터셋에서 88%의 정확도…
기존의 지배적인 시퀀스 변환 모델들은 인코더-디코더 구조의 복잡한 순환 또는 컨볼루션 신경망을 기반으로 하며, 최신 모델들은 어텐션 메커니즘을 통해 인코더와 디코더를 연결했습니다. 본 연구는 순환 및 컨볼루션을 완전히 배제하고 오직 어텐션 메커니즘에만 기반한 새로운 신경망 아키텍처인 트랜스포머(Transformer)를 제안합니다. 두 가지 기계 번역 태스크에 대한 실험 결과, 트랜스포머 모델은 기존 모델들보다 우수한 번역 품질을 보였으며, 병렬화가 용이하여 훈련 시간이 현저히 단축되었습니다. 특히 WMT 2014 영어-독일어 번역…
인공지능(AI)은 스마트 그리드의 상황 인식을 개선하고 의사결정을 지원하여 에너지 관리를 향상할 잠재력을 오랫동안 제시해왔습니다. 기존 머신러닝은 예측 및 최적화에서 성과를 보였으나, 일반화, 상황 인식, 이기종 데이터 통합에 어려움을 겪었습니다. 트랜스포머 아키텍처, 특히 대규모 언어 모델(LLM)과 파운데이션 모델(FM)의 발전은 복잡한 시공간적 및 맥락적 관계 모델링과 다중 모드 데이터 융합 능력을 크게 향상시켜 에너지 분야 AI 애플리케이션에 유용합니다. 본 연구는 에너지 도메인에서 빠르게 확장되는 AI 애플리케이션 분야를…
다중모드 감성 분석(MSA)은 텍스트, 오디오, 시각 신호를 통합 처리하여 인간의 감정을 이해하는 핵심 기술로 부상했습니다. 그러나 기존 융합 모델은 양상 잡음, 채널 누락, 약한 양상 간 결합 등 실제 환경의 문제에 취약합니다. 이 연구는 이러한 한계를 해결하고자 교차 양상 및 자기 주의 메커니즘과 잡음 모방 적대적 훈련을 통합한 RAFT(Robust Adversarial Fusion Transformer)를 제안합니다. RAFT는 불완전한 입력 조건에서 특징 상호작용과 복원력을 강화합니다. 특히, MSA에서 잡음 및 불완전 데…
소나무재선충병(PWD)은 전 세계 산림에 치명적인 위협을 가하고 있으나, 효과적인 치료법이 부재하여 조기 탐지가 매우 중요합니다. 그러나 PWD 데이터 수집, 레이블링 및 탐지 시스템 구축에는 여러 어려움이 따릅니다. 본 연구는 이러한 문제를 해결하기 위해 합성 데이터를 활용하고 외부 어텐션 기반 트랜스포머를 적용한 혁신적인 PWD 탐지 시스템을 제안합니다. 제안된 시스템은 두 가지 핵심 기여를 합니다. 첫째, 계산 효율성과 모델 성능 향상을 위해 멀티 헤드 외부 어텐션 메커니즘을 구현했습니다. 기존 트랜스포머의 자기 어텐션(se…
