전력 설비나 산업 공정 같은 엔지니어링 시스템은 다양한 시간 스케일에서 이상 징후가 나타나는 다변량 시계열 데이터를 통해 모니터링됩니다. 기존 단일 입력 윈도우 기반 탐지기는 특정 스케일에만 맞춰져 있어, 짧은 변동부터 전체 운영 주기 동안 지속되는 편차까지 다양한 이상 징후를 효과적으로 감지하기 어렵습니다.
본 논문은 이러한 한계를 극복하기 위해 MAF-LSTM(Multi-scale LSTM forecasting with attention-based feature fusion)이라는 예측 기반 이상 탐지 프레임워크를 제안합니다.…
사전 학습된 확산 모델의 뛰어난 이미지 편집 능력 활용에 대한 연구가 활발합니다. 기존 접근 방식들은 모델 미세 조정 또는 잠재 공간에서의 이미지 역전을 사용하지만, 선택 영역의 불만족스러운 결과와 비선택 영역의 예상치 못한 변화, 그리고 입력 이미지의 모든 시각적 객체를 포함해야 하는 텍스트 프롬프트 편집의 어려움이라는 두 가지 문제에 직면합니다.
본 연구는 이러한 문제를 해결하기 위해 두 가지 개선 방안을 제안합니다. 첫째, 교차-어텐션 레이어의 값 선형 네트워크 입력만을 최적화하는 것으로 실제 이미지 재구성에 충분한 성능을 …
그래프 트랜스포머는 그래프 구조 데이터 처리를 위한 새로운 신경망 모델로, 트랜스포머와 그래프 학습의 시너지를 통해 다양한 그래프 관련 태스크에서 뛰어난 성능을 보인다. 본 조사는 그래프 트랜스포머 연구의 최근 발전과 당면 과제를 심층적으로 검토한다.
이 연구는 그래프 및 트랜스포머의 기본 개념부터 시작하여, 그래프 귀납 편향과 그래프 어텐션 메커니즘을 트랜스포머 아키텍처에 통합하는 설계 관점을 탐구한다. 또한, 깊이, 확장성, 사전 학습 전략을 기준으로 그래프 트랜스포머를 분류하는 분류 체계를 제안하고, 효과적인 모델 개발을 위…
기존의 지배적인 시퀀스 변환 모델들은 인코더-디코더 구조의 복잡한 순환 또는 컨볼루션 신경망을 기반으로 하며, 최신 모델들은 어텐션 메커니즘을 통해 인코더와 디코더를 연결했습니다. 본 연구는 순환 및 컨볼루션을 완전히 배제하고 오직 어텐션 메커니즘에만 기반한 새로운 신경망 아키텍처인 트랜스포머(Transformer)를 제안합니다.
두 가지 기계 번역 태스크에 대한 실험 결과, 트랜스포머 모델은 기존 모델들보다 우수한 번역 품질을 보였으며, 병렬화가 용이하여 훈련 시간이 현저히 단축되었습니다. 특히 WMT 2014 영어-독일어 번역…