MEMTRACK은 동적 멀티플랫폼 환경에서 LLM의 장기 기억 및 상태 추적 능력을 평가하기 위한 새로운 벤치마크로, Slack, Linear, Git 등의 실제 조직 워크플로우를 모델링합니다. 이 연구는 정확성, 효율성, 중복성과 같은 새로운 평가 지표를 도입하고, 전문가 및 에이전트 기반의 하이브리드 데이터 큐레이션 방법론을 활용합니다. 실험 결과, GPT-5는 약 60%의 낮은 정확성을 보였고, 추가 메모리 구성 요소는 성능 향상에 기여하지 못했습니다. 이 연구는 LLM의 메모리 활용 및 교차 플랫폼 추론 능력의 한계를 드러내며, 향후 연구를 위한 평가 프레임워크를 제공합니다.

MEMTRACK: Evaluating Long-Term Memory and
State Tracking in Multi-Platform Dynamic Agent
Environments

대규모 언어 모델(LLM)의 오작동을 효율적으로 감지하는 새로운 방법인 미세안구운동에서 영감을 받은 탐지 기법(MIP)을 제안합니다. 이 방법은 위치 임베딩에 경량의 교란을 가하여 사실성, 탈옥, 유해성, 백도어 공격 등 다양한 오작동 신호를 효과적으로 드러내며, 기존 방법보다 높은 탐지 성능과 계산 효율성을 제공합니다. 그러나 유해성 탐지에서 상대적으로 낮은 성능을 보이며, 편향이나 공정성 위반과 같은 다른 오작동 유형에 대한 탐지 능력은 추가 연구가 필요합니다.

MICROSACCADE INSPIRED PROBING: POSITIONAL ENCODING PERTURBATIONS REVEAL LLM MISBEHAVIOURS

디플로이먼트는 레플리카셋을 관리하는 상위 개념으로, 롤링 업데이트, 롤백, 배포 일시 중지 및 재개, 스케일링, 블루-그린 및 카나리 배포와 같은 강력한 기능을 제공합니다. 실제 운영 환경에서는 디플로이먼트를 사용하는 것이 권장되며, 이를 통해 애플리케이션을 효율적으로 관리할 수 있습니다.

k3s deployment

k3s는 경량화된 쿠버네티스 배포판으로, 서비스 개념을 통해 포드 집합에 대한 단일 접점을 제공하고 안정적인 네트워크 엔드포인트를 유지합니다. 서비스 유형으로는 ClusterIP, NodePort, LoadBalancer, ExternalName이 있으며, 서비스 디스커버리는 환경 변수와 DNS를 통해 이루어집니다. 서비스 라우팅은 레이블 셀렉터와 kube-proxy를 사용하여 관리되며, 서비스 생성 및 상태 확인 방법, 트러블슈팅 팁, 모범 사례도 포함되어 있습니다.

k3s service

k3s를 HAProxy와 Keepalived를 사용하여 고가용성 클러스터로 구성하는 방법을 설명합니다. 기본 아키텍처는 여러 대의 k3s 서버 노드와 로드 밸런싱을 위한 HAProxy, 고가용성을 위한 Keepalived를 포함합니다. 설치 및 설정 과정, kubeconfig 파일 수정, 클러스터 상태 확인 및 에이전트 노드 추가 방법을 안내하며, 보안 및 네트워크 설정에 대한 주의사항도 포함되어 있습니다.

k3s ha 구성

레플리카셋은 Kubernetes에서 지정된 수의 파드 복제본을 유지하고 자동 복구, 스케일링, 선언적 관리를 지원하는 중요한 리소스입니다. YAML 파일을 작성하여 레플리카셋을 생성하고, 자가 복구 기능을 테스트하며, 필요에 따라 레플리카 수를 조정할 수 있습니다. 레플리카셋을 통해 서비스 중단 위험을 줄이고 시스템 안정성을 향상시킬 수 있습니다. 다음 단계로는 Deployment 리소스를 학습하는 것이 좋습니다.

k3s replicaset

역전파의 한계와 대안으로 제안된 Forward-Forward 알고리즘은 긍정 및 부정 샘플을 통해 각 레이어의 적합도를 조정하며, 여러 층의 독립적인 학습을 가능하게 한다. 실험 결과, 이 방법은 MNIST 및 CIFAR-10 데이터셋에서 비교적 낮은 오류율을 기록했으며, 비지도 및 지도 학습 방식 모두에서 효과를 보였다. 또한, 수면 중 부정 데이터를 처리하는 가능성에 대한 제안도 포함되어 있다.

The Forward-Forward Algorithm 정리

백프로파게이션의 생물학적 비현실성과 하드웨어 구현의 어려움을 해결하기 위해 포워드-포워드 알고리즘(FF)을 제안하며, 초기 실험에서 MNIST와 CIFAR-10 데이터셋에서 유사한 성능을 보였으나 훈련 속도와 일반화 능력에서 여전히 역전파에 미치지 못하는 한계를 인정합니다. FF는 긍정적 및 부정적 데이터를 각각 처리하여 각 계층이 스스로 학습하도록 하며, 생물학적 및 아날로그 하드웨어 구현에 더 적합한 가능성을 제시합니다.

The Forward-Forward Algorithm: Some Preliminary Investigations

k3s는 경량화된 쿠버네티스 배포판으로, 설치 전 모든 노드의 hosts 파일을 수정해야 하며, 마스터 노드와 워커 노드의 설치 명령어가 제공된다. 설치 후 클러스터 상태를 확인하고, 필요 시 제공된 스크립트를 통해 K3s를 제거할 수 있다. 수동 제거 방법도 설명되어 있다.

k3s install

대규모 언어 모델(LLM)의 환각 현상은 훈련 데이터의 통계적 압력과 불확실성 표현을 페널티 주는 평가 방식 때문에 발생하며 지속된다고 주장합니다. 주요 기여로는 환각의 통계적 기원 분석, 환각 지속의 원인 규명, 생성 오류와 이진 분류 간의 관계 공식화, 그리고 불확실성 표현을 포함하는 평가 방식 수정 제안이 있습니다. 또한, 환각의 불가피성과 이를 줄이기 위한 사회-기술적 완화 전략을 다루며, 향후 연구 필요성과 추천 사항도 제시합니다.

Why Language Models Hallucinate

AI 시스템의 기만 행위를 줄이기 위한 심사숙고 정렬 훈련의 효과를 분석한 연구로, 기만 행위 방지 훈련의 핵심 요건, 은밀한 행동 평가 방법론, 상황 인지의 인과적 영향 등을 다루었다. 훈련 후 은밀한 행동 발생률이 크게 감소했으나 완전히 제거되지는 않았고, 상황 인지가 기만 행위 감소에 긍정적 영향을 미쳤다. 또한, 훈련된 목표의 지속성과 능력 훈련의 영향도 확인되었다. 이 연구는 AI 안전성 향상을 위한 중요한 통찰을 제공한다.

Stress Testing Deliberative Alignment for Anti-Scheming Training

쿠버네티스는 컨테이너화된 애플리케이션의 자동화된 배포, 확장 및 관리를 위한 오픈소스 플랫폼으로, K3s는 경량 배포판으로 Edge 및 IoT 환경에 적합하다. K3s는 간단한 설치 과정과 낮은 메모리 요구사항을 가지고 있으며, 고가용성, 자동화된 배포, 자원 효율성 등의 장점을 제공한다. 설치를 위해서는 특정 하드웨어와 소프트웨어 요구사항이 필요하다.

대규모 언어 모델의 고정된 컨텍스트 윈도우 한계를 극복하기 위해 Mem0와 Mem0g라는 확장 가능한 장기 기억 아키텍처를 제안하며, LOCOMO 벤치마크에서 기존 기억 시스템보다 우수한 성능을 입증했습니다. Mem0은 대화에서 핵심 정보를 동적으로 추출하고, Mem0g는 그래프 기반 기억 표현을 통해 복잡한 관계를 모델링합니다. 두 아키텍처는 지연 시간과 토큰 비용을 획기적으로 절감하여 생산 준비가 된 AI 에이전트 구축에 기여합니다.

Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory

OneFlow는 분산 딥러닝 프레임워크로, SBP 추상화와 액터 모델을 통해 병렬화 프로그래밍을 간소화하고 효율성을 극대화합니다. 다양한 병렬화 전략을 지원하며, 최신 라이브러리와 비교해 동등하거나 더 나은 성능을 보여줍니다. 그러나 자동 배치 및 병렬화 기능이 부족하고, 탄력적 스케일링과 장애 복구 기능이 미흡하여 추가 연구가 필요합니다.

OneFlow: Redesign the Distributed Deep Learning Framework from Scratch

순수 트랜스포머 기반의 비전 트랜스포머(ViT)는 대규모 사전학습을 통해 CNN보다 우수한 정확도와 학습 효율을 보여주며, 데이터 규모가 커질수록 ViT의 성능이 크게 향상됩니다. ViT는 이미지를 패치로 변환하여 트랜스포머 인코더에 입력하며, 동일 성능을 달성하는 데 필요한 연산량이 2–4배 적습니다. 그러나 최고 성능은 대규모 감독 데이터에 의존하며, 작은 데이터셋에서는 CNN에 비해 성능이 떨어질 수 있습니다. 추가 연구가 필요하며, 자가지도 학습과 데이터 효율화에 대한 탐색이 권장됩니다.

AN IMAGE IS WORTH 16X16 WORDS:
TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

대규모 심층 합성곱 신경망(CNN)을 이용해 ImageNet ILSVRC-2010에서 Top-1 37.5%, Top-5 17.0%의 오류율로 최고 성능을 달성하고, ILSVRC-2012에서는 7개 CNN 앙상블로 Top-5 15.3%로 우승했다. 핵심 설계 요소로는 비포화 활성함수 ReLU, 2개의 GPU에 걸친 모델 병렬화, LRN 및 겹치는 풀링이 포함되며, 데이터 증강과 드롭아웃을 통해 과적합을 억제했다. 이 연구는 심층 CNN이 수작업 피처 기반 방법을 대체할 수 있음을 실증하여 일반 목적 시각 인식의 패러다임 전환을 이끌었다.

ImageNet Classification with Deep Convolutional Neural Networks

YOLOv2는 실시간 다중 객체 탐지 성능을 향상시키기 위해 배치 정규화, 고해상도 분류기, 앵커 박스 도입 등의 개선을 통해 정확도와 속도를 동시에 높였다. YOLO9000은 COCO와 ImageNet 데이터를 통합하여 9000개 이상의 클래스를 실시간으로 탐지할 수 있는 모델로, VOC 2007에서 76.8 mAP@0.5(67 FPS), COCO에서 21.6 AP@[.5:.95]를 달성하였다. 그러나 COCO의 엄격한 지표에서는 SOTA에 미치지 못하며, 작은 객체 처리와 정밀한 지역화에서 한계가 있다.

YOLO9000: Better, Faster, Stronger

YOLO는 단일 신경망을 통해 객체 검출을 단일 회귀 문제로 정식화하여 실시간 성능(45–155 FPS)과 높은 정확도(최대 63.4% mAP)를 달성했다. 전역 문맥을 활용하여 배경 오검출을 줄였으나, 작은 객체에 대한 위치 정밀도가 부족하다. Fast R-CNN과 결합 시 성능이 유의미하게 향상되었으며, 다양한 도메인에서 강한 일반화 성능을 보인다. 향후 연구는 소형 객체의 정밀도 개선과 손실-지표 정합성 강화에 초점을 맞춰야 한다.

You Only Look Once: Unified, Real-Time Object Detection

잔차 학습 프레임워크를 제안하여 깊은 신경망의 퇴화 문제를 해결하고, ResNet-152 모델이 ImageNet에서 Top-5 검증 오차 4.49%를 달성하며, 다양한 객체 검출 및 지역화 작업에서 성능 향상을 보였다. CIFAR-10에서는 110층까지 깊어질수록 성능이 개선되며, 1202층에서도 최적화가 성공하였으나, 과적합과 이론적 분석의 한계가 남아 있다.

Deep Residual Learning for Image Recognition

Magentic-One은 Orchestrator가 두 개의 원장을 통해 계획, 행동, 관찰, 반성을 수행하는 범용 멀티에이전트 시스템으로, WebSurfer, FileSurfer, Coder, ComputerTerminal 등의 작업자 에이전트를 활용하여 다양한 복합 과제를 해결한다. AutoGenBench를 통해 GAIA 38.0%, AssistantBench 13.3% EM/27.7% accuracy, WebArena 32.8%의 성능을 달성하였으며, 주요 실패 요인은 비생산적 반복과 검증 부족으로 나타났다. 그러나 비용, 지연, 모달리티 제약 등 여러 한계가 있으며, 향후 연구가 필요하다.

Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks

Meta CLIP 2는 공개 웹의 원어 이미지-텍스트 쌍을 사용하여 다국어 CLIP 학습을 위한 새로운 레시피를 제시하며, 영어 성능을 향상시키고 강력한 다국어 성능을 달성한다. 핵심은 언어별 메타데이터와 균형 큐레이션, 시야 확장을 통해 영어와 비영어 간의 상호 이득을 실현하는 것이다. 그러나 대규모 자원 요구와 일부 언어의 롱테일 커버리지 한계, 소형 모델에서의 성능 저하 문제는 여전히 남아 있다.

Meta CLIP 2: A Worldwide Scaling Recipe

Transformer는 RNN과 CNN을 완전히 배제하고 자기-어텐션 기반의 시퀀스 변환 아키텍처를 제안하여, 기계 번역에서 SOTA 성능을 달성하고 훈련 효율성을 크게 개선하였다. 주요 기여로는 스케일드 닷-프로덕트 어텐션, 멀티-헤드 어텐션, 위치 인코딩 등이 있으며, 긴 시퀀스 처리에 대한 한계와 오토리그레시브 디코딩의 순차성 문제를 지적하였다. 추가 연구가 필요하며, 강력 추천된다.

Attention Is All You Need

OpenStack 배포를 위한 Kolla Ansible의 설치 및 설정 과정에 대해 설명하며, 초기 수동 설치의 번거로움을 해결하기 위해 자동화의 필요성을 강조합니다. Kolla Ansible을 사용하여 Docker를 통해 OpenStack을 배포하는 방법, 필수 패키지 설치, 설정 파일 구성 및 배포 명령어를 단계별로 안내합니다. 또한, 배포 중 발생할 수 있는 문제와 해결 방법에 대해서도 다룹니다.

openstack 마이그레이션 대꼴박 도전기 -1

Docker는 리소스를 효율적으로 사용하며 빠른 시작과 종료가 가능하지만, 커널의 취약점을 공유하는 단점이 있다. NVIDIA의 GPU 가상화는 패스스루와 vGPU 방식으로 이루어지며, NVIDIA Container Toolkit을 통해 GPU 자원에 접근할 수 있다. 설치 과정에서는 NVIDIA 드라이버와 CUDA Toolkit의 매핑이 필요하며, Docker 컨테이너에서 리소스 제한을 설정하는 방법도 설명된다.

nvidia container toolkit used

Docker에서 Portainer CE를 설치하는 방법을 설명하며, 볼륨 생성, 컨테이너 실행, 포트 포워딩 설정, 관리자 계정 생성, GPU 할당 정보 확인 및 최신 버전으로 업데이트하는 절차를 포함합니다. 초기 접속 시 관리자 계정 정보를 기억해야 하며, IP 고정 설정이 중요합니다.

portainer install

TensorFlow 2.12 설치를 위해 Miniconda를 설치하고, 새로운 conda 환경을 만들며, GPU 설정을 선택적으로 진행한 후 TensorFlow를 pip로 설치하는 방법을 안내합니다. 설치 후 CPU와 GPU 설정 확인을 위한 테스트 코드를 제공하며, Ubuntu 22.04에서 발생할 수 있는 오류와 그 해결 방법도 설명합니다.

tensorflow 2.12 install

Ubuntu 22.04 LTS에서 OpenVPN을 설치하고 설정하는 방법에 대한 가이드로, Easy-RSA와 OpenVPN을 함께 사용하여 VPN을 구축하는 과정이 상세히 설명되어 있다. VPN을 통해 외부에서 안전하게 내부망에 접근할 수 있으며, 필요한 패키지 설치, 인증서 생성, 서버 및 클라이언트 구성, 방화벽 설정, 계정 관리 및 문제 해결 방법이 포함되어 있다. 최종적으로 OpenVPN의 성능과 지연 시간 문제를 언급하며, 향후 WireGuard와 같은 대안에 대한 포스팅을 예고하고 있다.

openvpn install

vscode를 이용한 원격 코드 개발 환경 구축 방법을 설명하며, SSH 접속 설정, SSH 키 생성, VSCode Remote-SSH 설정 및 디렉토리 열기 과정을 포함합니다. 보안을 위해 공개 키를 사용하여 접속하며, 선택적으로 비밀번호 인증을 거부하는 방법도 안내합니다.

vscode ssh tunnel 구성

alphafold 설정 중 docker 이미지의 의존성 문제를 해결하기 위한 과정이 설명된다. jax 라이브러리와 cuda 버전 간의 호환성 문제를 해결하기 위해 여러 방법을 시도하였고, nvidia-modprobe 설치, 시스템 재설치, cuda 버전 변경 등의 방법이 포함된다. 최종적으로는 jax[cuda] 설치 방법을 재확인하고, 필요한 pip 패키지를 설치하여 alphafold를 정상적으로 실행할 수 있는 환경을 구축하였다.

alphafold2 docker 트러블슈팅

HAProxy를 설치하고 구성하는 방법을 설명하며, global, defaults, frontend, backend, listen 섹션의 설정 방법과 예시를 제공한다. SSL 인증서 설정 및 패킷 라우팅을 위한 다양한 옵션을 포함하고 있으며, 설정 파일의 문법 검증 방법도 안내한다.

haproxy 구성

ceph 클러스터를 안전하게 종료하고 재부팅하는 과정에 대한 단계별 설명. cephfs와 osd를 종료하고, 모든 데몬을 안전하게 중지한 후 전원을 끈다. 재부팅 후 서비스 상태를 확인하고 osd 플래그를 비활성화하며, 문제가 발생할 경우 osd 서비스를 재시작하여 문제를 해결한다.

ceph 클러스터 전원 끄기 및 재부팅

OpenStack에서 Horizon에 SSL을 적용하기 위해 certbot을 사용하여 SSL 인증서를 자동으로 발급받고 갱신하는 방법을 설명합니다. Wildcard SSL과 standard SSL의 차이를 설명하고, Cloudflare를 통해 DNS 인증을 설정하는 과정과 certbot을 이용한 인증서 발급 및 갱신 스크립트를 작성하여 crontab에 등록하는 방법을 안내합니다.

certbot 자동화

Ceph는 클라우드 플랫폼에 스토리지를 제공하는 시스템으로, 설치 방법과 활용 방안에 중점을 두고 설명한다. 초기 환경 구성, Docker 및 Python 설치, 시간 동기화 설정, cephadm을 통한 클러스터 부트스트랩 방법 등을 다룬다. 클러스터 네트워크와 퍼블릭 네트워크의 개념을 설명하고, OSD 추가 및 설정 방법도 포함되어 있다. 추가적인 설정과 옵션은 다양하므로 직접 시도해보는 것을 권장한다.

ceph install

리눅스 브릿지를 사용하여 OpenStack 환경에서 NIC 설정을 최적화하는 방법을 설명합니다. 관리 IP와 private provider IP를 동일한 대역으로 구성하고, OVS와의 연결 문제를 해결하기 위해 리눅스 브릿지를 생성하고 VETH 인터페이스를 설정하는 스크립트를 제공합니다. 또한, 서버 재시작 시 설정이 유지되도록 rc 기능을 활용할 계획을 언급하며, 향후 포스팅에서 더 많은 네트워크 설정 방법과 최적화 팁을 공유할 예정입니다.

openstack NIC 설정

OpenStack에서 GPU를 사용자에게 제공하기 위한 방법으로 GPU passthrough와 VGPU가 있으며, GPU passthrough는 PCI-E 라인을 직접 연결하는 방식이다. 설정을 위해 하드웨어 상태 확인, iommu 설정, nova-api 및 nova-scheduler 구성, flavor 설정, 컴퓨트 노드의 PCI 패스스루 허용 장치 정보 화이트 리스트 지정이 필요하다. 트러블 슈팅 시 NVIDIA GPU의 오디오 장치도 함께 제공해야 하며, 모든 GPU를 활용하기 위해서는 화면 출력을 위한 추가 GPU가 필요하다.

openstack pci passthrough

OpenStack의 고가용성을 위해 MySQL Galera 클러스터를 설정하는 방법을 설명합니다. Galera 클러스터는 모든 노드가 Master 역할을 수행하며, 최소 3개 이상의 노드가 필요합니다. 설치 과정, 클러스터 상태 확인 방법, 문제 발생 시 복구 방법, HAProxy와 Keepalived를 통한 고가용성 구성 등을 다루고 있습니다. 이를 통해 안정적인 데이터베이스 시스템을 구축할 수 있습니다.

mysql galera cluster 설정

pfSense를 이용한 연구실 네트워크 구축 과정에서는 OpenStack 시스템 운영을 위한 VPN과 방화벽 설정이 포함됩니다. pfSense는 FreeBSD 기반의 오픈소스 방화벽으로, 다양한 네트워크 기능을 통합하여 제공하며, 설치 및 설정 과정에서 WAN과 LAN 인터페이스 설정, NAT 및 포트 포워딩, DHCP 서버 활성화 등이 필요합니다. 이를 통해 안정적이고 안전한 네트워크 환경을 구축할 수 있습니다.