k3s는 경량화된 쿠버네티스 배포판으로, 설치 전 모든 노드의 hosts 파일을 수정하여 마스터 노드와 통신할 수 있도록 해야 합니다. 설치 후에는 마스터 노드와 워커 노드의 설치 명령어를 사용하고, 클러스터 상태를 확인할 수 있습니다. K3s 제거는 자동 스크립트 또는 수동으로 수행할 수 있으며, 모든 관련 프로세스를 종료하고 파일 시스템을 정리해야 합니다.

k3s install

쿠버네티스는 컨테이너화된 애플리케이션의 자동화된 배포, 확장 및 관리를 위한 오픈소스 플랫폼으로, K3s는 경량화된 배포판입니다. K3s는 작은 메모리 풋프린트와 간단한 설치로 Edge 및 IoT 환경에 적합하며, 최소 하드웨어 요구사항과 네트워크 설정이 필요합니다. 쿠버네티스는 자동화된 배포, 고가용성, 자원 효율성 등의 이점을 제공합니다.

OpenStack 배포를 위한 Kolla Ansible의 설치 및 설정 과정에 대해 설명하며, 초기 수동 설치의 번거로움을 해결하기 위해 자동화의 필요성을 강조합니다. Kolla Ansible을 사용하여 Docker를 통해 OpenStack을 배포하는 방법, 필수 패키지 설치, 설정 파일 구성 및 배포 명령어를 단계별로 안내합니다. 또한, 배포 중 발생할 수 있는 문제와 해결 방법에 대해서도 다룹니다.

openstack 마이그레이션 대꼴박 도전기 -1

Docker는 리소스를 효율적으로 사용하며 빠른 시작과 종료가 가능하지만, 커널의 취약점을 공유하는 단점이 있다. NVIDIA의 GPU 가상화는 패스스루와 vGPU 방식으로 이루어지며, NVIDIA Container Toolkit을 통해 GPU 자원에 접근할 수 있다. 설치 과정에서는 NVIDIA 드라이버와 CUDA Toolkit의 매핑이 필요하며, Docker 컨테이너에서 리소스 제한을 설정하는 방법도 설명된다.

nvidia container toolkit used

Ubuntu 22.04 LTS에서 OpenVPN을 설치하고 설정하는 방법에 대한 가이드로, Easy-RSA와 OpenVPN을 함께 사용하여 VPN을 구축하는 과정이 상세히 설명되어 있다. VPN을 통해 외부에서 안전하게 내부망에 접근할 수 있으며, 필요한 패키지 설치, 인증서 생성, 서버 및 클라이언트 구성, 방화벽 설정, 계정 관리 및 문제 해결 방법이 포함되어 있다. 최종적으로 OpenVPN의 성능과 지연 시간 문제를 언급하며, 향후 WireGuard와 같은 대안에 대한 포스팅을 예고하고 있다.

openvpn install

Docker에서 Portainer CE를 설치하는 방법을 설명하며, 볼륨 생성, 컨테이너 실행, 포트 포워딩 설정, 관리자 계정 생성, GPU 할당 정보 확인 및 최신 버전으로 업데이트하는 절차를 포함합니다. 초기 접속 시 관리자 계정 정보를 기억해야 하며, IP 고정 설정이 중요합니다.

portainer install

TensorFlow 2.12 설치를 위해 Miniconda를 설치하고, 새로운 conda 환경을 만들며, GPU 설정을 선택적으로 진행한 후 TensorFlow를 pip로 설치하는 방법을 안내합니다. 설치 후 CPU와 GPU 설정 확인을 위한 테스트 코드를 제공하며, Ubuntu 22.04에서 발생할 수 있는 오류와 그 해결 방법도 설명합니다.

tensorflow 2.12 install

vscode를 이용한 원격 코드 개발 환경 구축 방법을 설명하며, SSH 접속 설정, SSH 키 생성, VSCode Remote-SSH 설정 및 디렉토리 열기 과정을 포함합니다. 보안을 위해 공개 키를 사용하여 접속하며, 선택적으로 비밀번호 인증을 거부하는 방법도 안내합니다.

vscode ssh tunnel 구성

alphafold 설치 시 docker 이미지 생성에서 발생하는 의존성 문제를 해결하기 위한 여러 방법을 설명한다. jax 라이브러리와 cuda 버전의 호환성 문제를 다루며, nvidia-modprobe 패키지 설치, 시스템 재설치, CUDA 버전 변경 등의 트러블슈팅 과정을 포함한다. 최종적으로는 JAX와 CUDA의 적절한 버전을 사용하여 alphafold를 성공적으로 실행할 수 있는 Dockerfile을 제공한다.

alphafold2 docker 트러블슈팅

HAProxy를 설치하고 구성하는 방법을 설명하며, global, defaults, frontend, backend, listen 섹션의 설정 방법과 예시를 제공한다. SSL 인증서 설정 및 패킷 라우팅을 위한 다양한 옵션을 포함하고 있으며, 설정 파일의 문법 검증 방법도 안내한다.

haproxy 구성

ceph 클러스터를 안전하게 종료하고 재부팅하는 과정에 대한 단계별 설명. cephfs와 osd를 종료하고, 모든 데몬을 안전하게 중지한 후 전원을 끈다. 재부팅 후 서비스 상태를 확인하고 osd 플래그를 비활성화하며, 문제가 발생할 경우 osd 서비스를 재시작하여 문제를 해결한다.

ceph 클러스터 전원 끄기 및 재부팅

OpenStack에서 Horizon에 SSL을 적용하기 위해 certbot을 사용하여 SSL 인증서를 자동으로 발급받고 갱신하는 방법을 설명합니다. Wildcard SSL과 standard SSL의 차이를 설명하고, Cloudflare를 통해 DNS 인증을 설정하는 과정과 certbot을 이용한 인증서 발급 및 갱신 스크립트를 작성하여 crontab에 등록하는 방법을 안내합니다.

certbot 자동화

Ceph는 클라우드 플랫폼에 스토리지를 제공하는 시스템으로, 설치 방법과 활용 방안에 중점을 두고 설명한다. 초기 환경 구성, Docker 및 Python 설치, 시간 동기화 설정, cephadm을 통한 클러스터 부트스트랩 방법 등을 다룬다. 클러스터 네트워크와 퍼블릭 네트워크의 개념을 설명하고, OSD 추가 및 설정 방법도 포함되어 있다. 추가적인 설정과 옵션은 다양하므로 직접 시도해보는 것을 권장한다.

ceph install

OpenStack의 고가용성을 위해 MySQL Galera 클러스터를 설정하는 방법을 설명합니다. Galera 클러스터는 모든 노드가 Master 역할을 수행하며, 최소 3개 이상의 노드가 필요합니다. 설치 과정, 클러스터 상태 확인 방법, 문제 발생 시 복구 방법, HAProxy와 Keepalived를 통한 고가용성 구성 등을 다루고 있습니다. 이를 통해 안정적인 데이터베이스 시스템을 구축할 수 있습니다.

mysql galera cluster 설정

OpenStack에서 GPU를 사용자에게 제공하기 위한 방법으로 GPU passthrough와 VGPU가 있으며, GPU passthrough는 PCI-E 라인을 직접 연결하는 방식이다. 설정을 위해 하드웨어 상태 확인, iommu 설정, nova-api 및 nova-scheduler 구성, flavor 설정, 컴퓨트 노드의 PCI 패스스루 허용 장치 정보 화이트 리스트 지정이 필요하다. 트러블 슈팅 시 NVIDIA GPU의 오디오 장치도 함께 제공해야 하며, 모든 GPU를 활용하기 위해서는 화면 출력을 위한 추가 GPU가 필요하다.

openstack pci passthrough

리눅스 브릿지를 사용하여 OpenStack 환경에서 NIC 설정을 최적화하는 방법을 설명합니다. 관리 IP와 private provider IP를 동일한 대역으로 구성하고, OVS와의 연결 문제를 해결하기 위해 리눅스 브릿지를 생성하고 VETH 인터페이스를 설정하는 스크립트를 제공합니다. 또한, 서버 재시작 시 설정이 유지되도록 rc 기능을 활용할 계획을 언급하며, 향후 포스팅에서 더 많은 네트워크 설정 방법과 최적화 팁을 공유할 예정입니다.

openstack NIC 설정

pfSense를 이용한 연구실 네트워크 구축 과정에서는 OpenStack 시스템 운영을 위한 VPN과 방화벽 설정이 포함됩니다. pfSense는 FreeBSD 기반의 오픈소스 방화벽으로, 다양한 네트워크 기능을 통합하여 제공하며, 설치 및 설정 과정에서 WAN과 LAN 인터페이스 설정, NAT 및 포트 포워딩, DHCP 서버 활성화 등이 필요합니다. 이를 통해 안정적이고 안전한 네트워크 환경을 구축할 수 있습니다.

연구실 네트워크를 위한 강력한 방패, pfSense 방화벽 구축기

최근 10년 동안 딥러닝은 경사하강법을 통해 효율성을 입증했으나, 역전파가 뇌의 학습 방식인지에 대한 의문이 있다. 뇌피질이 error derivatives를 거꾸로 전달한다는 증거가 없고, 시각 신경계의 연결 방식이 비대칭적이라는 점에서 역전파를 통한 학습의 실현 가능성이 낮다.

The Forward-Forward Algorithm 정리