학사 인턴으로 속한 연구실에서 서버랙 세팅 업무를 진행하던 중, IPMI라는 기술의 필요성을 느끼게 되었다. 간단하게 공부 후, 내가 관리하는 모든 서버에 IPMI를 설치 및 설정을 진행했다. 내가 새로 알게 된 지식과 느낀점, 설치 방법에 대해서 간단하게 정리해보았다.
이 글은 다음과 같은 내용을 포함한다.
- IPMI란?
- IPMI를 왜 쓰는가?
- IPMI 설치 및 설정
- IPMI 설치 in Ubuntu
- IPMI 네트워크 설정
- IPMI User 관리
- IPMI Web 접근
1. IPMI(Intelligent Platform Management Interface)란?
IPMI는 표준화된 메시지 기반의 하드웨어 관리 Interface로, 서버나 장비의 전원 상태, 하드웨어 이상 유무 등을 네트워크를 통해 원격으로 모니터링하거나 직접 제어할 수 있는 기능을 제공한다. IPMI 기능이 탑재된 메인보드나 BMC(Baseboard Management Controller)를 이용해 운영체제와는 독립적으로 하드웨어를 직접 관리할 수 있다는 것이 핵심이다.
쉽게 말해서, 서버가 커져 있든 꺼져 있든, 혹은 운영체제가 제대로 동작하지 않거나 기타 문제가 생겨서 접속이 불가능하더라도, IPMI를 통해 조작이 가능하다는 의미이다. 물론 모든 문제가 발생해도 IPMI를 사용할 수 있다는 것을 의미하지는 않지만, BMC에 문제가 생기지 않은 이상 대체로 서버에 파워(전력)이 공급되고 있는 이상 IPMI를 사용할 수 있다.
그럼 IPMI를 왜 쓸까? 꼭 써야할까?
물리적 접근이 어려운 상황에서의 관리 편의성
내가 학사 인턴으로 속해있는 연구실에서 서버랙 세팅 업무를 맡았다. 랙 셋업, 네트워크 설치, OS 설치 및 IP 할당 작업 등이 필요했고, 문제가 발생할 때마다 서버실을 직접 방문해야하는 번거로움이 있었다. 관리하는 노드가 3-4개면 크게 번거롭지는 않지만 20개가 넘는 노드를 모두 관리하려다보니 연구실 자리에서 왔다갔다해야하는 불편함이 있었다. 또한 여러 노드에 OS를 설치해줘야 할 때는 각 노드에 모니터를 연결하고, 부팅 USB를 꽂고, 키보드를 직접 연결한 뒤 OS 설치를 진행해야한다. (OS를 한 번이라도 설치해본 사람은 알겠지만, 기다리는 시간이 상당하다…) 또한 연구실에 없거나 타 지역에 있을 때 서버에 문제가 발생한다면 다른 인턴에게 부탁하거나 출근일까지 기다려야하는 불편함이 있었다.
그런 의미에서 내가 생각하는 IPMI를 써야하는 가장 강력한 이유는 서버에 접근할 때 물리적 접근이 필요하지 않다는 점이다. 가끔 서버에 문제가 생겨서 ssh 원격 접속조차도 불가능해 서버실에 직접 방문해야하는 번거로움이 있었는데, IPMI가 있다면 지금 앉아있는 자리에서 이슈를 파악하고 해결할 수 있다.
그 외에 IPMI의 이점은 내 수준에서 쉽게 접할 수 있는 내용은 아니기 때문에 생략하도록 한다. 참고로 GPT에게 물어보니 이런 저런 이점들을 설명해주긴 하지만, 내가 위에서 설명한 것으로부터 비롯된 이점이 대부분이었다.
2. IPMI의 주요 기능
IPMI가 제공하는 주요 기능은 아래와 같다.
- 전원 제어 (Power Control)
서버가 응답하지 않는 상황이 되어도 물리적으로 서버실에 갈 필요 없이 IPMI를 통해 재부팅 명령을 내릴 수 있다. 즉, 원격 전원 제어가 가능하다. - 콘솔 접근 (Remote Console)
마치 서버 앞에 직접 모니터와 키보드, 마우스를 연결한 것처럼 원격에서 서버의 화면을 보고, 서버를 조작할 수 있다.
또한 원격 Media Mount가 가능하기 때문에 내 로컬 PC에 존재하는 파일(e.g. ISO 파일) 등을 서버의 가상 드라이브로 인식시켜 운영체제 설치나 복구를 진행할 수 있다. - 하드웨어 모니터링 (Hardware Monitoring)
CPU 온도, 팬 속도, 전압, 전력 사용량 등의 정볼르 실시간으로 모니터링할 수 있다.
하드웨어 오류나 일정 온도 이상 등의 이벤트 발생 시 로그 확인이 가능하며, 미리 지정된 관리자에게 알림을 보낼 수 있다. - 펌웨어/BIOS 관리
BMC나 BIOS를 최신 버전으로 업데이트하거나 설정을 변경할 수 있다.
3. IPMI 설치 및 설정
나는 Supermicro SYS-E200-8D에서 우분투 24.04 버전에서 해당 작업을 진행했다.
우선, IPMI를 설치할 서버에 원격으로 접속해준다.
IPMI 지원 여부 확인
IPMI 기능을 지원하는지 확인해준다. -A10는 해당 문자열(여기서는 IPMI)를 포함하는 줄부터 이후 10줄을 추가로 출력하는 옵션이다.
sudo dmidecode | grep -A10 IPMI아래와 같은 출력이 나온다면 IPMI를 지원한다는 의미이다.
IPMI 지원 여부를 확인했으면 설치를 진행해준다.
ipmitool 설치
sudo apt install ipmitool -y
IPMI 네트워크 LAN 설정 확인
아래와 같이 IPMI 네트워크 채널의 설정을 출력한다.
# sudo ipmitool lan print <channel number>
sudo ipmitool lan print 1
# or
sudo ipmitool lan print
서버의 기본 IPMI channel은 보통 1번인데, 본인이 사용하는 서버의 IPMI 네트워크 인터페이스가 1개라면 굳이 저 1을 입력하지 않아도 괜찮습니다. sudo ipmitool lan print와 같이 channel number를 명시하지 않을 경우, 기본 채널의 정보를 출력하게 된다.
내가 사용하는 노드의 IPMI 인터페이스는 1개이다. 때문에 아래와 같이 입력한다면 해당 채널은 유효하지 않다는 응답을 주게 된다.
에러가 발생한다면?
IPMI에 필요한 모듈이 올라와있지 않은 것이 원인일 수 있다.
다음 명령어를 사용해서 IPMI 관련 모듈이 활성화되어 있는지 확인해보자. IPMI 기능을 사용하기 위해서는 ipmi_devintf, ipmi_ssif, ipmi_si, ipmi_msghandler 모듈이 모두 활성화되어 있어야 한다.
lsmod | grep ipmi
# Could not open device at /dev/ipmi0 or /dev/ipmi/0 or /dev/ipmidev/0: No such file or directory
ipmi_devintf 모듈이 로드되어 있지 않은 것을 확인할 수 있다. 다음 명령어를 사용해서 특정 모듈을 다시 활성화 시켜주자.
# modprobe <활성화해야하는 모듈>
modprobe ipmi_devintf
이제 정상적으로 IPMI를 사용할 수 있다!
IPMI 네트워크 설정
나 같은 경우에는 다음과 같이 설정했다.
- 고정 IP address를 사용할 것
- IP address: 192.168.100.51/24
- IP Gateway: 192.168.100.254
다음과 같은 순서로 명령어를 실행했다. 아래 명령어에 적힌 1는 ipmi channel number가 들어가는 위치이다. 위에서 언급한 것처럼 IPMI 네트워크 인터페이스가 1개라면 그대로 사용하면 된다.
# 고정(static) ip address 설정
sudo ipmitool lan set 1 ipsrc static
# 사용할 고정 IP 설정
sudo ipmitool lan set 1 ipaddr 192.168.100.51
# netmask 설정
sudo ipmitool lan set 1 netmask 255.255.255.0
# default ip gateway 설정
sudo ipmitool lan set 1 defgw ipaddr 192.168.100.254
# ipmi network interface 활성화하기
sudo ipmitool lan set 1 access on
IPMI User 설정
우선 User list를 확인해준다
sudo ipmitool user list
보통 다음과 같이 2번 User에 ADMIN이 등록되어 있다. 해당 User의 default password도 ADMIN이라고 한다.
나는 다음과 같이 새로운 유저를 추가하려고 한다.
- 이름: ipmi_user
- 권한: admin
다음과 같은 순서로 명령어를 실행했다.
# 3번 User에 ipmi_user는 이름 설정
sudo ipmitool user set name 3 ipmi_user
# 3번 User에 대한 password 설정
sudo ipmitool user set password 3
# 위 명령어 입력 후, 설정하고자 하는 password를 2번 입력하면 된다.
# 3는 user id, 4는 권한 수준이다
# 1은 channel number로, 생략한다면 default channel을 사용한다
sudo ipmitool user priv 3 4 1
# or
sudo ipmitool user priv 3 4
sudo ipmitool user list
참고로 숫자에 따른 권한 수준은 다음과 같다.
Privilege Levels
- 1: Callback Level
- 2: User level
- 3: Operator level
- 4: Administrator level
- 5: OEM Proprietary level
- 15: No access
(주의) 만약 생성한 user로 IPMI GUI에 로그인되지 않는다면?
해당 user가 disabled되어있을 수 있다. 다음의 명령어를 입력하여 해당 user를 enable하게 해주도록 하자
# 3 자리에는 enable하고자 하는 유저의 id를 적으면 된다.
sudo ipmitool user enable 3
이것으로 기본적인 IPMI 설치 및 설정은 마쳤다.
4. IPMI Web 접근
위에서 설정한 IPMI IP Address를 입력하면, IPMI Web에 접근할 수 있다. 나는 192.168.0.0/24 네트워크 대역에 서버를 설치했기 때문에 NAT node를 통한 socks proxy를 사용해서 접근했다. Private network에 접근하는 방법이 있다면 각자 준비하도록 하자. 이 글에서는 이에 대해 다루지 않는다.
나의 경우에는 192.168.100.51에 접근했다. https가 아니기 때문에 다음과 같은 화면이 뜨는데, 우리는 학습, 연구, 실험용으로 사용하기 때문에 사뿐하게 고급 > 192.168.100.51(안전하지 않음).(으)로 이동 버튼을 눌러주자.
다음과 같은 로그인 화면을 볼 수 있다. 아까 입력했던 user name과 password를 입력해주자.
짜잔! Remote Console Preview에서 현재 서버의 화면을 볼 수 있다. 물론 저 섹션에서는 조작이 불가능하다.
잠깐! "Login" 버튼을 눌러도 로그인이 되지 않고, 화면 초기화만 발생한다면?
위에서 작성한 "(주의)만약 생성한 user로 IPMI GUI에 로그인되지 않는다면?"을 읽어보도록 하자! 해결책이 될 수도 있다.
왼쪽에 Hardware Information 버튼을 눌려보면 다음과 같이 서버의 하드웨어 정보를 알 수 있다.
상단의 Server Health 버튼을 눌러보면 아래와 같이 서버의 센서 정보를 볼 수 있다. 스크롤을 내리면 더 많은 센서가 있다.
Configuration 항목에는 정말 많은 기능이 있다. 나열하자면 다음과 같다.
Alerts : Add, edit or remove alert destinations.
Date and Time : Configure Date and Time Settings.
LDAP : Check the box below to enable LDAP authentication and enter the required information to access the LDAP server. Press the Save button to save your changes.
Active Directory : Configure settings to authenticate and access the Active Directory server.
RADIUS : Configure settings to authenticate and access the RADIUS server.
Mouse Mode : Configure the mouse mode for remote console.
Network : See the MAC address or change network settings, including dynamic and static IP assignment.
Dynamic DNS : Configure dynamic update properties for Dynamic DNS.
SMTP : Configure the SMTP email server.
SSL Certification : The dates for the default certificate and private key are shown below. To upload a new SSL certificate, use the Browse button to navigate to the certificate and then press the Upload button.
Users : Add, edit, or remove users.
Port : Configure the port number of the services.
IP Access Control : Add, edit or remove IP access rules.
SNMP : Configure the SNMP setting.
Fan Mode : Configure the fan mode.
Web Session : Configure the web session value.
Syslog : Configure the syslog server.
User 기능을 보면 아까 설정했던 user에 대한 정보를 볼 수 있다. 참고로 1번 User에 대해서 name을 설정하려고 하면 오류가 발생하는데, 해당 User의 Network Privilege가 Reserved 상태이기 때문에 그렇다.
Remote Control 항목의 iKVM/HTML5에서 서버에 대한 원격 접속이 가능하다. 저 iKVM/HTML5 버튼을 누르면, 원격 접속이 가능한 페이지로 이동한다
다음과 같이 원격 제어가 가능하다. 우분투 데스크톱 같은 GUI 지원 OS를 설치한다면 GUI 화면을 볼 수 있다.
지금까지 IPMI가 무엇이고, 어떤 이점이 있으며, 간단한 설치와 설정 방법, 그리고 IPMI Web 접근에 대해서 다뤄봤다.
연구실에서 이런저런 업무를 맡아 진행하면서 네트워크에 관한 새로운 지식들이 많이 늘고 있다. 현재는 Miniautred K8s Multi-cluster를 구축하는 작업을 진행하고 있다. 기회가 된다면 하나의 서버랙에 K8s Multi-cluster를 구축하기 위한 과정에 대해서 블로그에 정리해보고 싶다. 물론 구축 과정이 하루 이틀에 끝낼 수 있는 것도 아니고, 나도 스스로 공부하면서 구축을 이어가고 있기 때문에 시간이 좀 걸릴 것 같다. 그래도 조금씩이라도 기록하는 습관을 들이자!
참고자료
'Infrastructure' 카테고리의 다른 글
| sshd_config.d (1) | 2024.09.06 |
|---|
