kfmes.com 서버 복구

blog 2007/05/26 17:43

약 39시간만에 복구가 되었네요
이 시간동안 웹 사이트 및 자테온 로그인시 딜레이 발생등 이용에 불편함이 있었습니다.
위 작업을 하는동안 우여곡절이 많았고, 참 많이 힘들었습니다..


이 밑으로의 내용은 편의상 경어를 사용하지 않겠습니다.

서버 관리를 같이 하시는 bh(병희)님 께서 25일 0시 30분경 시스템 설정을 변경하고 재부팅을 했는데, POST 과정에서 "Fan 4 failure" 가 뜨면서 부팅이 되질 않는 현상이 발생했다.

그런데 그날따라 서버들도 이상증상이 나타났었다. bh님이 관리하시는 인질범 서버를 시작으로, 셈틀깨비 동아리방에 위치한 서버(가보니 커널패닉)도 죽었있었다.
셈삐 서버는 재부팅하니 정상적으로 돌아옴.

kfmes.com 서버

병희님 연락을 받고 현장엘 가보니, 사태는 생각보다 심각했었다.
무한 재부팅 상황....

일단 열어봐야겠다는 생각에 케이스를 열어볼려했으나
torx

이게 왠걸.. 무슨 나사가 저렇게 생겼는지 OTL
irc에 물어보니 eregee님께서 torx(톡스)라고 하는 종류의 나사라고 알려주셨다.

다음날오전...
저 서버를 기능하신 동아리 선배님께 증상을 얘기했더니,
마침 대구에 계셔서 작업을 도와 주셨다

hp에 연락해서 견적을 내봤더니, 부품값 10만원, 기술지원비 20만원이 나왔다
차라리 돈좀 더 보태서 컴퓨터를 사서 서버로 돌리고 말지 ㅡ.,ㅡ

암튼 저걸 복구해보고 안되면 폐기처분 하는 방안으로 이야기가 흘러갔다.
(하드 랙도뽑아보니 그쪽 나사도 torx나사였다 -_-;;;;)
사용자 삽입 이미지


일단 자료를 백업을 해야겠는데 SCSI컨트롤러가 없으니,  동아리 선배님(다른분)께서 근무하시는 회사로 가게 되었다.


다행히도 그 회사에 torx 드라이버가 있었다!!
하드 데이터를 백업할려고, 리눅스 부팅을했다.
근데 뭔가 이상한걸 발견...

원래 서버에 freeBSD가 깔려있던지라. 파티션이 bsd파티션이었던것이었다
fdisk 해보면 뜨기는하는데, mount 가 안되는것이었다-_-;;;

이리저리 궁리해본결과,
dos 부팅을 해서 ghost로 하드디스크를 통째로 이미지뜨는 방법으로 하기로 했다.

여기서문제가 발생-_-a
dos 환경인지라 ghost에서 다른 파티션읽는건 가능하더라도, 이미지파일을 다른곳으로 쓰기위해선, fat 파일 시스템이 있어야 하는 문제였다.

여기서 한참을 시간을 또 보냈다.
외장하드를 분해해서 ide쪽에 연결해놓고 이미지뜨는 작업을 했다.
사용자 삽입 이미지
더 많은 일이 있었지만 요쯤해서 중략.

도움을 주신 선배님과 회사 관계자분들께 감사하다는 말씀을 드립니다.
torx 드라이버도 잠시 빌려왔음 ..

집에와서 vmware 이미지 만들고, 백업받은 고스트 이미지를 restore 했다.
사용자 삽입 이미지
(vmware 쓰면서 저렇게 하드를 저렇게나 많이 추가해본적은 이번이 처음)

해가 밝았다..  -_-;
freebsd를 설치하고, mount 하니 잘 보였다.
(얼마전에 ghost로 ext3 파티션까지는 테스트해서 잘 되었었는데, bsd파티션인 ufs도 잘 될지 불안해하면서 작업을 했음)
data 파일은 백업했으니, 문제의 팬을 점검해봤다.
3층부터 큼지막한 서버를 밖으로 내놓았다.(엘리베이터 없음)


사용자 삽입 이미지
이것이 바로 빌려온 TORX 드라이버! 생긴게 참 요상하게 생겼다.

사용자 삽입 이미지
서버 개봉 박두(?)
사용자 삽입 이미지
먼지가 아주그냥 쩔어있었다

서버에 쌓여있던 먼지들을 먼지제거제로 제거 하기 시작했다
두통을 사왔었는데 -_-a 모자라서 나중에 한통을 더 사왔다.

케이스 뚜껑(?) 안쪽면에 구성도 및 내용물(?)에 대한 설명이 적혀있었다
메뉴얼 상으로는 4개의 팬이 있어야되는데
실제로는 2개의 팬 CPU, I/O FAN 이었다.
여기서 문제가 있었던 4번팬은 I/O팬
사용자 삽입 이미지
바로 요녀석!!

CPU 팬도 떼어서 비교를 해봤는데, 팬 날개를 슬쩍 건들여봤는데
CPU 팬은 잘 돌아가는 반면에, IO팬은 먼지때문인지 팬이 돌아가질 않았다-_-;;;
억지로 조금씩 돌려보니 돌아가긴했다. 원할하게 돌아갈때까지 수동으로 돌리는 방법으로 조치를 했다.

다시 3층으로 올려놓고,
제대로 돌아가길 바라며 전원을 넣어보았다.
사용자 삽입 이미지
POST 넘어가고 부팅 화면

약 39시간동안의 서버 다운은 이것으로 해결 되었다.

이번 작업을 하면서 느낀것중에 한가지가
software, hardware 같은건 범용적으로 사용하는것을 사용해야
작업이 편하다는걸 느꼈다.
(torx 나사, scsi(왠만해선 일반 사람들은 쓸일이없..), 리눅스에서 쉽게 마운트 되지않는 bsd파티션)


이번 서버 복구 작업을 같이 했던 병희님,
도움주신 동아리 선배님들, 회사 직원분들께 감사드립니다.
2007/05/26 17:43 2007/05/26 17:43

jateon 0.20d release

JaTeOn 2007/05/26 16:19
update log
2007 05 24 - kfmes
------------------------------------------------------------------
다른 상대로부터 대화가 왔을때 기존 대화창에 내용찍히던 버그 수정
외부 웹 브라우저를 직접 실행
상대방 대화명으로 대화창 타이틀바에 나오게 고침
자잘한 버그 수정
jateon 0.20d release

http://jateon.kfmes.com
사용자 삽입 이미지
2007/05/26 16:19 2007/05/26 16:19

JaTeOn 0.20b release

JaTeOn 2007/04/27 12:10
자테온 0.20  배포합니다
예고 한대로 0.20부터는 swing이 아닌 swt를 사용합니다.

따라서 기존 리눅스에서의 자바 폰트 설정, beryl 환경에서 설정없이 사용이 가능합니다.
리눅스에서 브라우저를 띄울려고 하니 오류가 나던데,
해결 방법을 아시는분은 알려주세요 :)

처음 실행하면 OS 환경에 맞는 swt.jar 파일을 다운받게 됩니다.
(다운받은뒤에 다시 실행을 해 줘야 됩니다)
여기에서 에러가 나시는분은 http://eclipse.org/swt 에서 자신의 환경에 맞는 swt 3.3버전을 다운받아 lib 디렉토리에 넣어주세요

맥 사용자들은 jateon_osx.jar 을 실행하셔야 정상적으로 실행이 됩니다
(터미널 상에서 java -XstartOnFirstThread -jar jateon.jar 해도 되긴합니다만)
이 증상에 대해서 해결 방법아시는 분도 연락주세요.

vmware로 osx돌릴려니 상당히 버벅대네요 :(
테스트 용도로만 사용하고 있습니다.

ps. 친추 기능은 아직 구현이 안되있어요


사용자 삽입 이미지


2007/04/27 12:10 2007/04/27 12:10

지금까지 자테온을 만들어 오면서 그다지 큰(?) 문제점 같은건 없었다고 생각합니다.

java 가 platform independent 한 언어이고 swing 도 비교적 그걸 잘 따라 준다고 생각해서 swing기반으로 자테온 개발을 시작했습니다. 하지만 일부 시스템이나 사용자들의 버그 리포팅을 보면 아직까지도 한글입력, 자바 환경설정, 기타 기능 등에서 문제등에서 어려움을 겪고 있고, 이를 해결하기 위해 방안을 찾고 있는 중입니다.

자바 개발을 하시는 분들중에 eclipse라는 IDE를 아시는 분들 많으실겁니다.
처음 봤을때는 자바로 만들어졌다라는 것도 몰랐습니다.

리눅스에서 별 설정없이도 이클립스는 잘 돌아가는데, 왜 자테온은 그렇지 않을까 라는 의문점도 들기도 했습니다만..
다음 버전부터는 이클립스가 잘 돌아가는 시스템에서는 자테온 역시 잘 돌아가게 될 예정입니다.

무슨 이야기인고 하면,
기존 swing 기반으로 만들었던 자테온을, SWT기반으로 포팅 하고 있는 중입니다.

말이 포팅이지 ...
자테온 UI 코딩을 처음부터 새로 하는 일인지라 ···

중간고사 끝나고 부터 시간여유가 생길듯합니당.
(rath님도 요즘 회사일 때문에 많이 바쁘신듯 해요)

지금부터 차기버전에 대해 말씀드리겠습니다.
다음 버전은 자테온 0.20 이고, swing -> SWT 로 전환하느라
특별한 기능 추가는 없을 예정이며
오히려 0.16b 에 지원 하던 기능들이 당분간은 지원 하지 못할수도 있습니다.
하지만 한글 입력이나 그런 부분에서 있었던 문제점들은 해결 될 듯 싶습니다.

도움을 주실 분들은 여기를 참고 해주시면 되겠습니다.

그리고 마지막으로,
혹시 경북대나 이 근처에서 거주하고 계시는분중에 자테온을 사용하시는 분 있으면 알려주시면 감사하겠습니다.
그냥 이 근처에서 어떤 분들이 자테온을 쓰시는지 궁금해서요 :)

2007/04/19 02:34 2007/04/19 02:34

JaTeOn 0.16b release

JaTeOn 2007/04/07 01:48

안녕하세요 자테온 개발자입니다

거의 한달만의  릴리즈네요

jateon 0.16

이번 버전부터 트레이를 지원합니다.

발견된 버그 및 기술상의 문제점
beryl (XGL 등에서는 트레이를 사용할 수 없습니다)
트레이 관련해서 오류난뒤로 자테온 실행이 안되면,
java -jar jateon.jar --clean 을 실행하여 환경설정파일을 지워주시면 됩니다.
일부 리눅스에서 java 6 인경우 실행이 되지 않는 현상이 있습니다.


2007 04 06 - kfmes
------------------------------------------------------------------
트레이지원 (beryl 환경에서 작동안함!)
 /etc/environment 파일에 AWT_TOOLKIT="MToolkit" 요게 들어가있으면 에러를 뱉음
 실수로 트레이 설정한경우 java -jar jateon.jar --clean 으로 설정초기화 할 수 있음
 
Mac 에서 트레이 비활성화
기타 자잘한 버그 수정
환경설정 다이얼로그 구현
트레이에 풍선으로 접속알림
환경설정 파일 위치를 홈 디렉토리로 고정
환경설정 파일 이름을 .config.inc 에서 config.inc 로 변경
자테온 서버 접속에 실패하면 이용이 불가능하던 오류 수정
문자 정액제 지원
설정 초기화 메뉴 추가

자테온 포럼에서 다운받으실 수 있습니다.
http://jateon.kfmes.com

2007/04/07 01:48 2007/04/07 01:48

JaTeOn 0.15b release

JaTeOn 2007/03/01 10:53
새학기와 더불어
0.15b 를 공개합니다.

자테온 포럼에서 받으실 수 있습니다.
문자보내기에서 최근 보낸 리스트 추가
md5 값 구하는 과정에서 있던 버그 수정
kfmes/** 소스코드에서 Generic으로 부분 수정
Retroweaver를 사용하여 jre 1.4에서 generics을 가능케함
SMS 추가 (주소록 기능은 미구현)
최신버전 확인 기능 추가

사용자 삽입 이미지
2007/03/01 10:53 2007/03/01 10:53

jateon 0.15 preview

JaTeOn 2007/02/25 21:00

JaTeOn 0.15 preview

사용자 삽입 이미지


2007/02/25 21:00 2007/02/25 21:00