W dużym skrócie:
Serwer 85.89.171.45 zaliczył mało spektakularny pad sprzętowy.
Padł dysk twardy i kontroler po stronie maszyny pełniącej rolę serwera.
Dlaczego? Nie wiem, pewnie ze starości i nagłego wzrostu zainteresowania zasobami serwisu LHS.pl po zmianach w zarządzie pewnej zamojskiej spółki kolejowej.
Co dalej?
Gdybym miał backup, pewnie wszystko było by już z powrotem. Ale backup też się posypał (no to mam niezłego pecha). Może los tak chciał żeby zamknąć ten bałagan? Sam nie wiem. Miałem więc dwa wyjścia – olać temat i pożegnać się z tym na zawsze, albo coś z tym zrobić. O tym co się działo można przeczytać poniżej.
------------ Changelog --------------
2013-05-10 g. 16:05
- Stwierdziłem usterkę dysku twardego serwera DGC.
Jak się okazuje prawo serii zadziałało i w tym wypadku - kopia zapasowa również poszła w niebyt.
2013-05-13
- Dysk twardy został oddany do firmy zajmującej się odzyskiwaniem danych. Niestety jest uszkodzony mechanicznie (podejrzewam, że ze starości i liczby przepracowanych godzin) więc w tym miejscu moja wiedza i próby odzyskiwania danych prostymi sposobami się skończyły.
2013-05-14
- Zdiagnozowano usterkę kontrolera dysku twardego po stronie serwera DGC. DGC więc razem z dyskiem i backupem nadaje się na złom po zakończeniu procedury distaster recovery.
2013-05-15
- Uruchomiono serwer zastępczy (DGC2), system jest gotowy.
- Uruchomiono usługi DNS dla domen lhs.pl, kolej.pl i ciemny.pl.
2013-05-17
- Ruszyła poczta dla domen j.n. (w sumie jestem jej jedynym użytkownikiem 🙂
Spływają już pierwsze maile.
2013-05-27
- Po długich zmaganiach ze starym configiem udało się odpalić httpd i powiesić komunikat techniczny na WWW.
2013-06-06
- Funcjonalność E0.lhs.pl została przywrócona (na podstawie strzępków kodu).
Aż się telemetria udławiła z zachwytu.
2013-06-13
- Firma zajmująca się odzyskiwaniem danych przekazała mi dziś ekspertyzę. Dane można odzyskać w 99%, będzie to kosztowało czterocyfrową kwotę. Czas na przemyślenia i podjęcie decyzji.
2013-06-15
- Dla uczestników tegorocznego Summer LHS Camp został uruchomiony specjalny serwis camp.lhs.pl poświęcony temu tematowi.
2013-06-17
- W tym tygodniu powinny przyjechać dane odzyskane z dysku. Ponowny start LHS.pl, intranetu, słupka km i pozostałych stron jest przewidziany na 1 lipca.
- Odpaliłem starą, bo z tego co widzę nie używaną od ponad czterech lat bramkę informacyjną (gate2; http://m.lhs.pl), używaną kiedyś do przekazywania wiadomości ze szlaku. Przyda się w czasie campu.
2013-06-24
- Roboty ciąg dalszy. Baza danych dla tego blogu zawierała jedynie plik z zawartością tabeli bez pliku definicji i kluczy. Przydało się odtworzenie jej ze starej wersji (gdzieś miałem backup sql) i podegranie pliku z danymi. Łatwo nie było, ale się udało, także można teraz przejrzeć również moje archiwalne wypociny.
2013-06-21
- Odebrałem dysk z danymi w pudełku z intrygującym napisem "Materiał dowodowy" (firma robi głownie analizy kryminalistyczne do spraw prowadzonych przez prokuratury czy policję).
Ponieważ w wynkiu awarii nie udało się odzyskać danych w 100% i konieczna była analiza spójności (krótko mówiąc czy wszystkie dane są na swoim miejscu tak jak powinny być) danych nie można było od tak wrzucić na dysk i odpalić www. Aktualnie jestem po przejrzeniu zawartości głównego katalogu, oraz analizie jakich danych brakuje. Według wypiski z bazy danych brak jest 243 zdjęć, i ponad 4000 miniaturek. O ile to drugie jest stosunkowo proste do odtworzenia (można wygenerować miniaturki ponownie z oryginałów), o tyle pierwsze będzie wymagało do sięgnięcia do archiwum zdjęciowego i poczty aby te fotki ponownie wyciągnąć. Pobieżna analiza logów z serwera www i lokalnej wyszukiwarki wskazuje, że ostatnie godziny przed awarią serwer odnotowywał wzmożony ruch, a Internauci poszukiwali głównie informacji na temat (uwaga, nie będzie zaskoczenia) odwołanego zarządu spółki PKP LHS. Wniosek jest prosty - większy ruch na stronie oznacza że nastąpiły jakieś ruchy kadrowe w spółce.
2013-06-25
- Ruszył Interaktywny Słupek Kilometrażowy (km.lhs.pl).
2013-06-27
- Działa już intranet (dawny Technopolis).
Zakończyło się przywracanie większości zdjęć dla LHS.pl. Pozostałe trzeba będzie wyciągnąć z archiwów i jeszcze raz obrobić...
2013-06-28
- Zaktualizowałem bazę artykułów n/t LHS w intranecie. 50% to teksty na temat zmian w zarządzie zamojskiej spółki. Urgh...
2013-07-01
- LHS.pl wróciła na łamy Internetu. Teraz będę musiał robić dwie kopie danych na wszelki wypadek, bo ta historia uczy, że jedna może nie wystarczyć...
Dzien dobry,
Nawet pan nie wie jak sie ciesze ze lhs.pl juz dziala.
Dziekuje za ciezka prace jaka pan wykonuje aby lhs.pl dzialalo.
Pozdrowienia z Bristolu.
Adam Mazurek
Przyłączam się i ja, również dziękuję za zaangażowanie i ciężką pracę.
Pozdrowienia z Trondheim,
Jakub J.
Panowie, dziękuję za bardzo miłe słowa.
Cieszę się, że to co robię spotyka się z uznaniem, również u rodaków za granicami kraju.
Pozdrawiam serdecznie.