ITjes en datjes

Dingen uit dagelijks IT werk

notities bij omzetting naar RAID

leave a comment »

*losse notities terwijl ik nog bezig met met de omzetting, het is nog niet geverifieerd

De oorspronkelijke opzet van de PC:
disk 1: /boot, 512MB, /, 32GB, swap, 4GB, /data/local/disk01, *GB
disk 2: /data/local/disk02, *GB

Wat ik wilde maken:
/boot, RAID10 512MB, /, RAID10 32GB, swap RAID10 4GB, /data/local/disk02, RAID10 *GB, /data/local/disk01, *GB met /boot, / en swap verdeeld over 1 320GB en 2 1TB schijven, disk02 verdeeld over de rest van de 2 TBschijven voor belangrijke data en virtuele machines en disk01 voor onbelangrijke data.

Helaas kunnen er maar 3 schijven aangesloten worden ivm de 4e poort voor de CD speler, anders had ik er meteen 4 gebruikt.

Als eerste de 3e schijf plaatsen, raid partities maken (fdisk, mdadm), formatteren (mkfs.ext4), mounten en data overzetten. Na de kopie fstab wijzigen en de disk02 mount omzetten van /dev/sdb5 naar /dev/md3, swap naar /dev/md2.
(niet vergeten om de bootable flag te zetten op de nieuwe boot partities)

*aangezien mdadm nog geen grow optie heeft voor raid10 is het misschien slim om bij het maken de optie –raid-devices=3 (of hoger) toe te passen. al zal dan waarschijnlijk de array constant als degraded vermeld worden..

Overzetten van / en /boot;

mount /dev/md1 /mnt
mount /dev/md0 /mnt/boot
mount –rbind /dev /mnt/dev
mount –rbind /proc /mnt/proc

Alles in / en /boot kopieëren met cp -bpRx /[dir] /mnt/[dir] behalve /dev, /proc, /tmp, /lost+found

chroot /mnt

Eventuele oude RAID array vermelding in /etc/mdadm/mdadm.conf verwijderen (de ARRAY regels aan het einde) en de nieuwe toevoegen via mdadm –detail –scan >> /etc/mdadm/mdadm.conf.

configure-grub2
grub-install /dev/sdb1 /dev/sdc1
update-initramfs -u

Testen door PC uitzetten, oude disk loskoppelen en PC weer starten.
Als boot lukt, oude disk via USB connectie herpartitioneren, aan RAID arrays toevoegen en na geslaagde sync weer inbouwen in PC.

 *grub.cfg

In de config van grub2 wordt verwezen naar uuid’s van de raid arrays en file systemen. Deze zouden bij migratie naar grote schijven aangepast kunnen worden mits er naar de juiste verwezen worden (zie blkid en mdadm –detail –scan).

De eerste vermelding in grub.cfg is;
set root=’mduuid/…’ verwijst naar naar de array id van root (md1)
if search –hint= verwijst naar mduuid/ array id md1 en blkid md1
else naar blkid md1

in het 10_linux gedeelte;
set root=’mduuid/ array id /boot (md0)
if search –hint=’mduuid/ array id md0′ en blkid md0
else blkid /md1

Het eerste kijkt dus meteen naar de root partitie, daarna wordt in 10_linux telkens gekeken naar de /boot partitie en alleen root als dat niet werkt.

Dit alles moet het volgende opleveren;
-opstarten van systeem en programma’s met een factor tot 3 versnellen
-opstarten virtuele machines versnellen met factor tot 2
-lezen van data vanaf disk02 versnellen met factor tot 2
-verlies van 1 schijf is geen verlies van functionaliteit, ten hoogste van onbelangrijke data op disk01
-schrijf snelheid kan verhoogd zijn tot factor 2
-eventuele uitbreiding van diskruimte door vervanging disks kan zonder opnieuw installeren

 

Written by mnystrom

2015/02/21 at 21:17

Geplaatst in installatie, linux, NL, opslag

Tagged with ,

Over software RAID op Linux, FreeBSD, Windows

leave a comment »

Vorige week voor een klant een kleine firewall opgezet. Er was weinig budget maar het was hard nodig om de boel daar (een stapel Windows PC’s voor de clïenten) beter te beveiligen. Tot nog toe was er alleen maar software gebruikt die de PC’s naar oorspronkelijke staat terugdraaide bij uitzetten of herstart. Met als gevolg dat de provider voor de zoveelste keer de verbinding blokkeerde i.v.m. infecties.

Eén van de maatregelen was een firewall met filtering en daarvoor hebben we op een oude PC PFSense gezet. Om in ieder geval op één punt wat redundancy te krijgen is de installatie op een GEOM mirror geplaatst.
Aangezien dat de installatie daar de optie voor heeft was het een fluitje van een cent. Nu kwam dat ook goed uit want na een paar dagen proefdraaien op de zaak kreeg een schijf kuren. Schijf eruit, andere schijf erin, de mirror de ontbrekende schijf laten vergeten en vervolgens de nieuwe toevoegen. Dat was alles.

Dat dat zo makkelijk kan was ik al gewend van de eerdere ervaringen met Linux software RAID.
De diverse Proxmox servers installeerde ik al bovenop een Debian installatie met specifieke RAID opzet. En de eigen PC had ik ook draaien met meerdere schijven met een combinatie van RAID 1 en 0 partities.

Na de installatie van de firewall was ik weer eens gaan kijken naar de diverse opties die mdadm biedt om te zien of er nog iets interessants te vinden was.
Daarbij kwam ik op diverse testen uit van de RAID 10 opties. Normale RAID 10 bestond altijd uit twee vaste paren schijven in RAID 0 die een RAID 1  vormden (of andersom). De RAID 10 optie van mdadm werkt al vanaf twee schijven, en werkt niet met vaste paren als er meer dan twee worden gebruikt. Er wordt (afhankelijk van de keuze hoeveel) alleen maar voor gezorgd dat er stukken data op minstens twee verschillende partities staan. Staan de partities op dezelfde fysieke schijf dan heeft het geen zin, maar dat is een eigen keuze.

Waar dan ook nog voor gekozen kan worden is de manier waarop de dubbele blokken verdeeld worden op de schijven. Standaard is “near”, dan staan de blokken zoveel mogelijk op dezelfde positie op de schijven. “Offset” verschuift het tweede blok een positie verder zodat het iets meer verspreid staat (mmaar niet veel). En “far” deelt de schijf min of meer in twee en begint bij één schijf vooraan en de ander in het midden zodat er maximale spreiding is van de datablokken.

Het grote voordeel van “far” is de snelheid van constant lezen van data (wat meestal bij een PC gebeurt), deze kan bijna net zo snel zijn als RAID 0. Schrijven is daarintegen langzamer, maar niet zo langzaam als men zou denken.
Diverse tests zijn uitgevoerd van de diverse mdadm RAID opties en over het algemeen komt RAID 10 met de “far layout” het beste uit de bus.

Software RAID is nooit een echte optie geweest in Windows. Om de systeemschijf in RAID te krijgen was altijd een hardware oplossing nodig, al was het maar de on-board semi-RAID controller.
Met server 2012 is er verandering in gekomen. Via de disk manager kan er een mirror gemaakt worden van de systeemschijf partities als er een lege, ongeformateerde schijf beschikbaar is.

Om de systeemschijf van Windows server 2012 in RAID1 te zetten;

Start diskmgmt.msc na een ongeformatteerde schijf beschikbaar te hebben.Windows_2012_RAID1_01

 

Klik met de rechtermuisknop op de eerste partitie en kies voor Add Mirror.Windows_2012_RAID1_02

 

Selecteer de juiste schijf.  Windows_2012_RAID1_03

 

Bevestig de conversie.

Windows_2012_RAID1_04

 

En de mirror verschijnt als volgt in de disk manager.Windows_2012_RAID1_05

 

Doe hetzelfde voor de partitie waar Windows op geïnstalleerd staat.Windows_2012_RAID1_06

Echter is het nog steeds niet hetzelfde als open source software RAID. Met een test van een virtuele machine bleek dat het aanmaken makkelijk was, echter als de originele schijf weg is blijft Windows tijdens de start vragen naar de schijf.
In plaats van automatisch omschakelen naar de kopie wordt geprobeerd om van de eerste schijf te starten en komt vervolgens een foutmelding en de vraag naar de installatieschijf voor opstartherstel.
Alleen als er tijdens het opstarten de tweede schijf gekozen wordt kan Windows verder gaan.
Het begin is er, maar helaas is de software RAID versie van Microsoft te beperkt om in te zetten voor de eigen systeemschijf.

Het goed aanmaken van een RAID set onder Linux is iets meer werk, maar dan werkt het wel zoals het hoort.

*Een aantal ideeën die ik nog kreeg tijdens het lezen van het materiaal;

-Hoe zou de snelheid zijn als i.p.v. een grote partitie meerdere kleinere partities gebruikt werden van RAID10,f2 met daarbovenop een LVM volume die deze weer combineert. Lezen iets langzamer en schrijven dan weer sneller?

-RAID10,2f emuleren door zelf de schijven in twee partities te verdelen en vervolgens elke eerste en tweede als RAID 1 te gebruiken. Dit zou een alternatief voor gebruik met Windows kunnen zijn.

 

Written by mnystrom

2015/02/17 at 22:56

OTRS stuff

leave a comment »

Disable quoting the original message when making an email reply to a ticket

Edit (after saving a copy of the original file) Kernel/Modules/AgentTicketCompose.pm.

It’s easiest to search for “wrote” in the file, then you get to the part starting with my $ResponseFormat = $Self->{ConfigObject}->Get(‘Ticket::Frontend::ResponseFormat’).

There you can disable any part between [] by adding a # at the start of the line. For instance:

my $ResponseFormat = $Self->{ConfigObject}->Get(‘Ticket::Frontend::ResponseFormat’)
|| ‘[% Data.Salutation | html %]
[% Data.StdResponse | html %]
[% Data.Signature | html %]

#[% Data.Created | Localize(“TimeShort”) %] – [% Data.OrigFromName | html %] [% Translate(“wrote”) | html %]:
#[% Data.Body | html %]
‘;

Save the file and check the reply format in a ticket.

 

Written by mnystrom

2015/01/27 at 12:32

Geplaatst in OTRS, software

Software virtualization cluster

We can set up a cluster with a virtual layer for operating systems and live migration, why not the same for programs?

Add a virtual layer between OS and programs and it would be possible to live migrate a running program from one cluster node to another, probably with less time and overhead than moving an entire OS, right?

 

Written by mnystrom

2012/11/19 at 14:33

Geplaatst in EN, software, virtual

Tagged with ,

Veilig surfen op internet

Veilig surfen op internet blijft toch moeilijk met de verschillende manieren waarop malware zich kan nestelen in het systeem.
Het kan komen door een lek in de browser zelf, maar ook door ondersteunende software zoals Java, Adobe Flash, PDF readers, etc., maar ook door het downloaden van die “handige” programmatjes die het zoeken makkelijker maken, of Windows versnellen, of leuke smilies vertonen bij tekst.

Anti-virus kan veel tegehouden, zolang het de dreiging maar herkend. Doet deze dat niet dan wordt de malware gewoon doorgelaten. Meestal houdt dit in dat er op 1 van de verschillende manieren waarop Windows automatisch programma’s start een verwijzing komt te staan naar het malware bestand. Eenmaal opgestart zorgt het er ook wel voor dat die verwijzing hersteld wordt mocht deze verwijderd worden.

Om dit gedrag tegen te houden moet dus voorkomen worden dat de malware in de eerste plaats het systeem kan aanpassen; geen verwijzing naar de malware in het systeem betekend dat deze dus ook niet opgestart wordt.

Om dit voor elkaar te krijgen zijn we bezig met twee oplossingen die een virtuele schil bouwen; een browser pakket waarin de belangrijkste onderdelen geïntegreerd zijn, en een pakket wat het hele systeem afschermd van de programma’s die draaien.

Het (Nederlandstalig) browserpakket verwijst alle wijzigingen die naar het systeem gaan om naar een aparte map, die worden dus niet in werkelijkheid uitgevoerd. Alleen binnen de browser is dit zichtbaar. Malware die hierin terechtkomt kan dan ook verwijderd worden door de map leeg te halen zodat de browser weer schoon opstart.

Het andere pakket schermt met uitzondering van specifiek aangegeven programma’s het hele systeem af. Programma’s worden uitgevoerd maar kunnen het systeem niet wijzigen, en hierbij kunnen ook bepaalde mappen met waardevolle gegevens tegen lezen beschermd worden.

Voor meer info over deze zaken neem contact op via info@mbitz.nl, of ga naar www.mbitz.nl.

Overigens zijn er nog meer mogelijkheden in bescherming op het gebied van virtualisatie en zelfs het gebruik van Linux i.p.v. Windows.

 

Written by mnystrom

2012/10/08 at 14:20

Opslag met integriteit controle

Regelmatig is al de vraag over de beste manier van opslag langsgekomen. Er zijn veel opties zoals harde schijven, de bekende tapes, branden op CD/DVD/etc., etc. Een belangrijk aspect is ook de houdbaarheid van data; iets wat nu opgeslagen wordt moet na vele jaren nog altijd leesbaar zijn. Ook veiligheid is belangrijk, bij brand moet niet alles kwijt zijn bijvoorbeeld.

Om dit alles voor elkaar te krijgen worden er drie opslag servers ingezet, elk met een complete kopie van alle data op harde schijf. De schijven draaien in RAID, naar wens 1, 5, 6, of 10.
De synchronisatie kan naar wens continue of 1 of meerdere keren per dag draaien.
Integriteit wordt gecontroleerd door een database van hashes van de bestanden op elke server met elkaar te vergelijken. De hashes kunnen ook continue of om de zoveel tijd gemaakt worden. Als er bij vergelijk 1 server van de drie afwijkt, dan kan (eventueel automatisch) het foute bestand overschreven worden door 1 van de twee andere. Eventueel kan dit bestand voordat het overschreven wordt nog op backup gezet worden.

Het verwijderen van data kan gedaan worden door het te verplaatsen naar een aparte directory waarbij het systeem hetzelfde uitvoert op de overige servers. Daarna kan het na bepaalde tijd permanent (eventueel weer na een aparte backup) verwijderd worden.

Het geheel is niet het eenvoudigste, maar het zorgt er wel voor dat de data goed bewaard blijft in geval van calamiteiten maar ook beschermd is tegen zogenaamde bitrot.

Written by mnystrom

2012/08/20 at 13:20

Geplaatst in backup, opslag

Tagged with , ,

ff onthouden; software ideetjes

Software tools om nog een keer te maken omdat er nog geen bestaan of de bestaande te oud zijn.

Stand-alone register monitor;

-Simpel tooltje wat wijzigingen in de opstartlocaties van Windows in de gaten houdt.
-Draait met en zonder GUI zodat het ook op o.a. Windows server Core kan draaien.
-Meldingen versturen via eventviewer, GUI dialog, email, etc..

 

Written by mnystrom

2012/08/06 at 09:00

Geplaatst in NL, software, Windows

Tagged with ,

Windows Deployment Services server

De punten die we hebben toegepast op onze Windows Deployment Services server (WDS) voordat we deze geschikt vonden om te gebruiken in ons bedrijf:

Meerdere Windows versies (logisch toch?);
-XP
-Vista
-7
-8 (binnenkort)

Overzichtelijkheid;
-Images en configuratie bestanden met duidelijke naam (geen waslijst van onduidelijke install-(….).wim namen)

Het belangrijkste, eenmalige configuratie voor volledige installatie;
-Na de PXE boot alle benodige info invoeren waarna de volledige installatie van de juiste versie van Windows en benodigde extra software zoals een office pakket, antivirus, etc. in 1 keer uitgevoerd wordt.
Niet elke keer inloggen op de server, een aparte XML aanmaken, na basis installatie nog een keer handmatig standaard software pakket installeren, etc.

Omdat we met diverse klanten te maken hebben moet de server flexibel genoeg zijn om een kale Windows te installeren en daarna afgeconfigureerd worden zonder dat er verder een vinger uitgestoken wordt. Voor vaste configuraties is het makkelijker, maar om het gros af te vangen is aardig wat werk om op te zetten.

ff onthouden: WDS dingetjes

WinPE 64 bit draait geen 32 bit progammas, hierbij komt de melding dat het juiste subsysteem niet gebruikt kan worden. Dat betekend het betreffende programma (in dit geval sed for Windows) opnieuw compileren voor x64.

Written by mnystrom

2012/07/03 at 13:43

Schijfletter wijzigen onder Windows

Normaal gesproken onthoud Windows welke letter toegewezen wordt aan een USB schijf/stick.
Als deze echter regelmatig verwisseld wordt dan kan het zijn dat de letter niet meer overeenkomt met de oorspronkelijke toewijzing. Dit kan problemen opleveren als de schijf een vaste locatie moet zijn voor bijvoorbeeld een backupprogramma.

In dat geval kan op de volgende manier de schijfletter aangepast worden;

Klik met de rechtermuisknop op Deze computer, daarna op Beheren in het menu.

Klik in de linkerlijst van het beheervenster op Schijfbeheer, daarna met de rechtermuisknop op de schijf waar de letter van gewijzigd moet worden. Klik in het menu op Stationsletter en paden wijzigen.

Klik op de knop wijzigen om een andere letter toe te wijzen.

Selecteer in de lijst een ongebruikte letter en klik op OK.

Bevestig de wijziging bij de waarschuwing.

Hierna moet de wijziging zichtbaar zijn in het schijfbeheer en kan het beheervenster gesloten worden.

 

Waarschijnlijk is het mogelijk om schijven automatisch de juiste letter te geven door middel van een script en taakbeheer, voor die mogelijkheid kijk op www.mbitz.nl om contact met ons op te nemen.

 

Written by mnystrom

2012/06/28 at 18:05

Geplaatst in hardware, MBitZ, NL, Windows

Tagged with , ,

ff onthouden; Microsoft dingetjes

CAPI2 error, certificaat fout;

Inhoud verwijderen van:
Localservice:
%windir%\ServiceProfiles\LocalService\AppData\LocalLow\Microsoft\CryptnetUrlCache\Content
%windir%\ServiceProfiles\LocalService\AppData\LocalLow\Microsoft\CryptnetUrlCache\MetaData

NetworkService:
%windir%\ServiceProfiles\NetworkService\AppData\LocalLow\Microsoft\CryptnetUrlCache\Content
%windir%\ServiceProfiles\NetworkService\AppData\LocalLow\Microsoft\CryptnetUrlCache\MetaData

LocalSystem:
%windir%\System32\config\systemprofile\AppData\LocalLow\Microsoft\CryptnetUrlCache\Content
%windir%\System32\config\systemprofile\AppData\LocalLow\Microsoft\CryptnetUrlCache\MetaData

NTbackup en blat;

Ntbackup logs kunnen niet rechtstreeks als body met blat verstuurd worden, eerst even met type de log kopiëeren naar een nieuw bestand.

DNS registratie van RAS/PPP adapter vermijden;

Windows SBS 2008 doet toch het IP adres registreren dat bij RAS hoort wat problemen kan veroorzaken voor lokale clients. Het volgende moet toegevoegd/aangepast worden in de registry;

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\DNS\Parameters\PublishAdresses (REG_SZ): alle ip adressen toevoegen (spatie voor scheiding) die geregistreerd moeten worden.

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Netlogon\Parameters\RegisterDnsARecords (REG_DWORD): 0.

Herstart DNS server en Netlogon services, eventueel A record toevoegen in DNS voor de server.

Written by mnystrom

2012/06/05 at 10:05

Geplaatst in MBitZ, NL, software

Tagged with ,

Volg

Ontvang elk nieuw bericht direct in je inbox.