-==<XTBA>==-

Windows ne demande jamais à Chuck Norris d'envoyer le rapport d'erreur. Bill Gates vient le chercher lui même, avec toutes ses excuses.
Nous sommes le ven. 29 mars 2024, 14:10

Heures au format UTC+03:00




Poster un nouveau sujet  Répondre au sujet  [ 330 messages ]  Aller à la page Précédente 1 2 3 4 5 614 Suivante
Auteur Message
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:01 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
juste pour l'adaptec sous ubuntu

Code :

Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
   Controller Status                        : Optimal
   Channel description                      : SAS/SATA
   Controller Model                         : Adaptec 6805E
   Controller Serial Number                 : 1107119296B
   Physical Slot                            : 5
   Temperature                              : 48 C/ 118 F (Normal)
   Installed memory                         : 128 MB
   Copyback                                 : Disabled
   Background consistency check             : Disabled
   Automatic Failover                       : Enabled
   Global task priority                     : High
   Performance Mode                         : Default/Dynamic
   Stayawake period                         : Disabled
   Spinup limit internal drives             : 0
   Spinup limit external drives             : 0
   Defunct disk drive count                 : 0
   Logical devices/Failed/Degraded          : 8/0/0
   NCQ status                               : Enabled
   Statistics data collection mode          : Enabled
   --------------------------------------------------------
   Controller Version Information
   --------------------------------------------------------
   BIOS                                     : 5.2-0 (18512)
   Firmware                                 : 5.2-0 (18512)
   Driver                                   : 1.1-7 (28000)
   Boot Flash                               : 5.2-0 (18512)


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:02 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Code :
Spinup limit internal drives             : 0

ça pourrait être bien de le mettre à 4 si c'est en secondes :)

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:04 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
bah les disques démarrent pas avec le spinup comme j'ai pas de backplane ils sont directement alimentés électriquement à la mise sous tension :)
à moins que j'ia pas compris le réglage et son utilité [fier.gif]

edit : sinon la conf sous storman
Image


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:06 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Aussi : un site de benchmark ZFS

=> FeeNas vs OpenSolaris vs Nexanta vs Promise VT : http://www.zfsbuild.com/2010/09/10/free ... enchmarks/

Image


=> Zpool striped mirrored vdev’s (similar to RAID10) : http://www.zfsbuild.com/2010/06/03/howt ... iguration/

Code :
20 Drives Mirrored Vdev’s (2 drives mirrored, 10 sets of drives striped together)

Random Read/Write (randomrw test)
IO Summary: 1581822 ops 158173.0 ops/s, 98617/59556 r/w 1235.6mb/s, 15uscpu/op

Varmail
IO Summary: 214671 ops 5366.0 ops/s, 825/826 r/w 19.4mb/s, 140uscpu/op

20 Drives Mirrored Vdev’s with two Intel X25E ZIL drives (mirrored)

Random Read/Write (randomrw test)
IO Summary: 6230755 ops 155758.9 ops/s, 96568/59190 r/w 1216.8mb/s, 16uscpu/op

Varmail
IO Summary: 1500998 ops 37522.5 ops/s, 5773/5773 r/w 135.8mb/s, 93uscpu/op

20 Drives Mirrored Vdev’s with two Intel X25E ZIL drives (mirrored) and 2 Intel X25M-G2 cache drives

Random Read/Write (randomrw test)
IO Summary: 6295204 ops 157373.8 ops/s, 97506/59868 r/w 1229.5mb/s, 15uscpu/op

Varmail
IO Summary: 1489818 ops 37243.4 ops/s, 5730/5730 r/w 134.5mb/s, 93uscpu/op


=> Create Striped RAIDZ Nested Zpool (similaire to Raid 50) : http://www.zfsbuild.com/2010/06/03/howt ... ted-zpool/

Image


... le gars dit :

Citation :
We prefer RAID10 (striping + mirroring) over RAID5 (RAIDz) and RAID50 (striping + RAIDz) due to improved write performance.

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:21 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
si je reprend ce que j'ai dis plus tot

3-disk RAID-Z = 128KiB / 2 = 64KiB = good
4-disk RAID-Z = 128KiB / 3 = ~43KiB = BAD!
5-disk RAID-Z = 128KiB / 4 = 32KiB = good
9-disk RAID-Z = 128KiB / 8 = 16KiB = good


donc je refais car j'étais dans le cas 4 .. pas bon on va voir si c'est mieux à 5

root@ZFSserver:/# zpool create -o ashift=12 pool1 raidz /dev/sd[efghi]
root@ZFSserver:/# zfs create pool1/test
root@ZFSserver:/# cd /pool1/test/

Code :
root@ZFSserver:/pool1/test# dd if=/dev/zero of=temp.test bs=1024 count=1000000
1024000000 octets (1,0 GB) copiés, 10,7865 s, 94,9 MB/s

root@ZFSserver:/pool1/test# dd if=temp.test of=/dev/null
1024000000 octets (1,0 GB) copiés, 8,54662 s, 120 MB/s


cpa bien mieux mais je pense toujours que c'est ma limite cpu qui fait chier :/

regarde pendant l'écriture :
Image


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:24 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Citation :
cpa bien mieux mais je pense toujours que c'est ma limite cpu qui fait chier :/

tu as peut être le truc de compression de fichier ... il est dit qu'il faut le paramétrer à 1.4 pour avoir bonne perf et ne pas buriner le CPU.

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:25 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
de base peut etre mais dans le zpool create et le zfs create j'ai rien spécifié


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:27 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
Code :
root@ZFSserver:/# sar -o cpu.out 10 1
Linux 3.0.0-12-generic (ZFSserver)      27/10/2011      _x86_64_        (4 CPU)

23:24:40        CPU     %user     %nice   %system   %iowait    %steal     %idle
23:24:50        all      0,00      0,00      0,05      0,08      0,00     99,87
Moyenne :       all      0,00      0,00      0,05      0,08      0,00     99,87



Code :
root@ZFSserver:/# sar -o cpu.out 10 1
Linux 3.0.0-12-generic (ZFSserver)      27/10/2011      _x86_64_        (4 CPU)

23:25:27        CPU     %user     %nice   %system   %iowait    %steal     %idle
23:25:37        all      0,50      0,00     27,49      0,10      0,00     71,90
Moyenne :       all      0,50      0,00     27,49      0,10      0,00     71,90
root@ZFSserver:/#



premier résultat sans dd deuxieme test avec dd

%user+%nice+%system < 80% no CPU bottleneck bizarre

faut que je test sur plus long comme période



sur 1 min avec dd qui tourne
Code :
Linux 3.0.0-12-generic (ZFSserver)      27/10/2011      _x86_64_        (4 CPU)

23:27:33        CPU     %user     %nice   %system   %iowait    %steal     %idle
23:27:43        all      0,55      0,00     29,79      0,18      0,00     69,48
23:27:53        all      0,50      0,00     30,38      0,08      0,00     69,04
23:28:03        all      0,58      0,00     30,79      0,05      0,00     68,58
23:28:13        all      0,47      0,00     30,10      0,10      0,00     69,33
23:28:23        all      0,33      0,00     29,10      0,08      0,00     70,49
23:28:33        all      0,42      0,00     26,73      0,05      0,00     72,80
Moyenne :       all      0,48      0,00     29,47      0,09      0,00     69,96
root@ZFSserver:/#


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:45 
Hors ligne
Avatar de l’utilisateur

Enregistré le : ven. 3 oct. 2008, 20:11
Messages : 19455
Pseudo Boinc : [XTBA>TSA] Biour
Localisation : Grenoble
y'a pas un temps de construction? comme sur raid 5 par ex

_________________
Forever Qlimax Addict!
Image
Image

Hardcore Will Never DIe.


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 00:56 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
pas à la construction
juste à la reconstruction et ça dépend de ton taux d'utilisation


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 01:17 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
dernier test de la soirée :whistle: :pt1cable: :D

j'ai un fichier de 1.1Go (vidéo en local sur mon pc)

j'ai configuré le serveur ZFS de la facon suivante

pool1= Raidz 4*2To + Raidz 4*2To ashift=12 (donc alignement 4k)

Code :
root@ZFSserver:/# zpool status
  pool: pool1
 state: ONLINE
 scan: scrub repaired 0 in 0h0m with 0 errors on Fri Oct 28 00:01:35 2011
config:

        NAME        STATE     READ WRITE CKSUM
        pool1       ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            sdb     ONLINE       0     0     0
            sdc     ONLINE       0     0     0
            sdd     ONLINE       0     0     0
            sde     ONLINE       0     0     0
          raidz1-1  ONLINE       0     0     0
            sdf     ONLINE       0     0     0
            sdg     ONLINE       0     0     0
            sdh     ONLINE       0     0     0
            sdi     ONLINE       0     0     0



j'ai créé un espace ZFS par dessus nommé pool1/samba

Code :
root@ZFSserver:/# zfs create pool1/samba


un peu de tweak sur le ZFS (merci augur pour la piste j'y avais pas pensé sur le coup ;) )

Code :
root@ZFSserver:/# zfs set atime=off pool1
root@ZFSserver:/# zfs set compression=off pool1


normalement c'est récursif avec ma config mais dans le doute
Code :
root@ZFSserver:/# zfs set compression=off pool1/samba
root@ZFSserver:/# zfs set atime=off pool1/samba


on partage le tout sous samba (je passe la conf samba)
en prenant soin de bien faire un smbpasswd poulpito pour changer le mot de passe samba (donw windows) de poulpito

on file les droits à poulpito au dossier pool1/samba
Code :
root@ZFSserver:/# chown -Rf poulpito:poulpito /pool1/samba


et au final on a ça de dispo

Code :
root@ZFSserver:/# df -H
Sys. de fichiers             Taille  Util.  Disp. Uti% Monté sur
/dev/sda1              152G   2,2G   142G   2% /
udev                   3,2G   4,1k   3,2G   1% /dev
tmpfs                  1,3G   717k   1,3G   1% /run
none                   5,3M   4,1k   5,3M   1% /run/lock
none                   3,2G      0   3,2G   0% /run/shm
pool1                   12T   132k    12T   1% /pool1
pool1/samba             12T   132k    12T   1% /pool1/samba


et le disque peut être monté via samba sous windows

Maintenant donc mon fichier de 1.1Go en local sur windows je l'envoi sur O: qui est mon partage ZFS
=> écriture stable à 80mo/sec en gros (79 à 85mo/Sec sur la durée totale)

On copie depuis O: vers le disque local
=> lecture stable à 90/100 Mo/sec ( en gros)

donc :sante: on sature le gigabyte [fier.gif] :dance2: :bounce

:whistle1:


et mieux que samba sur mdadm que ce soit avec raid5 8*1To ou raid5 4*2To
si je fais la même chose avec ces partages
j'ai en gros en écriture
35mo/sec sur les 1To et 50mo/sec sur les 2To

pour la lecture pareil samba+mdadm est légèrement en retrait alors qu'il n'y a pas de différence dans le lien giga ou le linux


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 01:19 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Fichiers Multimedia

XFS ou ZFS ?
=> http://hardforum.com/showthread.php?t=1593111

ZFS
=> http://forums.sagetv.com/forums/showthread.php?t=57024

Citation :
So, I just installed a new combination home workstation / sagetv server with 16GB RAM on Ubuntu 11.10 x86_64 + Native ZFS, 3x Hitiachi "green" 3TB drives. The l2-arc is on a 32GB partition of a Crucial M4 CT064M4SSD2 SSD

The big problem that I had was that the stupid linux page caching algorithms always decided last nights ~20-30Gb of recordings were more important than my mailer, my web browser, my X11 server, and everything else. So in the morning, it would take ~90 seconds to page in everything I cared about. I tried running with no swap, I tried setting vm.swappiness to every value imaginable, but no joy. Running without swap would occasionally lead to the OOM killer nuking my web browser if I had to start up a VM during the workday, and none of the swappiness settings had any impact.

Back in the old days, DEC OSF/1 (later Tru64) had a tunable (ubc.maxpercent) that would limit the amount of RAM that could be used as a disk cache. You could set this to something like 25, and never have to worry about the kind of problem I was having.

Enter ZFS... On my new system, I'm using native ZFS (from http://zfsonlinux.org/ via the PPA on that page) for my /home and for video / recording directories. With ZFS, you can do cool stuff like:

1) Limit the cache size
2) Disallow file and/or metadata caching on a per fs basis
3) Use an SSD to make a huge cache.


1) limited ARC (zfs page cache) to 4GB via this line
Code :
/etc/modprobe.d/zfs.conf
options zfs zfs_arc_max=4294967296 zfs_vdev_cache_size=536870912


2) disallowed the video files from being stored in the page cache
Code :
zfs set primarycache=metadata tank/video
zfs set secondarycache=metadata tank/video


3) configured a small 32GB SSD as an L2ARC (secondary page cache)
Code :
ZIL : zpool add datas log nom du SSD|partition
L2ARC : zpool add datas cache nom du SSD|partition

.... Benchmark ZFS & L2ARC
=> http://blogs.oracle.com/brendan/entry/l2arc_screenshots
=> http://blogs.oracle.com/brendan/entry/test
=> http://serverfault.com/questions/166968/zfs-with-l2arc-ssd-slower-for-random-seeks-than-without-l2arc
=> http://www.anandtech.com/Show/Index/396 ... nchmarking

My config looks like:

# zpool status
pool: tank
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
sdb ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
cache
sda3 ONLINE 0 0 0

errors: No known data errors

# zfs list
NAME USED AVAIL REFER MOUNTPOINT
tank 2.03T 3.30T 7.08G /tank
tank/home 185G 4.11T 185G /home
tank/video 1.02T 3.30T 1.02T /video


Citation :
After recording 2 NFL games and a movie this afternoon (well more than the 16GB RAM in the box), the machine is still as snappy as ever, and has over 6GB free (~5GB used by ZFS, ~5GB used by everything else)


Citation :
With 3 days under my belt, native ZFS seems blindingly fast so far. For raidz-1 with a tiny SSD l2-arc, I'm seeing 210MB/sec reads and 160MB/sec writes.


Intelligent à faire pour un Home serveur :
    => suivre en temps réel l'utilisation de la pool
Code :
zpool iostat -v -s data

    => savoir quotidiennement si tout se passe bien,
Code :
echo 'daily_status_zfs_enable="YES"' >> /etc/periodic.conf

    => savoir ponctuellement
Code :
zpool status


    => Photos, vidéo musique : désactiver le "time update" ... perso, je m'en fout de savoir quand j'ai accédé précédemment au fichier !!
Code :
zfs set atime=off datas


    => Photos : option de déduplication et compression
Code :
zfs set compression=on datas/photos
zfs set dedup=on datas/photos
zfs set copies=2 datas/photos


    => Vidéo : désactiver compression, déduplication et snapshot
Code :
zfs set compression=off datas/films
zfs set dedup=of datas/films
zfs set com.sun:auto-snapshot=false rpool/data/films


    => Musique : désactiver le checksumming
Code :
 zfs create datas/musique
   zfs set checksum=off datas/musique
   zfs set sharenfs=on datas/musique






++

_________________
Image

Kévin, sor deux sec or !!


Modifié en dernier par augur le sam. 29 oct. 2011, 23:19, modifié 10 fois.

Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 28 oct. 2011, 01:49 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
pour info le scrub je viens de le lancer avec 3Go utilisé sur le montage

et en gros ca me donne un truc comme ça :


Code :
root@ZFSserver:/home/poulpito# zpool status
  pool: pool1
 state: ONLINE
 scan: scrub in progress since Fri Oct 28 00:48:49 2011
    3,53G scanned out of 4,13G at 517M/s, 0h0m to go
    0 repaired, 85,62% done
config:

        NAME        STATE     READ WRITE CKSUM
        pool1       ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            sdb     ONLINE       0     0     0
            sdc     ONLINE       0     0     0
            sdd     ONLINE       0     0     0
            sde     ONLINE       0     0     0
          raidz1-1  ONLINE       0     0     0
            sdf     ONLINE       0     0     0
            sdg     ONLINE       0     0     0
            sdh     ONLINE       0     0     0
            sdi     ONLINE       0     0     0

errors: No known data errors


la je lui balance 110Go pour voir la durée
sur ce dodo time vraiment sinon demain jvai être à la ramasse [fier.gif]

au rythme ou il reconstruit enfin scrub plutot
faut compter 2sec / giga
donc pour un volume de 12To plein -> 12288Go -> 410min -> quasi 7h


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : sam. 29 oct. 2011, 13:53 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
[people]
La Dieu de ZFS & Debian
=> http://in.linkedin.com/pub/vikram-jadhav/14/89/94

... et sa muse
=>> http://in.linkedin.com/pub/harshada-sangale/29/288/406
[/people]

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : sam. 29 oct. 2011, 14:17 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
ZFS Performance – RAIDZ vs RAID 10

Citation :
Yesterday we looked at RAID 10 (stripe of mirrors) performance in ZFS. We sacrificed a lot of usable capacity to cluster the twenty drives in mirrored sets. Today we’ll setup the drives in a series of raidz stripes, and see what type of performance trade-offs we make for the extra usable space.

For this test we setup the 20 drives in four raidz virtual devices of five drives each. This yields an overall parity-to-data ratio of 1:4, or 25%. This means that one fifth of our drive capacity is used for parity.


Code :
sa@quasar:~$ zpool status -v tank
  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c7t0d0  ONLINE       0     0     0
            c7t1d0  ONLINE       0     0     0
            c7t2d0  ONLINE       0     0     0
            c7t3d0  ONLINE       0     0     0
            c11d1   ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c7t4d0  ONLINE       0     0     0
            c7t5d0  ONLINE       0     0     0
            c7t6d0  ONLINE       0     0     0
            c7t7d0  ONLINE       0     0     0
            c12d1   ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c8t0d0  ONLINE       0     0     0
            c8t1d0  ONLINE       0     0     0
            c8t2d0  ONLINE       0     0     0
            c8t3d0  ONLINE       0     0     0
            c13d0   ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c8t4d0  ONLINE       0     0     0
            c8t5d0  ONLINE       0     0     0
            c8t6d0  ONLINE       0     0     0
            c8t7d0  ONLINE       0     0     0
            c14d0   ONLINE       0     0     0

errors: No known data errors


Let’s first do our standard 100gb write test.

Code :
sa@quasar:~$ time (mkfile 100g /tank/foo)

real    2m29.438s
user    0m0.336s
sys     0m40.903s


Citation :
This yields a write performance of 669 MB / sec; faster than the RAID10 result of 458 MB / sec. This can be attributed to spreading the workload over more devices, as only 6.25 GB was written to each drive. The stripe of mirrors required that 10 GB be written to each drive. The limiting factor for throughput is still the PCI-X bus, which wrote 836 MB / sec of total information (data + parity) in order to support the payload of 669 MB / sec of data. (669 x 1.25 due to a 4:1 data to parity ratio.)

The following output compares the filebench results from yesterday’s RAID 10 configuration with today’s 5×4 raidz configuration:


Code :
raidz     5x4     rand-read1                273ops/s   4.3mb/s     14.6ms/op      114us/op-cpu
raid10   10x2     rand-read1                412ops/s   6.4mb/s      9.7ms/op       65us/op-cpu


Citation :
Operations per second dropped from 412 to 273, a drop of nearly 34% in performance for small random reads. This is because more devices had to participate in each individual read operation, reducing the speedup possible through parallel reads, as is possible with mirrors.

That’s all for today, but please stay tuned. Next week we’ll compare raidz1 and raidz2 performance, compare various configurations of device clustering (one large stripe, vs two stripes, vs four), and look into how performance scales with the number of devices by growing a stripe one drive at a time.


=> http://www.stringliterals.com/?p=161

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : sam. 29 oct. 2011, 19:17 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Articles fort sympathique :

Zpool et performances 30 août 2010
=> http://www.synergeek.fr/zpool-et-performances/

+ WHEN TO (AND NOT TO) USE RAID-Z 31 mai 2006
=> http://blogs.oracle.com/roch/entry/when_to_and_not_to

ZFS, XFS et Ext4 : comparaisson des performances

=> http://www-958.ibm.com/software/data/co ... ms-compa/1

// ZFS et la performance Vendredi 24 avril 2009
=> http://solaris-ldoms.over-blog.com/arti ... 18324.html


++

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 30 oct. 2011, 16:28 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Je suis sur HardForum

Nous sommes le 30.10.2011 et à l'heure actuelle il est dit :
/!\ ZFS deduplication is broken. Never use it until it is fixed. Beware. /!\


:sad: :pfff:


++

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : lun. 31 oct. 2011, 04:17 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
GUI pour OpenSolaris / OpenIndiana
=> Napp-It => http://www.napp-it.org/napp-it/all-in-one/index_en.html

Image

=> SANtools => http://www.santools.com/smartmonux.html

Image

Image

=> Mesa => http://submesa.com/mesa

Image

++

_________________
Image

Kévin, sor deux sec or !!


Modifié en dernier par augur le ven. 4 nov. 2011, 21:55, modifié 1 fois.

Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mar. 1 nov. 2011, 11:53 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Cartes compatibles
Image


Méthode pour flasher IBM m1015, LSI 9240-8i, Intel RS2WC080 (SAS2008 SATAIII) controllers en IT-mode
1. => http://hardforum.com/showpost.php?p=103 ... stcount=60

Citation :
http://www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/3.03_2008_Solaris_Driver.zip

Is what I used and it appears to work without issue. That's the LSI Solaris 10 driver directly from LSI's website.

Step by step of how to Install the M1015 in Solaris 11 Express

-logon then do a su root
-now that you're in root browse to the tmp folder
-do a mkdir lsi
-cd lsi
-wget http://www.lsi.com/downloads/Public/Meg ... Driver.zip
-unzip 3.03_2008_Solaris_Driver.zip
-do a ls you'll see two files a componets tgz and a txt file
-tar -zxvf components.tgz
-you'll see 4 additional files extracted. of which the imr_sas.Z is the one we need
-uncompress imr_sas.Z you'll now see a file called imr_sas
-unzip imr_sas a fairly large number of files will be extracted into the directory imrsas
-don't cd anywhere to check just run the following command
-pkgadd -d . <-- notice the .
-you'll be prompted to install the
The following packages are available:
1 imrsas LSI MegaRAID FALCON SAS 2.0 HBA driver
(i386) 03.03.00
-just hit enter which is default which is all
-reboot
You're set.


Before doing the above driver install I did a firmware flash on the controller. Having done so all the drives appear as JBOD in the M1015 controller. You can set them to JBOD or unconfigured. Given that I see no reason to go through the hoops to flash to a 9211 IT firmware.. unless I'm missing something.

Flashed the M1015 using a DOS bootable USB key. Available from
http://www.biosflash.com/e/bios-boot-usb-stick.htm It's a HP utility in which you format a USB key to have the bootable DOS files. There's a directory in the package that you'll point it to with those DOS files for the format to be successful. See that linked page for the step by step instructions. On creating the bootable USB disk.

The LSI firmware I used was
http://www.lsi.com/downloads/Public/Meg ... 4-1235.zip

MegaRAID Firmware - (MegaRAID Release 4.6) for: 9240-4i, 9240-8i.
Version: 20.10.1-0037 (APP-2.120.54-1235)
Apr 15, 2011

Download that to your pc where you're creating the bootable USB and copy over the IMR_FW.ROM along with the MegaCli.exe file in the following zip from the IBM page. Yes, LSI doesn't list a DOS MegaCLI on the 9240 downloads area. Not sure why. IBM one works just fine.
http://www-947.ibm.com/support/entry/po ... GR-5082315
Version: V8.00.48
Release Date: 2011-04-25

ibm_utl_sraidmr_megacli-8.00.48_dos_i386.zip

Now you've got the USB floppy loaded up with the firmware image, dos boot files, MegaCli application.
Reboot server/box with USB drive plugged in. it'll bring you to a DOS prompt.

Run
MegaCli -AdpAllInfo -aAll
This shows you adapter details, it is likely a0 if you've only the one LSI controller in your server/box if it's anything other than a0 change the below command to represent it
MegaCli -adpfwflash -f imr_fw.rom -NoVerChk -a0
That will flash your M1015 adapter

Sorry for being long winded but I know this will help people looking to do what I've done. Which is use the IBM M1015 under Solaris 11 Express


2. => http://lime-technology.com/forum/index. ... #msg124393

Citation :
First off, create a standard bootable DOS USB Flash Drive.

Download and unpack tools from http://www.mediafire.com/?x1t5z0qyohnhopf to USB flash root directory.

System req: ONLY ONE LSI card in your system at reflash time!!!


Boot from USB Flash Drive Smiley


1. Save original sbr (serial boot rom) - i have only original IBM 1015 sbr file, another (intel/LSI) controller users, pls, upload and share
your sbr files in this forum!


Megarec -readsbr 0 backup.sbr


2. Write clean sbr file to controller:


megarec -writesbr 0 empty.bin


3. Erase controller Flash (Yes, this is safe procedure)

megarec -cleanflash 0


4. Power cycle your system (yes, no boot-time bios screen appear, this is normal)


5. Reflash controller to IT-mode.

sas2flsh -o -f 2108it.bin -b mptsas2.rom

6. Program SAS address in IT-mode:

sas2flsh -o -sasadd 500605bxxxxxxxxx

where "500605bxxxxxxxxx" SAS address from small green sticker on yor card, without "-"

All done Smiley


Pros: You have low-cost(65$ on ebay), fast, high-quality LSI 9210-8i Unraid 5.6a+ compatible controller. IT-mode Wink

http://lsi.com/storage_home/products_ho ... index.html



Cons:


1. No hdd spindown.

Workaround:

add "hdparm -S242 /dev/sdX" in boot script and poweroff.sh (program spindown after wake-on)


2. Hdd Temp/Smart att. do not show in Unmenu/Mymain

Workaround: find and delete all strings

"-d ata" from "smartctl -a -d ata" in unmain scripts


==============================================================


It is possibly to re-flash controller back?
Yes.


Megarec -writesbr 0 m1015.bin

Download LSI 9240-8i firmware from lsi site: http://lsi.com/storage_home/products_ho ... index.html
Extract imr_fw.rom file.

MegaRec -m0flash 0 imr_fw.rom

Power cycle your system

Megacli -adpfacdefset -a0

Rreboot

Waaaaiiiittt (about ~3 min frosen boot-screen)

All done!

Edit, FAQ, etc. are welcome....

_________________
Image

Kévin, sor deux sec or !!


Modifié en dernier par augur le mer. 16 nov. 2011, 02:59, modifié 2 fois.

Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 6 nov. 2011, 14:08 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
GlusterFS sur du ZFS !!
=> http://www.bauer-power.net/2011/08/roll ... uster.html

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 6 nov. 2011, 14:37 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Maximum de disque

RaidZ : aux max 8 disques ou 9 disques (en Advanced Format)
RaidZ2 : au max 9 disques ou 10 disques (en Advanced Format)

=> http://forums.freebsd.org/showthread.php?t=4641
=> http://forums.freebsd.org/showthread.php?t=3689

Exemple ici, avec 24x 500 Go :

The drives are added to a ZFS pool as 3 separate 8-drive raidz2 vdevs, as follows:
Code :
# zpool create storage raidz2 label/disk01 label/disk02 label/disk03 label/disk04 label/disk05 label/disk06 label/disk07 label/disk08
# zpool add    storage raidz2 label/disk09 label/disk10 label/disk11 label/disk12 label/disk13 label/disk14 label/disk15 label/disk16
# zpool add    storage raidz2 label/disk17 label/disk18 label/disk19 label/disk20 label/disk21 label/disk22 label/disk23 label/disk24


This creates a "RAID0" stripe across the three "RAID6" arrays. The total storage pool size is just under 11 TB.

Code :
# zpool status
  pool: storage
 state: ONLINE
 scrub: none requested
config:

        NAME              STATE     READ WRITE CKSUM
        storage           ONLINE       0     0     0
          raidz2          ONLINE       0     0     0
            label/disk01  ONLINE       0     0     0
            label/disk02  ONLINE       0     0     0
            label/disk03  ONLINE       0     0     0
            label/disk04  ONLINE       0     0     0
            label/disk05  ONLINE       0     0     0
            label/disk06  ONLINE       0     0     0
            label/disk07  ONLINE       0     0     0
            label/disk08  ONLINE       0     0     0
          raidz2          ONLINE       0     0     0
            label/disk09  ONLINE       0     0     0
            label/disk10  ONLINE       0     0     0
            label/disk11  ONLINE       0     0     0
            label/disk12  ONLINE       0     0     0
            label/disk13  ONLINE       0     0     0
            label/disk14  ONLINE       0     0     0
            label/disk15  ONLINE       0     0     0
            label/disk16  ONLINE       0     0     0
          raidz2          ONLINE       0     0     0
            label/disk17  ONLINE       0     0     0
            label/disk18  ONLINE       0     0     0
            label/disk19  ONLINE       0     0     0
            label/disk20  ONLINE       0     0     0
            label/disk21  ONLINE       0     0     0
            label/disk22  ONLINE       0     0     0
            label/disk23  ONLINE       0     0     0
            label/disk24  ONLINE       0     0     0


Code :
# zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
storage                10.9T   5.11T   5.76T    47%  ONLINE     -

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 6 nov. 2011, 15:10 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
ca ne fait strictement aucune diff 7-8-9 ou 10 regarde mon test :)


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 6 nov. 2011, 15:57 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
poulpito a écrit :
ca ne fait strictement aucune diff 7-8-9 ou 10 regarde mon test :)

... la question n'est pas là ! :)

C'est juste ZFS qui gère mal plus de 10 disques... en RaidZ
=> les perf I/O et écriture s'écroulent si plus de 10 HDD
=> reconstruction du RaidZ en cas de défaillance d'un disque met des plombe si > 10 disques

cf : http://forums.anandtech.com/showpost.ph ... ostcount=4

Citation :
For 4K sector drives you should adhere to these recommended disk sizes:

RAID-Z: 3 or 5 disks
RAID-Z2: 6 or 10 disks

Making groups of x disks means you have multiple vdevs, like:

vdev1: RAID-Z2 of 10 disks
vdev2: RAID-Z2 of 10 disks

A mirror is not that secure; it would not survive one failure + uBER; RAID-Z2 would.

Regarding random IOps; the more vdevs the higher your IOps performance. But generally, you can get alot more speed by opting for an SSD to function as SLOG and L2ARC. This will accelerate both random read and random write, and let's the HDD focus on sequential I/O so that means massive speedups.

The problem is: you need an SSD with supercapacitor to use it as SLOG disk safely. That means one of the following:
- Intel G3
- Marvell C400
- Sandforce SF2000 enterprise family (like Vertex 3 Pro)

Each of these should have a supercapacitor, making the SLOG feature relatively safe to use. Without supercapacitor, a corrupted SLOG could kill your entire pool. SSDs corrupt easily on unclean shutdowns; be careful with powering down. SSDs can die instantly if they are powered down on the wrong moment.


Quid avec 10 HDD de 2x vdev de 5 HDD RaidZ strippés ? :)

++

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 13 nov. 2011, 15:53 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
How to improve ZFS performance (8 novembre 2011)

=> http://icesquare.com/wordpress/how-to-i ... rformance/

Tweaking the Boot Loader

Many people complains about ZFS for its stability issues, such as kernel panic, reboot randomly, crash when copying large files (> 2GB) etc. It has something to do with the boot loader settings. By default, ZFS will not work smoothly without tweaking the system parameters system. Even FreeBSD claims that no tweaking is necessary for 64-bit system, my ZFS crashes very often when copying large file. After trial and error for many times, here is my formula. You can tweak your boot loader (/boot/loader.conf) using the following parameters:

Code :
#I have 8G of Ram

vfs.zfs.prefetch_disable=0

#If Ram = 4GB, set the value to 512M
#If Ram = 8GB, set the value to 1024M
vfs.zfs.arc_min="1024M"

#Ram x 0.5 - 512 MB
vfs.zfs.arc_max="3584M"

#Ram x 2
vm.kmem_size_max="16G"

#Ram x 1.5
vm.kmem_size="12G"


Don’t forget to reboot your system after making any changes. After changing to the new settings, the writing speed goes from 60MB/s to 80MB/s. That’s a 33% improvement!


Use disks with the same specifications

A lot of people may not realize this computer problem. Mixing different disk of different models/manufacturers can bring performance penalty. For example, if you are mixing a slower disk (e.g., 5900 rpm) and a faster disk(7200 rpm) in the same virtual device (vdev), the overall speed will depend on the slowest disk. Also, different harddrives may have different sector size. For example, Western Digital releases a harddrive with 4k sector, while the general harddrive is 512 byte. Mixing harddrives with different sectors can bring performance penalty too. Here is a quick way to check the model of your harddrive:

Code :
sudo dmesg | grep ad


Got a faster device? Why not using it for ZFS Logging/Caching?


Suppose you have a very fast SSD harddrive. You can use it for logging/caching the data for your ZFS pool.

To improve the reading performance:

Code :
sudo zpool add 'zpool name' cache 'ssd device name'

To improve the writing performance:

Code :
sudo zpool add 'zpool name' log 'ssd device name'

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : lun. 14 nov. 2011, 20:50 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
NEWS : Core i3, i5, i7 en LGA 1155 ... Sandy Bridge donc => Supporte mémoire ECC non Reg

++

_________________
Image

Kévin, sor deux sec or !!


Haut
   
Afficher les messages postés depuis :  Trier par  
Poster un nouveau sujet  Répondre au sujet  [ 330 messages ]  Aller à la page Précédente 1 2 3 4 5 614 Suivante

Heures au format UTC+03:00


Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 1 invité


Vous ne pouvez pas poster de nouveaux sujets
Vous ne pouvez pas répondre aux sujets
Vous ne pouvez pas modifier vos messages
Vous ne pouvez pas supprimer vos messages
Vous ne pouvez pas joindre des fichiers

Rechercher :
Aller à :  
cron
Développé par phpBB® Forum Software © phpBB Limited
Traduit par phpBB-fr.com