-==<XTBA>==-

Windows ne demande jamais à Chuck Norris d'envoyer le rapport d'erreur. Bill Gates vient le chercher lui même, avec toutes ses excuses.
Nous sommes le dim. 28 avr. 2024, 20:30

Heures au format UTC+03:00




Poster un nouveau sujet  Répondre au sujet  [ 330 messages ]  Aller à la page Précédente 14 5 6 7 814 Suivante
Auteur Message
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mer. 21 mars 2012, 18:26 
Hors ligne

Enregistré le : mer. 3 févr. 2010, 01:11
Messages : 23
Youpla,

Bon allez, je me bouge enfin... De vos expériences, vous conseillez quoi comme OS pour tirer un maximum parti de ZFS ?

Toujours pas d'extension des zpools ? :/ et toujours un maximum conseillé de 8( ou 10 je sais plus) disques par pool ?


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mer. 21 mars 2012, 20:05 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
maximum conseillé bah apres au plus tu en mets au plus tu as de risque de perte
tu peux très bien faire un seul raidz de 20 disques ... y'en aura qu'un pour sauver le lot pour ca que je reste en groupe de 5 par raidz et deux raidz par pool

maximum parti ... solaris puisque c'est fait par solaris :)

a titre perso ubuntu + portage zfsonlinux via les depots :)


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : lun. 9 avr. 2012, 23:30 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : mar. 7 oct. 2008, 17:05
Messages : 9914
Pseudo Boinc : [XTBA>XTC] ZeuZ
Localisation : Devant mon écran
J'ai vu qu'il y'a une nouvelle version de zfs on linux, la RC8, t'as mis à jour ta version poulpi? Ca se fait via un apt-get update? Pas de soucis particulier lors de la MAJ?

_________________
Image


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mar. 10 avr. 2012, 00:03 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
non je touche pas à la version tant que ça marche
il faudra que je bricole quelques tests avant et surtout backup de mon disque de VM :whistle:


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mar. 10 avr. 2012, 00:41 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : mar. 7 oct. 2008, 17:05
Messages : 9914
Pseudo Boinc : [XTBA>XTC] ZeuZ
Localisation : Devant mon écran
Ok, tu nous tiendras au jus [:rideau]

_________________
Image


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mer. 11 avr. 2012, 20:53 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : mar. 7 oct. 2008, 17:05
Messages : 9914
Pseudo Boinc : [XTBA>XTC] ZeuZ
Localisation : Devant mon écran
Poulpi I need help [:rideau]

J'ai un soucis avec le montage automatique de mon raidz :/ , après avoir changer un disque pour agrandir le raidz (option auto expand ON) il fait bien le scrub, il prend bel et bien en compte la taille du disque et augmente la taille de l'array

Par contre si je fais un dh -f il apparait pas [:rideau] , il n'apparait pas non plus dans le dossier à son nom à la racine :heink:

Par contre si je fais un zfs create Data/test le data/test apparait dans le dh -f mais n'est toujours pas monté

J'ai bien édité le fichier /etc/default/zfs pour que ça se monte au boot, je trouve rien sur le web pour me guider :snif:

T'as une idée? J'ai aussi testé un export/import mais ça change rien [:rideau]

edit: zpool mount -a fonctionne mais au reboot rebelotte
edit2: laisse tomber, bug connu :/

_________________
Image


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : jeu. 26 avr. 2012, 19:14 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : mar. 7 oct. 2008, 17:05
Messages : 9914
Pseudo Boinc : [XTBA>XTC] ZeuZ
Localisation : Devant mon écran
J'ai fais mon premier scrub, 4h40 pour 3.1to réèl (4.39 alloué), ça boost pas mal (~300mo/s), à coté des 6-8h de mdadm pour la même taille de donnée :love:

_________________
Image


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : jeu. 26 avr. 2012, 19:48 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
^^


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 17 juin 2012, 16:18 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Freenas vs Oracle Solaris 11
... sans équivoque !
=> http://andysworld.org.uk/2011/08/25/ora ... nce-tests/

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 17 juin 2012, 16:20 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
6x 2,5" dans 1x 5"1/4 : Skynet SSD Supersan par Sharkoon !!
=> http://andysworld.org.uk/tag/skynet-ssdsupersan/

Image

Image

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 17 juin 2012, 22:15 
Hors ligne
Avatar de l’utilisateur

Enregistré le : ven. 3 oct. 2008, 20:11
Messages : 19456
Pseudo Boinc : [XTBA>TSA] Biour
Localisation : Grenoble
:love:


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 22 juin 2012, 13:37 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Les SSD :
=> Chez intel :
  • M : pour L2Arc,
  • E : pour ZIL (E's are write optomized)

Citation :
o accelerate the performance of our ZFS system, we employed the L2ARC caching feature of ZFS. The L2ARC stores recently accessed data, and allows it to be read from a faster medium than traditional rotating HDD’s. While researching this, we decided to deploy our ZFS system with two 160GB Intel X25-M G2 MLC SSD drives, allowing us to theoretically cache 320GB of the most frequently accessed data and drastically reduce access times. Intel specifies that the X25-M G2 can achieve up to 35,000 random 4k read IOPS and up to 8600 random 4k write IOPS. This is significantly faster than any spindle based hard drive available. The access time for those read operations is also significantly lower, reducing the time that you have to wait for a read operation to finish. The only drawback of the X25-M G2 is that it is an MLC flash drive, which in theory limits the amount of write operations that it can perform before the drive is worn out. We will be monitoring these drives very closely to see if there is any performance degradation over time.


Image

Citation :
To accelerate write performance we selected 32GB Intel X25-E drives. These will be the ZIL (log) drives for the ZFS system. Since ZFS is a copy-on-write file system, every transaction is tracked in a log. By moving the log to SSD storage, you can greatly improve write performance on a ZFS system. Since this log is accessed on every write operation, we wanted to use an SSD drive that had a significantly longer life span. The Intel X25-E drives are an SLC style flash drive, which means they can be written to many more times than an MLC drive and not fail. Since most of the operations on our system are write operations, we had to have something that had a lot of longevity. We also decided to mirror the drives, so that if one of them failed, the log did not revert to a hard-drive based log system which would severely impact performance. Intel quotes these drives as 3300 IOPS write and 35,000 IOPS read. You may notice that this is lower than the X25-M G2 drives. We are so concerned about the longevity of the drives that we decided a tradeoff on IOPS was worth the additional longevity.


Image


Citation :
For our boot drives, we selected 40GB Intel X-25V SSD drives. We could have went with traditional rotating media for the boot drives, but with the cost of these drives going down every day we decided to splurge and use SSD’s for the boot volume. We don’t need the ultimate performance that is available with the higher end SSD’s for the boot volume, but we still realize that having your boot volumes on SSD’s will help reduce boot times in case of a reboot and they have the added bonus of being a low power draw device.


Image

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 22 juin 2012, 14:14 
Hors ligne
Avatar de l’utilisateur

Enregistré le : ven. 3 oct. 2008, 20:11
Messages : 19456
Pseudo Boinc : [XTBA>TSA] Biour
Localisation : Grenoble
:jap:

_________________
Forever Qlimax Addict!
Image
Image

Hardcore Will Never DIe.


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 24 juin 2012, 22:33 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
RAIDZ Even / Odd Disk Numbers

When creating vdevs using raidz*, try (not a requirement but recommended) to have an odd number of total disks in the vdev if using raidz1 or raidz3, and try to have an even number of disks in the vdev if using raidz2. What you're doing here is trying to always have an even number of 'data' disks in each write action.
Pool Design Rules

Follow the link at the end of this section for a long discussion on this, but for some quick rules use the following:
  • Do not use RAIDZ1 for disks 1 TB or larger in size (for the paranoid, disks 750 GB or larger), only use RAIDZ2 or RAIDZ3
  • For RAIDZ1, start at 3 disks and do not exceed 7 disks in each vdev
  • For RAIDZ2, start at 6 disks and do not exceed 12 disks in each vdev (this is not 4 disks to start because you should just use 2 mirror vdevs instead, at that point)
  • For RAIDZ3, start at 7 disks and do not exceed 15 disks in each vdev (look strongly at 3 mirror vdevs instead, if going with 7 disk raidz3 vdevs)
  • Mirrors are best - only use RAIDZ when space is at a premium and performance can suffer for it
  • For disks size 3 TB or larger, 3-way mirrors become more and more recommended the larger the individual disks get, which can make the rule directly above this one obsolete
  • Do not mix disk sizes or speeds within a single vdev
  • Do not mix disk sizes or speeds within a zpool at all (specifically on data vdevs -- log & cache devices are another matter) unless you are positive you know the impact of breaking this rule and accept it
  • Do not mix redundancy types within a zpool - if you do mirror vdevs then do all mirror vdevs, if you do raidz2 then do all raidz2 (on data vdevs -- log & cache devices are another matter) unless you are positive you know the impact of breaking this rule and accept it
  • Do not mix disk counts across vdevs within a zpool - if one vdev is 8 disks, all vdevs should be 8 disks (not including log/zil and cache devices, of course) unless you are positive you know the impact of breaking this rule and accept it

http://www.nex7.com/node/1

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 24 juin 2012, 22:51 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Mirrored Configuration Recommendations

  • Consider creating 24 2-device mirrors. This configuration reduces the disk capacity by 1/2, but up to 24 disks or 1 disk in each mirror could be lost without a failure.
  • If you need better data protection, a 3-way mirror has a significantly greater MTTDL than a 2-way mirror. Going to a 4-way (or greater) mirror may offer only marginal improvements in data protection. Concentrate on other methods of data protection if a 3-way mirror is insufficient.

Exemple
... http://www.solarisinternals.com/wiki/in ... _mirror.29

The disks are configured as follows:
  • SXCE and Solaris 10 releases, c5t0d0 and c4t0d0 can be a mirrored ZFS root pool for bootable ZFS dataset and dump and
  • Create a mirrored ZFS root pool during an initial installation or a Custom JumpStart installation. The equivalent zpool create syntax is, for example:

zpool create rpool mirror c5t0d0s0 c4t0d0s0


  • ZFS storage pool contains 14 3-way mirrors
  • c0t0d0, c1t0d0, c6t0d0, and c7t0d0 are used for ZFS hot spares
  • This mirrored ZFS configuration provides approximately 6.24 terabytes of file system space

In the following example, the mpool storage pool is created with 7 3-way mirrors for the first 3 controllers.
Code :
# zpool status
  pool: mpool
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        mpool       ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c1t1d0  ONLINE       0     0     0
            c4t1d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c1t2d0  ONLINE       0     0     0
            c4t2d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t3d0  ONLINE       0     0     0
            c1t3d0  ONLINE       0     0     0
            c4t3d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t4d0  ONLINE       0     0     0
            c1t4d0  ONLINE       0     0     0
            c4t4d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t5d0  ONLINE       0     0     0
            c1t5d0  ONLINE       0     0     0
            c4t5d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t6d0  ONLINE       0     0     0
            c1t6d0  ONLINE       0     0     0
            c4t6d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t7d0  ONLINE       0     0     0
            c1t7d0  ONLINE       0     0     0
            c4t7d0  ONLINE       0     0     0

errors: No known data errors


Then, add the 7 remaining mirrors and the 4 hot spares.

Code :
# zpool add mpool mirror c5t1d0 c6t1d0 c7t1d0
# zpool add mpool mirror c5t2d0 c6t2d0 c7t2d0
# zpool add mpool mirror c5t3d0 c6t3d0 c7t3d0
# zpool add mpool mirror c5t4d0 c6t4d0 c7t4d0
# zpool add mpool mirror c5t5d0 c6t5d0 c7t5d0
# zpool add mpool mirror c5t6d0 c6t6d0 c7t6d0
# zpool add mpool mirror c5t7d0 c6t7d0 c7t7d0
# zpool add mpool spare c0t0d0 c1t0d0 c6t0d0 c7t0d0


Review the pool configuration.

Code :
# zpool status
  pool: mpool
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        mpool       ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c1t1d0  ONLINE       0     0     0
            c4t1d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c1t2d0  ONLINE       0     0     0
            c4t2d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t3d0  ONLINE       0     0     0
            c1t3d0  ONLINE       0     0     0
            c4t3d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t4d0  ONLINE       0     0     0
            c1t4d0  ONLINE       0     0     0
            c4t4d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t5d0  ONLINE       0     0     0
            c1t5d0  ONLINE       0     0     0
            c4t5d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t6d0  ONLINE       0     0     0
            c1t6d0  ONLINE       0     0     0
            c4t6d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c0t7d0  ONLINE       0     0     0
            c1t7d0  ONLINE       0     0     0
            c4t7d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t1d0  ONLINE       0     0     0
            c6t1d0  ONLINE       0     0     0
            c7t1d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t2d0  ONLINE       0     0     0
            c6t2d0  ONLINE       0     0     0
            c7t2d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t3d0  ONLINE       0     0     0
            c6t3d0  ONLINE       0     0     0
            c7t3d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t4d0  ONLINE       0     0     0
            c6t4d0  ONLINE       0     0     0
            c7t4d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t5d0  ONLINE       0     0     0
            c6t5d0  ONLINE       0     0     0
            c7t5d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t6d0  ONLINE       0     0     0
            c6t6d0  ONLINE       0     0     0
            c7t6d0  ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            c5t7d0  ONLINE       0     0     0
            c6t7d0  ONLINE       0     0     0
            c7t7d0  ONLINE       0     0     0
         spares
          c0t0d0    AVAIL   
          c1t0d0    AVAIL   
          c6t0d0    AVAIL   
          c7t0d0    AVAIL   

errors: No known data errors


Identify the available pool and file system space.

Code :
# zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
mpool                  6.34T    125K   6.34T     0%  ONLINE     -
# zfs list
NAME    USED  AVAIL  REFER  MOUNTPOINT
mpool   118K  6.24T  24.5K  /mpool


Create file systems as needed. For example:

Code :
# zfs create mpool/users
# zfs create mpool/devs
# zfs create mpool/data
# zfs list
NAME          USED  AVAIL  REFER  MOUNTPOINT
mpool         208K  6.24T  28.5K  /mpool
mpool/data   24.5K  6.24T  24.5K  /mpool/data
mpool/devs   24.5K  6.24T  24.5K  /mpool/devs
mpool/users  24.5K  6.24T  24.5K  /mpool/users

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : lun. 25 juin 2012, 17:44 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Comparaison de BIG Systèmes vs ZFS
=> http://www.theregister.co.uk/2012/04/20 ... ecsfs2008/
Image

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : ven. 29 juin 2012, 12:50 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Test des disques Seagate Constellation ES2
=> http://www.storagereview.com/seagate_co ... ive_review

Seagate's Constellation enterprise hard drives come in 6Gbps SAS and SATA interfaces; we pit them against one another using the second-gen Constellation.2 2.5" drive and fifth-gen Constellation ES.2 3.5" drive. The following models are participating in this review:

  • Seagate Constellation ES.2 3TB – SAS interface (ST33000650SS)
  • Seagate Constellation ES.2 3TB – SATA interface (ST33000651SS)
  • Seagate Constellation.2 1TB – SAS interface (ST91000640SS)
  • Seagate Constellation.2 1TB – SATA interface (ST91000641SS)


Image

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mer. 4 juil. 2012, 05:11 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
How to improve ZFS performance
=> http://icesquare.com/wordpress/how-to-i ... rformance/

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : jeu. 5 juil. 2012, 20:58 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
NFS & ZFS Tweak (15.09.2010)
=> http://christopher-technicalmusings.blo ... h-zil.html

Citation :
As you may be aware, NFS and ZFS don't mix well. It's because NFS is asking for a flush of the ZFS ZIL after each write, which is incredibly slow. It destroys all caching or other speed enhancements that ZFS can bring to the table.

The quick and dirty response is to disable the ZIL. While this won't lead to corruption, it's removing one of ZFS's protection mechanisms, and as I'm building a very large SAN, I really don't want to hamper ZFS's ability to save my ass on data corruption issues.

This is basically opening NFS in async mode, which is what iSCSI does. I want iSCSI performance with the stability of NFS sync.

I thought I'd play around with disabling the ZIL (makes me nervous), using loander.conf commands, and adding a SSD as the ZIL.


Citation :
So all we have to do is make ZFS lie and say it flushes the cache when it doesn't. Editer your /boot/loder.conf to include the vfs.zfs.cache_flush_disable=1 command, and you're off and running.

I believe this is an enhancement in newer ZFS pools anyway, so I'm really not too worried about it. If it's on the ZIL, why do we need to flush it to the drive? A crash at this point will still have the transactions recorded on the ZIL, so we're not losing anything.


Citation :
Final thoughts: Never, never run a ZIL that isn't mirrored. It dies, lots of bad things happen... although I was able to shut down the system, turn off my ZIL in loader.conf, and boot without the SSD, so I think you could recover.. I'll be testing how nasty things are with a destroyed ZIL during transactions tomorrow.


+ http://dtrace.org/blogs/brendan/2009/01 ... reenshots/

Image

_________________
Image

Kévin, sor deux sec or !!


Haut
   
MessagePosté : jeu. 19 juil. 2012, 22:46 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
To monitor ZFS :

Nagios plugin
=> http://www.googlux.com/nagios.plugin.zfs.usage.html

Solaris.Server.ZFS.monitoring
=> http://solariszfs.sourceforge.net/

Webmin
=> http://myqtest.blogspot.fr/2009/08/zfs-management-console.html

DTrace
=> http://www.brendangregg.com/dtrace.html#DTraceToolkit
DTrace on linux
=> http://dtrace.org/blogs/ahl/2011/10/05/ ... r-linux-2/

FREE SAN MONITOR
=> http://www.solarwinds.com/products/freetools/san_monitor/
... vidéo : http://www.youtube.com/watch?v=KGcHnXyDnvk&feature=player_embedded#!

ZFS Monitor for Android
=> http://fr.androidzoom.com/android_applications/tools/zfs-monitor_bzczn.html

Image Image Image Image

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 22 juil. 2012, 13:51 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Identifier les disques dans une baie ... le bordel pour savoir où se trouve le disque foutu dénommé c3t2d0 ?

Script !
=> http://hardforum.com/showpost.php?p=103 ... tcount=207

Citation :
With my MSA70's and using plain ol SAS controllers... not SAS2 chipped controllers... identifying drives is and can be a challenge. For several reasons.

Reason 1 = as I have 68 Bays to play with.... compared to having just a controller with say 4 or 8 ports... picking which drive to add to or remove from a vdev can be rather interesting.

Before with just 8 ports on the ol SAS controller it was sort of easy...eg a drive would be called say c3t2d0

So to find out which drive was which was also easy... as you could enumerate it down sort of simply
c3t2d0 broke down into
c3 = controller number 3
t2 = Target number 2 (or port 2 if you like)
d0 = Drive 0

So if I added / removed a drive it was simple to identify which was which

Now Moving t using an expander based chassis and things move around a bit and are detected differently

A Drive that was c3t2d0 becomes...(if it is in the 2nd bay) c3t36d0

MSA70 has 25 bays which seem to get numbered from t35 thru to t58 (yeah I don't know either why it starts @ 35 ?? and also no idea why 35 + 25 somehow = 58 ??

anyways it can get confusing.... and No I don't know what the second chassis drive numbering goes when it is daisychained....yet.

But...on with the show


So to organise it a little more simply

Enter the lovely command "croinfo"
cro means

Chassis
Recepticle
Occupant

DESCRIPTION
The diskinfo and croinfo utility share the same binary executable. At runtime, the utility checks to see how it was invoked, and adjusts defaults.

The croinfo utility allows users to query and display specific aspects of a system's configuration. Queries are performed against a record-oriented dataset that captures the relationship between physical location and various aspects of the device currently at that physical location.
This relationship is expressed in terms of Chassis, Receptacle, and Occupant (thus the cro prefix).

Citation :
So now instead of using the format command to try and identify a drive eg

Code :
root@solaris:~# format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c3t35d0 <HP-DG072A8B54-HPD7-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@23,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________1/disk
       1. c3t36d0 <HP-DG072A9BB7-HPD0-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@24,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________2/disk
       2. c3t37d0 <HP-DG072A9BB7-HPD0-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@25,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________3/disk
       3. c3t38d0 <HP-DG072A4951-HPD4-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@26,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________4/disk
       4. c3t39d0 <HP-DG072A9BB7-HPD0-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@27,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________5/disk
       5. c3t40d0 <HP-DG072A8B54-HPD7-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@28,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________6/disk
       6. c3t41d0 <HP-DG072A8B54-HPD7-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@29,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________7/disk
       7. c3t42d0 <HP-DG072A8B54-HPD7-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@2a,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________8/disk
       8. c3t58d0 <ATA-ST91000430AS-CC9D-931.51GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@3a,0
          /dev/chassis/HP-MSA70.5001438000408100/Bay__________________________24/disk
       9. c3t43d0 <HP-DG072A8B54-HPD7-68.37GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@2b,0
      10. c3t59d0 <ATA-ST91000430AS-CC9D-931.51GB>
          /pci@0,0/pci8086,25f7@2/pci8086,3500@0/pci8086,3514@1/pci103c,3229@0/sd@3b,0
      11. c4t0d0 <HP-LOGICAL VOLUME-1.86 cyl 4420 alt 2 hd 255 sec 63>
          /pci@0,0/pci8086,25e5@5/pci1166,103@0/pci103c,3211@8/sd@0,0
Specify disk (enter its number):

Citation :
Lovely output isn't it...
now lets run croinfo command by itself and see what we get instead

Code :
root@solaris:~# croinfo
D:devchassis-path                                                            t:occupant-type  c:occupant-compdev
---------------------------------------------------------------------------  ---------------  ------------------
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________0        -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________1/disk   disk             c3t35d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________2/disk   disk             c3t36d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________3/disk   disk             c3t37d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________4/disk   disk             c3t38d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________5/disk   disk             c3t39d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________6/disk   disk             c3t40d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________7/disk   disk             c3t41d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________8/disk   disk             c3t42d0
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________9        -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________10       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________11       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________12       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________13       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________14       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________15       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________16       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________17       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________18       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________19       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________20       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________21       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________22       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________23       -                -
/dev/chassis/HP-MSA70.5001438000408100/Bay__________________________24/disk  disk             c3t58d0

Citation :
Thats a little better, but now lets tidy it up a little, for even more readability.

So now we introduce the fmadm command "fmadm - fault management configuration tool" .... yes seems a weird tool to tidy up the output of a Chassis Recepticle Occupant output...

But when you run the fmadm command by itself we see, part of it's use is to manage Chassis alias's :

Code :
root@solaris:~# fmadm
Usage: fmadm [-P prog] [-q] [cmd [args ... ]]

    Fault Status and Administration
        fmadm faulty [-afgiprsv] [-n <max_fault>] [-u <uuid>]
                display list of faulty resources
        fmadm acquit <fmri> [<uuid>] | <label> [<uuid>] | <uuid>
                acquit resource or acquit case
        fmadm replaced <fmri> | <label>
                notify fault manager that resource has been replaced
        fmadm repaired <fmri> | <label>
                notify fault manager that resource has been repaired

    Chassis Alias Administration
        fmadm add-alias <product-id>.<chassis-id> <alias-id> ['comment']
                add alias to /etc/dev/chassis_aliases database
        fmadm remove-alias <alias-id> | <product-id>.<chassis-id>
                remove mapping from /etc/dev/chassis_aliases database
        fmadm lookup-alias <alias-id> | <product-id>.<chassis-id>
                lookup mapping in /etc/dev/chassis_aliases database
        fmadm list-alias
                list current /etc/dev/chassis_aliases database
        fmadm sync-alias
                verify /etc/dev/chassis_aliases contents and sync

Caution: Documented Fault Repair Procedures Only...
      Module Administration
        fmadm config
                display fault manager configuration
        fmadm load <path>
                load specified fault manager module
        fmadm unload <module>
                unload specified fault manager module
        fmadm reset [-s serd] <module>
                reset module or sub-component
      Log Administration
        fmadm rotate <logname>
                rotate log file
      Fault Administration
        fmadm flush <fmri> ...
                flush cached state for resource


Citation :
Which is what we will have a go at now.

My 1st chassis is identified as /dev/chassis/HP-MSA70.5001438000408100

So I am going to make it something smaller and more readable / sensible

Let say as I have two MSA70's I will call one MSA70A and the Other MSA70B (makes sense to me)

Code :
root@solaris:~# fmadm add-alias HP-MSA70.5001438000408100 MSA70A 'MSA70 Top'

Citation :
Now whats it look like?

Code :
root@solaris:~# croinfo
D:devchassis-path                                         t:occupant-type  c:occupant-compdev
--------------------------------------------------------  ---------------  ------------------
/dev/chassis/MSA70A/Bay__________________________0        -                -
/dev/chassis/MSA70A/Bay__________________________1/disk   disk             c3t35d0
/dev/chassis/MSA70A/Bay__________________________2/disk   disk             c3t36d0
/dev/chassis/MSA70A/Bay__________________________3/disk   disk             c3t37d0
/dev/chassis/MSA70A/Bay__________________________4/disk   disk             c3t38d0
/dev/chassis/MSA70A/Bay__________________________5/disk   disk             c3t39d0
/dev/chassis/MSA70A/Bay__________________________6/disk   disk             c3t40d0
/dev/chassis/MSA70A/Bay__________________________7/disk   disk             c3t41d0
/dev/chassis/MSA70A/Bay__________________________8/disk   disk             c3t42d0
/dev/chassis/MSA70A/Bay__________________________9        -                -
/dev/chassis/MSA70A/Bay__________________________10       -                -
/dev/chassis/MSA70A/Bay__________________________11       -                -
/dev/chassis/MSA70A/Bay__________________________12       -                -
/dev/chassis/MSA70A/Bay__________________________13       -                -
/dev/chassis/MSA70A/Bay__________________________14       -                -
/dev/chassis/MSA70A/Bay__________________________15       -                -
/dev/chassis/MSA70A/Bay__________________________16       -                -
/dev/chassis/MSA70A/Bay__________________________17       -                -
/dev/chassis/MSA70A/Bay__________________________18       -                -
/dev/chassis/MSA70A/Bay__________________________19       -                -
/dev/chassis/MSA70A/Bay__________________________20       -                -
/dev/chassis/MSA70A/Bay__________________________21       -                -
/dev/chassis/MSA70A/Bay__________________________22       -                -
/dev/chassis/MSA70A/Bay__________________________23       -                -
/dev/chassis/MSA70A/Bay__________________________24/disk  disk             c3t58d0

Citation :
Thats better.... no idea yet how to change the silly HP Bay numbering...eg get rid of the annoying ______________ bits.

You will notice my chassis obviously doesn't fully use the SES2 standard... so Bays are a little weird... in that Bay________0 is the
Chassis itself??.... and Bay___25 is not represented as a bay... just as c3t58d0 outside of a bay??

So it's not perfect... but it's definately easier to manage.

Naturally when you have racks and racks of storage chassis, the above tools would come in very handy.

You could instead label an alias from
HP-MSA70.5001438000408100
to something helpful

Lets say it's sitting in Rack #10 and racked @ a level of 26RU High
We could call / alias it something smarter

HPMSA70.Asset#128934 MSA70@RACK10__U26-U27

Make finding the right drive in a large Data Centre quite helpful eh?

BTW

/dev/chassis
should contain your chassis / backplane info

a line gets added to
/etc/dev/chassis_aliases

When you use fmadm to add an alias

Now I am off to destroy some more shit

as I see /dev/chassis/MSA70A contains folders/directories called

Code :
root@solaris:/dev/chassis/MSA70A# ls
Bay__________________________0   Bay__________________________15  Bay__________________________21  Bay__________________________6
Bay__________________________1   Bay__________________________16  Bay__________________________22  Bay__________________________7
Bay__________________________10  Bay__________________________17  Bay__________________________23  Bay__________________________8
Bay__________________________11  Bay__________________________18  Bay__________________________24  Bay__________________________9
Bay__________________________12  Bay__________________________19  Bay__________________________3
Bay__________________________13  Bay__________________________2   Bay__________________________4
Bay__________________________14  Bay__________________________20  Bay__________________________5
root@solaris:/dev/chassis/MSA70A#

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : dim. 22 juil. 2012, 14:56 
Hors ligne
La chose a Biour
La chose a Biour
Avatar de l’utilisateur

Enregistré le : sam. 4 oct. 2008, 00:47
Messages : 17319
Pseudo Boinc : [XTBA>TSA] Poulpito
Localisation : Grenoble (38)
tout ca n'étant valable que sur solaris :p
la plupart des baies de toute facon ont des leds de status
suffit de faire allumer avec un hdparm sous linux ou un dd read :)


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : lun. 23 juil. 2012, 22:21 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
Et une journée avec OpenIndiana & Solaris 11, une !
  • Xeon x3450 4c/8t 2,66 / 3,1
  • Intel S3420GPV
  • 8 Go de Ram en 4x 2 Go ECC HP 1066
  • Systeme sur SSD OCZ Vertex Series Plus 60 Go partitionné à 30 Go (comme ça ça fait 30 Go de Provisionning ^^)
  • IBM M1015 flashée en LSI2008
  • 5x 2 To WD Green WD20EARS dans Icy Dock MB455SPF-B 5 en 3
  • 2x SSD STEC Mach 16 50 Go(ZIL)
  • 1x SSD OCZ Vertex 3 60 Go (LOG)
  • Sharkoon Rebel 12
  • Seasonic M2II 650w

Solaris 11, Napp-it 0.8, version Pool : 28, RaidZ, ashift=9 // SSD pas encore inclu
Code :
write 10.24 GB via dd, please wait...
time dd if=/dev/zero of=/stock/dd.tst bs=1024000 count=10000

10000+0 records in
10000+0 records out

real       20.5
user        0.0
sys         4.7

10.24 GB in 20.5s = 499.51 MB/s Write

read 10.24 GB via dd, please wait...
time dd if=/stock/dd.tst of=/dev/null bs=1024000

10000+0 records in
10000+0 records out

real       57.4
user        0.0
sys         4.2

10.24 GB in 57.4s = 178.40 MB/s Read

... Écriture à 499.51 Mo/s
... Lecture à 178.4 Mo/s (peut être encore en train de créer la POOL...)

++

_________________
Image

Kévin, sor deux sec or !!


Modifié en dernier par augur le mer. 25 juil. 2012, 01:06, modifié 1 fois.

Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mer. 25 juil. 2012, 01:04 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
OpenIndiana 151a5, Napp-it 0.8, version Pool : 28, RaidZ, ashift=12 // SSD pas encore inclu
Code :
write 10.24 GB via dd, please wait...
time dd if=/dev/zero of=/stock/dd.tst bs=1024000 count=10000

10000+0 records in
10000+0 records out

real       24.3
user        0.0
sys         5.0

10.24 GB in 24.3s = 421.40 MB/s Write

read 10.24 GB via dd, please wait...
time dd if=/stock/dd.tst of=/dev/null bs=1024000

10000+0 records in
10000+0 records out

real       37.4
user        0.0
sys         3.3

10.24 GB in 37.4s = 273.80 MB/s Read

... Écriture à 421.40 Mo/s
... Lecture à 273.80 Mo/s

Avec SSD
=> ZIL : 2x STEC STEC MACH16 M 50 Go mirror
=> L2ARC : OCZ-VERTEX3 60 Go
... Écriture de 10,24 Go : 409 Mo/s
... Lecture de 10,24 Go : 176.25 Mo/s

++

_________________
Image

Kévin, sor deux sec or !!


Haut
   
 Sujet du message : Re: Serveur Fichier 2 / ZFS
MessagePosté : mer. 25 juil. 2012, 18:16 
Hors ligne
VIP
VIP
Avatar de l’utilisateur

Enregistré le : sam. 17 janv. 2009, 23:19
Messages : 3442
Pseudo Boinc : [XTBA>TSA] augur
Localisation : 57 67
OpenIndiana 151a5, Napp-it 0.8, version Pool : 28, RaidZ, ashift=12 // SSD inclu

Répertoire réseau monté à l'explorateur Windows 7 Pro x64, partagé en samba via 10 GbE

<-- à gauche : copie du fichier vidéo de vacance à partir du disque SAS 15k 600 Go Hitachi vers le stockage ZFS
--> à droite copie du même fichier vidéo de vacance, toujours à partir du disque SAS 15k 600 Go Hitachi vers le stockage ZFS... on dirait qu'il est en cache ?


Image

Avec le logiciel utilsé pour tester les arrays en vidéo

Image

++

_________________
Image

Kévin, sor deux sec or !!


Haut
   
Afficher les messages postés depuis :  Trier par  
Poster un nouveau sujet  Répondre au sujet  [ 330 messages ]  Aller à la page Précédente 14 5 6 7 814 Suivante

Heures au format UTC+03:00


Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 1 invité


Vous ne pouvez pas poster de nouveaux sujets
Vous ne pouvez pas répondre aux sujets
Vous ne pouvez pas modifier vos messages
Vous ne pouvez pas supprimer vos messages
Vous ne pouvez pas joindre des fichiers

Rechercher :
Aller à :  
Développé par phpBB® Forum Software © phpBB Limited
Traduit par phpBB-fr.com