-==<XTBA>==-
https://forum.setiaddicted.com/

Serveur Fichier 2 / ZFS
https://forum.setiaddicted.com/viewtopic.php?f=4&t=1638		 Page 2 sur 14
Auteur :  augur [ lun. 24 oct. 2011, 03:19 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Do you know : OpenMediaVault ?
.... "Openmediavault: une Debian pour vos NAS" : http://ubuntufreak.blog.com/2011/10/19/ ... r-vos-nas/

OpenMediaVault includes the following features

    Debian Linux (Squeeze) OS
    Web based administration
    S.M.A.R.T. monitoring + email notification
    Watchdog
    HDD power management (APM/AAM)
    EXT3/EXT4/XFS/JFS filesystem support
    Software RAID JBOD/0/1/5/6 (mdadm) + email notification
    LVM
    Share management + ACL support
    SNMP (v1/2c/3) (read-only)
    SSH
    FTP
    TFTP
    NFS
    SMB/CIFS
    Bittorrent client
    DAAP client
    NTP
    UPS
    ...

Using the plugin system it is possible to add additional services.


=> http://openmediavault.org/
Auteur :  augur [ lun. 24 oct. 2011, 03:24 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Aussi : BTRFS sera le ZFS pour linux ... il se fait attendre :/
=> http://www.linuxpromagazine.com/Issues/ ... S-on-Linux

+ BTRFS pdf

La FAQ : http://web.archive.org/web/201107202203 ... ex.php/FAQ

Le test sur une ancienne machine peu puissante
=> http://www.phoronix.com/scan.php?page=a ... ux31&num=1
Auteur :  augur [ lun. 24 oct. 2011, 13:13 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
OpenIndiana pourrait fonctionner sous Xen
=> http://forum.proxmox.com/threads/3379-O ... ris-on-KVM

++
Auteur :  augur [ lun. 24 oct. 2011, 13:20 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Liste condensée de toutes les commandes de ZFS
=> http://lildude.co.uk/zfs-cheatsheet
=> http://www.datadisk.co.uk/html_docs/sun/sun_zfs_cs.htm

++
Auteur :  augur [ lun. 24 oct. 2011, 13:26 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Autre solution ZFS : EON ZFS Storage

EON est minuscule (93Mb) et tient entièrement en RAM. EON peut booter depuis un LiveCD, une clef USB, un disque… mais propose toutes les fonctionnalités du système ZFS :

  • Simple and Secure CLI (command line interface) administration. Future web-based graphical/browser user interface administration
  • Supports ZFS, iSCSI (target and client initiator), NFS, CIFS (Sun Microsystems Implementation) or Samba, SFTP, SSH, NTP, IP filtering, Rsync
  • Supported RAID levels:
  • RAID-0 (stripe)
  • RAID-1 (mirror)
  • RAID-10 (striped-mirror)
  • RAID-Z (raidz or raidz1 similar to RAID-5 with variable-width stripes which avoids the RAID-5 write hole, requires 3 or more disks)
  • RAID-Z2 (raidz2 or RAID-6, double parity, requires 4 or more disks)
  • RAID-Z3 (raidz3 or triple parity RAID)
  • Supports client OS, Windows 200x/XP/Vista, 7, Mac OS X(Leopard, Snow Leopard, LION), Unix and Linux
  • Transparent in-band, dynamic filesystem compression (LZJB or GZIP algorithms)
  • Capable of expanding the zpool by expanding each disk in the pool (since snv_117)
  • Thin provisioned (green) file systems
  • Unlimited files, links, directories and snapshots versions(also known as version-ing or read only clones/copies)
  • Copy-On-Write (writable) clones
  • Link aggregation (teaming network interfaces)
  • User Groups and Quotas
  • IPfilter module and application to control/restrict network access.
  • DTrace, Perl and PHP
  • Deduplication (since EON 0.59.9/snv 129)
  • Hot spares
  • SSD acceleration

Image

De nombreuses fonctionnalités additionnelles sont disponibles en option
  • Firefly/iTunes media server (32-bit): Install guide, download mt-daapd
  • Mediatomb UPnP server (32-bit): Install guide, download section
  • napp-it (graphical web admin by Alka Guenther, version 0.20+: Install Guide, download napp-it)
  • Transmission cli/web bit torrent client/server (available since binary kit 124 in download section)
  • Aria2c 1.9.3 (HTTP/HTTPS, FTP, BitTorrent and Metalink)
  • tmux 1.1 (terminal multiplexer)
  • lighttpd (Web server: Install guide, download lighttpd)
  • nginx (Web server: Install guide, download nginx)
  • Netatalk (Apple Talk Fileserver: download netatalk)
  • elinks (text based browser)
  • wget/curl (retrieving files using HTTP, HTTPS and FTP)
  • ddclient/inadyn (dynamic DNS clients)
  • glusterfs 3.0 (clustered storage solution)

=> https://sites.google.com/site/eonstorage/
Auteur :  poulpito [ lun. 24 oct. 2011, 17:56 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
à cause des soucis récents le prix des dsique a sacrément monté ...
du coup HS pour le moment le serveur de fichier bis alors que j'ai tout sauf les disques
FUCK QUOI !!!
Auteur :  augur [ mar. 25 oct. 2011, 00:49 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
BonOeil sur SMP et HFR est en OpenIndiana ; je l'avais contacté hier, dimanche 23.10.2001 :

Citation :
    Hard :
    ¤ Norco 4220
    ¤ Corsair GX 800W
    ¤ SuperMicro X8SIL-F
    ¤ X3430
    ¤ 16Gb DDR3 ECC
    ¤ 3 x IBM Br10i
    ¤ 1 x 160Go 2.5" (Boot)
    ¤ 1 x 500Go 2.5" (Cache fichiers)
    ¤ 8 x Western Digital Green 1To
    ¤ 8 x Samsung 2To

Soft :

Je tourne sous Esxi avec plusieurs Vms.

La première VM à demarrer est Solaris Express 11 (OpenIndiana avant) sur le disque boot avec Napp-it pour le serveur ZFS et le management par interface web.

Les autres VMs qui démarrent sont en NFS sur un dossier ZFS et qui donc profitent de la vitesse du ZFS.

Pour ce qui est des perfs, à l'état actuel je suis très satisfait et pour la sécurité également, je dirais même que pour mon utilisation la barre est placée trop haute, car je bloque sur des fichiers dont je n'ai plus les droits de lecture.

Va falloir que je contacte le développeur de Napp-it.

Sinon, depuis que le serveur est en fonction, je n'ai pas eu de problèmes sauf ce qui est mentionné au dessus :ange:

La seule chose que je changerais, c'est les 16Go de Ram par 32Go


++
Auteur :  augur [ mar. 25 oct. 2011, 13:04 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Info du 22 aout 2011

Depuis l’annonce du rachat d’Hitachi GST par Western Digital puis de la division disques durs de Samsung par Seagate, la concurrence dans le secteur repose sur un nombre réduit d’acteurs. WD et Seagate pourraient à terme se partager 90% du marché.

Hitachi = Western
Samsung et maxtor = Seagate

:pfff:
Auteur :  IvanleFou [ mar. 25 oct. 2011, 13:17 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Il n'en restera qu'un :D

Image
Auteur :  poulpito [ mer. 26 oct. 2011, 00:18 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
carte mère + 2*5502 + 6*1Go ram ECC OK
adaptec 6805 - demain aprem chez chrono
8*2To samsung - demain au boulot

bon bah ca sent pas trop mauvais tout ça :) reste plus qu'à se décider et monter la conf pour transférer les données du norco avant de tout remonter dedans :)
Auteur :  augur [ mer. 26 oct. 2011, 02:14 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Tu peux virtualité openindiana.... Vas tu le faire ??
Auteur :  poulpito [ mer. 26 oct. 2011, 10:26 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
aucune utilité vraiment aucune ...
à part rajouter une couche complexe de linux/windows sur laquelle il faudra configurer des passthrough pour les disques vers la VM
et si jamais tu te plante avec ton linux ou ton windows tu foire tout

la virtualisation sur une machine sensible comme ca c'est pour les mecs qui n'ont
1- rien à faire
2- pas pensé à dimensionner correctement leur machine et qui ont une bête de course
3- pas de réelle utilité de serveur de fichier en tant que stockage de masse mais plutot pour ceux qui utilisent un max les datastore
Auteur :  augur [ mer. 26 oct. 2011, 17:03 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Si je me laisse tenter par la ZFS, je pense que je le virtualiserai en test @home, histoire d'avoir toujours une machine avec interface graphique qui tourne...

Concernant les SSD, le type et la marque peu varier énormément sur les perf !!
=> http://opensolaris.org/jive/thread.jspa ... 7&tstart=0

Citation :
My test case is simply untarring the latest ON source (528 MB, 53k files) on an Linux system that has a ZFS file system mounted via NFS over gigabit ethernet.

Description Blog // affichée sur la liste tutos:
I got the following results:
- locally on the Solaris box: 30 sec
- remotely with no dedicated ZIL device: 36 min 37 sec (factor 73 compared to local)
- remotely with ZIL disabled: 1 min 54 sec (factor 3.8 compared to local)
- remotely with a OCZ VERTEX SATA II 120 GB as ZIL device: 14 min 40 sec (factor 29.3 compared to local)
- remotely with an Intel X25-E 32 GB as ZIL device: 3 min 11 sec (factor 6.4 compared to local)

So it really makes a difference what type of SSD you use for your ZIL device. I was expecting a good performance from the X25-E, but was really suprised that it is that good (only 1.7 times slower than it takes with ZIL completely disabled). So I will use the X25-E as ZIL device on my box and will not consider disabling ZIL at all to improve NFS performance.




Pour la taille du SSD
=> http://www.nexenta.com/corp/content/view/274/119/

ZFS intent log (ZIL)
  • The maximum size of a log device should be approximately 1/2 the size of physical memory because that is the maximum amount of potential in-play data that can be stored. For example, if a system has 16 Gbytes of physical memory, consider a maximum log device size of 8 Gbytes.
  • For a target throughput of X MB/sec and given that ZFS pushes transaction groups every 5 seconds (and have 2 outstanding), we also expect the ZIL to not grow beyond X MB/sec * 10 sec. So to service 100MB/sec of synchronous writes, 1 GBytes of log device should be sufficient.

L2ARC

Note that for L2ARC to get utilized, you need the corresponding amount of DRAM. The ratio depends on ZFS recordsize. That is, if you are using a fixed recordsize (which is always recommended for databases) - the back-of-the-envelop formula:

Code :
L2ARC size / DRAM size / ZFS recordsize (KB) = 5


For instance, at 8KB recordsize and 4GB DRAM the appliance could efficiently utlize up to 160GB of L2ARC.

Another example: 128KB recordsize (the ZFS default) and 1GB DRAM yields 640GB.

Needless to say, any lesser amount of L2ARC cache than the calculated one will also get utlized and will improve system performance.

++
Auteur :  poulpito [ mer. 26 oct. 2011, 20:57 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
moi les 8*2To sont montés en vrai JBOD (qui est apparut avec un des dernier firmware) sur la 6805
pour le moment juste un volume stripe win et un coup de formatage ntfs pour voir ce que ca donne sous atto
les images arrivent :p

bah pourquoi virtualiser ... tu as déjà une couche graphique sur openindiana par exemple >__<
Auteur :  poulpito [ mer. 26 oct. 2011, 23:13 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
c'est la merde
la 6805 est pas vue par zfsguru ni openindiana T__T réfléchissons
Auteur :  augur [ mer. 26 oct. 2011, 23:51 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
Hum ... souvent les ZFSiens disent qu'il faudrait plutôt une Lsi avec le firmware "IT" qui fait du Hard Pass Through :/
... siii
MAIS ça marche quand même avec un 6805 ! :)
Auteur :  poulpito [ mer. 26 oct. 2011, 23:56 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
ouai sauf que j'ai pas de LSI mais deux adaptec :p qui marchent sous linux
Auteur :  augur [ jeu. 27 oct. 2011, 00:05 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
j'avias oublié d'envoyer le message après l'avoir édité :)

Citation :
Bug #1495: OpenIndiana svn_151 support on Adaptec 6xxx
https://www.illumos.org/issues/1495

Author: Kevin Herald
Status: New
Priority: Normal
Assignee: OI illumos
Category: Drivers
Target version: oi_151_stable
Difficulty: Expert
Tags: aac

I have Adaptec 6805 installed on OpenIndiana and am trying to get it being detected. Although according to this page http://wiki.openindiana.org/oi/Storage+ ... ,+Raid+etc), it mentioned that the Adaptec 6xxx is supported but it just could not detect it on default installation. Trying to load the default aac module and devfsadm it would failed in attaching the driver to the controller.

I have tried to install the driver from vendor website, it does install correctly but would hang the system when manually devfsadm or add_drv. Have verify that driver works well on Solaris 10 update 8 without issue. I have submitted a report to the vendor and at the same time would like to seek help here.

Thank you.


Citation :
Issue #1495 has been updated by Ken Mays.

Due date set to 2011-12-11
Assignee set to OI illumos
Estimated time set to 40.00
Difficulty changed from Medium to Expert
Tags changed from needs-triage to aac

The Illumos project handles storage driver research to support the Illumos kernel. See them for further support.


https://www.illumos.org/issues/1495

[escrime.gif]
Auteur :  poulpito [ jeu. 27 oct. 2011, 00:07 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
déjà vu ^^
Auteur :  poulpito [ jeu. 27 oct. 2011, 00:13 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
tin ca me gonfle vraiment toute cette histoire :/
putain j'aurai mieux fait de rester couché >__<
Auteur :  augur [ jeu. 27 oct. 2011, 00:38 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
et celui ci : http://broken.net/openindiana/all-about ... enindiana/

This is a quick article about using Adaptec RAID controllers with OpenIndiana.
In this case, I am using an Adaptec 5805. The driver appears to handle hardware based raid as well as JBOD.
This is an improvement over the Oracle shipped driver in Solaris, or OpenSolaris.
OpenIndiana does not ship with the StorMan package, which provides arcconf, so you will have to fetch StorMan from Adaptec yourself and install it.

Like most RAID command line tools, arcconf has a myriad of options to support your ZFS NAS server.
We are going to cover these typical operations. It is my hope that by seeing these examples it will give readers a feel for how to use arcconf.

  1. How to destroy all JBODS
  2. How to create a hardware RAID10 logical disk
  3. How to check status of a logical disk
  4. Using iostat to check existing a logical drive
  5. How to lay down a UFS file system on a logical disk
  6. How to destroy a logical disk
  7. How to get a list of all physical drives
  8. How to turn all physical drives into JBODs suitable for ZFS
  9. How to create a hardware RAID6 logical disk
  10. How to verify the status of a logical disk
  11. How to start a verify_fix operation How to extract the event log from the RAID controller in XML format
  12. How to extract the event log from the RAID controller in tabular format
  13. How to extract the device log from the RAID controller in XML format
  14. How to extract the device log from the RAID controller in tabular format
  15. How to convert time stamps in the RAID controller to real time
  16. How to rescan the Bus for new or removed drives
  17. How to convert a RAID10 volume to RAID5 (I never recommend using RAID5)
  18. Replace a failed JBOD disk

++
Auteur :  poulpito [ jeu. 27 oct. 2011, 00:41 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
vu aussi il parle 2 mots des drivers
Auteur :  augur [ jeu. 27 oct. 2011, 00:41 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
PS : OpenIndiana 151

Here is the bad news:

  • mega_sas driver can hang (yikes!)
  • Samba is broken out of the box
  • ZFS time-slider is broken due to a missing zfssnap-roleadd in SMF (you can fix this yourself)
  • Adaptec 6xxx support is missing altogether
Auteur :  poulpito [ jeu. 27 oct. 2011, 00:42 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
ouai et apparement les 31605 marchent pas non plus
non mais je te jure c'est la looose :(

jvai finir par continuer avec mon mdadm et mon linux aux oignons mais bon ce sera de plus en plus dur si je veux migrer après
et c'est dommage [sarcastic.gif]
Auteur :  augur [ jeu. 27 oct. 2011, 01:07 ]
Sujet du message :  Re: Serveur Fichier / Stockage sécurisé
A priori, pour ne pas être emmerder avec OpenIndiana, c'est LSI 1068E ou 2008 qu'il faudrait ...

LSI 1068e based
SAS 3.0gbps, SATA 3.0gbps, approximately 10w of power consumption, (need processor info), no onboard cache, PCIe 1.0 x8 interface, supports SAS expanders, uses sasflash utility to flash to IT mode.

IBM ServeRAID BR10i equivalent to LSI SAS3082E-R
Intel SASUC8I equivalent to LSI SAS3081E-R

SAS2008 based
SAS 6.0gbps, SATA 6.0gbps, approximately 9w of power consumption, PowerPC at 533MHz, no onboard cache, PCIe 2.0 x8 interface, supports SAS expanders (with dual linking), uses sas2flash utility to flash to IT mode (when possible).

IBM ServeRAID M1015 similar to LSI 9240-8i but the M1015 does not support RAID 5 and RAID 50 even when flashed to LSI 9240-8i firmware.
IBM 6 Gb Performance Optimized HBA (46M0912) - LSI-9240-8i (SSD enhanced)

Intel RS2WC080 looks identical to the LSI 9240-8i and IBM M1015, but supports RAID 5 and RAID 50 like the 9240-8i.
Lenovo 67Y1460 is a barely re-branded LSI 9240-8i.

IBM 6 Gb SAS Host Bus Adapter (46M0907) - LSI 9212-4i4e - 4x Internal SATA3 and 1x 4 SAS2 8088 external connector.

Dell PERC H200 ships with IT firmware but seems similar to the LSI 9211-8i
Page 2 sur 14 Heures au format UTC+03:00
Powered by phpBB® Forum Software © phpBB Limited
https://www.phpbb.com/