Pertama-tama, tentukan komponen dan sumber daya apa yang Anda perlukan. Anda memerlukan satu node utama, setidaknya selusin node komputasi yang identik, switch Ethernet, unit distribusi daya, dan rak. Tentukan kapasitas kabel dan pendinginan, serta jumlah ruang yang Anda perlukan. Putuskan juga alamat IP apa yang ingin Anda gunakan untuk node, perangkat lunak apa yang akan Anda instal, dan teknologi apa yang Anda perlukan untuk menciptakan daya komputasi paralel (lebih lanjut tentang ini di bawah).

• Meskipun perangkat kerasnya mahal, semua program yang disajikan dalam artikel ini didistribusikan secara gratis, dan sebagian besar bersifat open source.
• Jika Anda ingin mengetahui seberapa cepat superkomputer Anda secara teoritis, gunakan alat ini:

Pasang node. Anda perlu merakit node jaringan atau membeli server yang sudah dirakit sebelumnya.

• Pilih kerangka server yang memaksimalkan ruang, efisiensi energi, dan efisiensi pendinginan.
• Atau Anda dapat "mendaur ulang" selusin server bekas, beberapa server usang - dan bahkan jika bobotnya melebihi berat total komponen, Anda akan menghemat jumlah yang layak. Semua prosesor adaptor jaringan dan motherboard harus sama agar komputer dapat bekerja sama dengan baik. Tentu saja, jangan lupakan RAM dan hard drive untuk setiap node, serta setidaknya satu drive optik untuk simpul utama.

Instal server di rak. Mulailah dari bawah agar rak di bagian atas tidak kelebihan beban. Anda memerlukan bantuan teman - server yang dirakit bisa sangat berat, dan menempatkannya di dalam sangkar yang menahannya di rak cukup sulit.

Pasang sakelar Ethernet di sebelah rak. Sebaiknya segera konfigurasikan sakelar: atur ukuran bingkai jumbo menjadi 9000 byte, atur alamat IP statis yang Anda pilih pada langkah 1 dan matikan protokol yang tidak perlu seperti SMTP.

Memasang unit distribusi tenaga listrik (PDU, atau Power Distribution Unit). Bergantung pada beban maksimum yang dapat ditangani oleh node di jaringan Anda, Anda mungkin memerlukan 220 volt untuk komputer berperforma tinggi.

Setelah semuanya terinstal, lanjutkan ke konfigurasi. Faktanya, Linux adalah sistem pilihan untuk klaster berkinerja tinggi (HPC) - tidak hanya ideal sebagai lingkungan komputasi ilmiah, namun Anda juga tidak perlu membayar untuk menginstal sistem pada ratusan atau bahkan ribuan komputer. node. Bayangkan berapa biayanya Instalasi Windows ke semua node!

• Mulailah dengan instalasi versi terbaru BIOS untuk motherboard dan software dari pabrikan, yang harus sama untuk semua server.
• Tetapkan pilihan Anda Distribusi Linux untuk semua node, dan untuk node utama - kit distribusi dengan antarmuka grafis. Sistem populer: CentOS, OpenSuse, Scientific Linux, RedHat dan SLES.
• Penulis sangat merekomendasikan penggunaan Rocks Cluster Distribution. Selain menginstal semua perangkat lunak dan alat yang diperlukan untuk sebuah cluster, Rocks menyediakan metode terbaik untuk "memigrasikan" banyak salinan sistem dengan cepat ke server serupa menggunakan boot PXE dan prosedur "Kick Start" Red Hat.

Instal antarmuka penyampaian pesan, pengelola sumber daya, dan pustaka lain yang diperlukan. Jika Anda tidak menginstal Rocks pada langkah sebelumnya, Anda harus menginstal perangkat lunak yang diperlukan secara manual untuk mengatur logika komputasi paralel.

• Untuk memulai, Anda memerlukan sistem bash portabel, seperti Torque Resource Manager, yang memungkinkan Anda membagi dan mendistribusikan tugas di beberapa mesin.
• Tambahkan Maui Cluster Scheduler ke Torque untuk menyelesaikan instalasi.
• Selanjutnya Anda perlu menginstal antarmuka penyampaian pesan, yang diperlukan untuk memastikan bahwa proses individual di setiap node menggunakan data umum. OpenMP adalah opsi paling sederhana.
• Jangan lupa tentang perpustakaan dan kompiler matematika multi-thread yang akan “merakit” program Anda untuk komputasi terdistribusi. Apakah saya menyebutkan Anda sebaiknya bermain Rocks saja?

Hubungkan komputer ke dalam jaringan. Node utama mengirimkan tugas perhitungan ke node budak, yang pada gilirannya harus mengembalikan hasilnya, dan juga mengirim pesan satu sama lain. Dan semakin cepat semua ini terjadi, semakin baik.

• Gunakan pribadi jaringan Ethernet untuk menghubungkan semua node ke dalam sebuah cluster.
• Node master juga dapat bertindak sebagai server NFS, PXE, DHCP, TFTP dan NTP ketika terhubung ke Ethernet.
• Anda harus memisahkan jaringan ini dari jaringan publik untuk memastikan bahwa paket tidak tumpang tindih dengan paket lain di LAN.

Uji clusternya. Hal terakhir yang harus Anda lakukan sebelum memberikan akses daya komputer kepada pengguna adalah menguji kinerjanya. Benchmark HPL (High Performance Lynpack) adalah pilihan populer untuk mengukur kecepatan komputasi dalam sebuah cluster. Anda perlu mengkompilasi perangkat lunak dari sumber hingga tingkat optimasi tertinggi yang dimungkinkan oleh kompiler Anda untuk arsitektur yang Anda pilih.

• Anda tentu saja harus mengkompilasi dengan semuanya pengaturan yang memungkinkan pengoptimalan yang tersedia untuk platform yang Anda pilih. Misalnya saat menggunakan CPU AMD, kompilasi ke Open64 dan level optimasi -0.
• Bandingkan hasil Anda dengan TOP500.org untuk mengadu cluster Anda dengan 500 superkomputer tercepat di dunia!

Saya membangun “cluster” komputer papan tunggal pertama saya segera setelah komputer mikro PC Orange Pi mulai mendapatkan popularitas. Bisa disebut “cluster” dengan sangat luas, karena dari sudut pandang formal memang adil jaringan lokal dari empat papan yang “melihat” satu sama lain dan dapat mengakses Internet.

Perangkat tersebut berpartisipasi dalam proyek SETI@home dan bahkan berhasil menghitung sesuatu. Tapi sayangnya, tidak ada yang datang menjemputku dari planet ini.
Namun, selama mengutak-atik kabel, konektor, dan kartu microSD, saya belajar banyak. Jadi, misalnya, saya menemukan bahwa Anda tidak boleh mempercayai kekuatan catu daya yang dinyatakan, bahwa akan lebih baik untuk mendistribusikan beban dalam hal konsumsi, dan penampang kabel itu penting.

Dan ya, kami harus “bertani secara kolektif” sistem manajemen daya, karena pengaktifan lima perangkat papan tunggal secara bersamaan mungkin memerlukan arus pengasutan sekitar 8-10A (5*2)! Jumlahnya banyak, terutama untuk pasokan listrik yang dibuat di ruang bawah tanah negara, tempat kami senang memesan segala macam... gadget menarik.

Saya mungkin akan mulai dengan dia. Tugasnya turun ke tindakan yang relatif sederhana - setelah jangka waktu tertentu, nyalakan 4 saluran secara berurutan yang melaluinya 5 volt disuplai. Cara termudah untuk mengimplementasikan rencana Anda adalah Arduino (yang berlimpah di setiap geek yang menghargai diri sendiri) dan papan ajaib dari Ali dengan 4 relay.

Dan tahukah Anda, itu bahkan berhasil.

Namun, klik “gaya lemari es” saat startup menyebabkan beberapa ketidaknyamanan. Pertama, ketika terdengar bunyi klik, gangguan mengalir melalui catu daya dan kapasitor perlu dipasang, dan kedua, keseluruhan strukturnya cukup besar.

Jadi suatu hari saya cukup mengganti blok relay dengan saklar transistor berbasis IRL520.

Ini memecahkan masalah interferensi, tetapi karena MOSFET mengontrol "nol", saya harus meninggalkan kaki kuningan di rak agar tidak secara tidak sengaja menyambungkan ground papan.

Dan kini, solusi tersebut direplikasi dengan sempurna dan dua klaster sudah bekerja secara stabil tanpa kejutan apa pun. Seperti yang direncanakan.

Tapi mari kita kembali ke replikasi. Mengapa membeli catu daya dengan harga yang mahal ketika ada banyak ATX terjangkau yang bisa Anda beli?
Selain itu, mereka memiliki semua voltase (5,12,3.3), awal diagnosis mandiri dan kemungkinan kontrol program.

Baiklah, saya tidak akan membahas terlalu banyak detail di sini - artikel tentang mengendalikan ATX melalui Arduino.

Nah, apakah pilnya sudah dimakan semua, dan perangkonya juga ditempel? Saatnya menyatukan semuanya.

Akan ada satu node kepala yang terhubung ke dunia luar melalui WiFi dan mengirimkan “Internet” ke cluster. Ini akan didukung oleh tegangan siaga ATX.

Faktanya, TBNG bertanggung jawab untuk mendistribusikan Internet.
Jadi, jika diinginkan, node cluster bisa disembunyikan di balik TOR.

Juga, akan ada papan rumit yang terhubung melalui i2c ke node kepala ini. Ini akan dapat menghidupkan/mematikan masing-masing dari 10 node pekerja. Ditambah lagi, ia akan mampu mengontrol tiga kipas 12V untuk mendinginkan seluruh sistem.

Skenario pengoperasiannya adalah sebagai berikut: ketika ATX dihidupkan pada 220V, node kepala dimulai. Ketika sistem siap dioperasikan, sistem akan menyalakan 10 node dan kipas secara berurutan.
Ketika proses peralihan selesai, node kepala akan mengelilingi setiap node yang bekerja dan menanyakan bagaimana perasaan kita, berapa suhunya. Jika salah satu rak menjadi panas, tingkatkan aliran udara.
Nah, dengan perintah shutdown, setiap node akan dimatikan dan diberi energi dengan hati-hati.

Saya sendiri yang menggambar diagram papannya, jadi terlihat menyeramkan. Namun, orang yang terlatih melakukan penelusuran dan pembuatan, dan kami sangat berterima kasih padanya.

Ini dia sedang dalam proses perakitan

Berikut adalah salah satu sketsa pertama lokasi komponen cluster. Dibuat di selembar kertas kotak-kotak dan diabadikan melalui Office Lens melalui telepon.

Seluruh struktur ditempatkan pada selembar textolite yang dibeli untuk acara tersebut.

Ini kira-kira seperti apa lokasi node di dalamnya. Dua rak yang masing-masing terdiri dari lima kartu.

Di sini Anda dapat melihat kontrol Arduino. Terhubung ke kepala Orange Pi Pc melalui i2c melalui konverter level.

Nah, ini yang final (versi saat ini).

Jadi, yang Anda perlukan hanyalah menulis beberapa utilitas dengan Python yang akan menjalankan semua musik ini - nyalakan, nyalakan, sesuaikan kecepatan kipas.

Saya tidak akan membuat Anda bosan dengan detail teknisnya - tampilannya seperti ini:

1 2 3 4 5 6 7 8

#!/usr/bin/env sh echo "Memulai papan ATX..." /home/zno/i2creobus/i2catx_tool.py --mulai gema "Menetapkan nilai penggemar awal..." /home/zno/i2creobus/i2creobus_tool.py --kipas 0 --set 60 /home/zno/i2creobus/i2creobus_tool.py --kipas 1 --set 60 /home/zno/i2creobus/i2creobus_tool.py --kipas 2 --set 60

Karena kami sudah memiliki sebanyak 10 node, kami menggunakan Ansible, yang akan membantu, misalnya, mematikan semua node dengan benar. Atau jalankan monitor suhu pada masing-masingnya.

1 2 3 4 5 6 7 8

--- - tuan rumah: pekerja peran: - webmon_stop - webmon_hapus - webmon_install - webmon_mulai

Saya sering dituduh dengan nada meremehkan, mengatakan bahwa ini hanyalah jaringan lokal pelat tunggal (seperti yang telah saya sebutkan di awal). Secara umum, saya tidak peduli dengan pendapat orang lain, tapi mungkin kita akan menambahkan sedikit glamor dan mengatur cluster buruh pelabuhan.
Tugasnya sangat sederhana dan dapat diselesaikan dalam waktu kurang dari 10 menit. Kemudian kita meluncurkan sebuah instance Portainer di node kepala, dan voila!

Sekarang kamu bisa Sungguh tugas skala. Dengan demikian, penambang cryptocurrency Verium Reserve saat ini berjalan di cluster. Dan cukup berhasil. Saya berharap penduduk asli terdekat akan mendapatkan kembali listrik yang dikonsumsi;) Atau kurangi jumlah node yang terlibat dan menambang sesuatu yang lain seperti Turtle Coin.

Jika Anda menginginkan payload, Anda dapat memasukkan Hadoop ke dalam cluster atau mengatur penyeimbangan server web. Ada banyak gambar siap pakai di Internet, dan materi pelatihannya cukup. Nah, jika gambar (gambar buruh pelabuhan) hilang, Anda selalu dapat membuatnya sendiri.

Apa yang diajarkan hal ini kepada saya? Secara umum, “tumpukan” teknologi sangat luas. Nilailah sendiri - Docker, Ansible, Python, upgrade Arduino (maafkan saya, ini tidak akan dikatakan pada malam hari), dan shell, tentu saja. Dan juga KiCad dan bekerja sama dengan kontraktor :).

Apa yang bisa dilakukan dengan lebih baik? Banyak. Di sisi perangkat lunak, alangkah baiknya jika menulis ulang utilitas kontrol di Go. Omong-omong - membuatnya lebih steampunkish - KDPV pada awalnya meningkatkan standar dengan sempurna. Jadi ada sesuatu yang harus dikerjakan.

Peran yang dilakukan oleh:

• Node kepala - PC Orange Pi dengan usb wifi.
• Node yang berfungsi - Orange Pi PC2 x 10.
• Jaringan - 100 Mbit TP-link@16ports.
• Otak - Klon Arduino berdasarkan konverter level Atmega8 +.
• Jantungnya adalah pengontrol daya ATX dengan catu daya.
• Perangkat Lunak (jiwa) - Docker, Ansible, Python 3, sedikit shell dan sedikit kemalasan.
• Waktu yang dihabiskan sangat berharga.

Selama percobaan, beberapa papan Orange Pi PC2 rusak karena catu daya yang tercampur (terbakar dengan sangat baik), PC2 lainnya kehilangan Ethernet (ini adalah cerita terpisah di mana saya tidak memahami fisika prosesnya) .

Tampaknya itulah keseluruhan cerita “dari atas ke bawah.” Jika ada yang menganggapnya menarik, ajukan pertanyaan di komentar. Dan pilih pertanyaan di sana (suara positif - setiap komentar memiliki tombol untuk ini). Paling pertanyaan menarik akan dibahas dalam catatan baru.
Terima kasih telah membaca sampai akhir.

(Omong-omong, dimungkinkan untuk merakit cluster yang murah dan efisien dari xbox 360 atau PS3, prosesornya hampir sama dengan Power, dan Anda dapat membeli lebih dari satu konsol seharga satu juta.)

Berdasarkan hal ini, kami mencatat pilihan harga yang menarik untuk membangun sistem berkinerja tinggi. Tentu saja harus multiprosesor. Intel menggunakan prosesor Xeon untuk tugas tersebut, sedangkan AMD menggunakan prosesor Opteron.

Jika ada banyak uang

Secara terpisah, kami mencatat jajaran prosesor yang sangat mahal namun produktif berdasarkan soket Intel Xeon LGA1567.
Prosesor teratas di seri ini adalah E7-8870 dengan sepuluh core 2,4 GHz. Harganya $4616. Untuk CPU seperti itu, HP dan Supermicro memproduksi! delapan prosesor! sasis server. Delapan prosesor 10-core Xeon E7-8870 2,4 GHz dengan dukungan HyperThreading mendukung 8*10*2=160 thread, yang ada di manajer tugas Windows ditampilkan sebagai seratus enam puluh grafik beban prosesor, dengan matriks 10x16.

Agar delapan prosesor dapat masuk ke dalam casing, mereka tidak langsung dipasang papan utama, tetapi pada papan terpisah yang dicolokkan ke motherboard. Foto menunjukkan empat papan dengan prosesor terpasang di motherboard (masing-masing dua). Ini adalah solusi Supermicro. Dalam solusi HP, setiap prosesor memiliki papannya sendiri. Biaya solusi HP adalah dua hingga tiga juta, tergantung pada konten prosesor, memori, dan lainnya. Sasis dari Supermicro berharga $10.000, yang lebih menarik. Selain itu, Supermicro dapat memasang empat kartu ekspansi koprosesor di port PCI-Express x16 (omong-omong, masih ada ruang bagi adaptor Infiniband untuk merakit clusternya), sedangkan HP hanya memiliki dua. Jadi, untuk membuat superkomputer, platform delapan prosesor dari Supermicro lebih menarik. Foto pameran berikut menunjukkan superkomputer yang dirangkai dengan empat papan GPU.

Namun harganya sangat mahal.

Mana yang lebih murah?

Namun ada prospek merakit superkomputer dengan menggunakan bahan yang lebih terjangkau prosesor AMD Opteron G34, Intel Xeon LGA2011 dan LGA 1366.

Untuk memilih model tertentu, saya menyusun tabel di mana saya menghitung indikator harga/(jumlah inti*frekuensi) untuk setiap prosesor. Saya mengecualikan prosesor dengan frekuensi di bawah 2 GHz dari perhitungan, dan untuk Intel - dengan bus di bawah 6,4GT/s.

Model	Jumlah inti	Frekuensi	Harga, $	Harga/inti, $	Harga/Inti/GHz
AMD
6386 SE	16	2,8	1392	87	31
6380	16	2,5	1088	68	27
6378	16	2,4	867	54	23
6376	16	2,3	703	44	19
6348	12	2,8	575	48	17
6344	12	2,6	415	35	13
6328	8	3,2	575	72	22
6320	8	2,8	293	37	13
INTELI
E5-2690	8	2,9	2057	257	89
E5-2680	8	2,7	1723	215	80
E5-2670	8	2,6	1552	194	75
E5-2665	8	2,4	1440	180	75
E5-2660	8	2,2	1329	166	76
E5-2650	8	2	1107	138	69
E5-2687W	8	3,1	1885	236	76
E5-4650L	8	2,6	3616	452	174
E5-4650	8	2,7	3616	452	167
E5-4640	8	2,4	2725	341	142
E5-4617	6	2,9	1611	269	93
E5-4610	6	2,4	1219	203	85
E5-2640	6	2,5	885	148	59
E5-2630	6	2,3	612	102	44
E5-2667	6	2,9	1552	259	89
X5690	6	3,46	1663	277	80
X5680	6	3,33	1663	277	83
X5675	6	3,06	1440	240	78
X5670	6	2,93	1440	240	82
X5660	6	2,8	1219	203	73
X5650	6	2,66	996	166	62
E5-4607	6	2,2	885	148	67
X5687	4	3,6	1663	416	115
X5677	4	3,46	1663	416	120
X5672	4	3,2	1440	360	113
X5667	4	3,06	1440	360	118
E5-2643	4	3,3	885	221	67

Model dengan rasio minimum ditandai dengan huruf miring tebal, dan model dengan rasio tertinggi diberi garis bawah. AMD yang kuat dan menurut saya paling mendekati performanya dengan Xeon.

Jadi, prosesor pilihan saya untuk superkomputer adalah Opteron 6386 SE, Opteron 6344, Xeon E5-2687W dan Xeon E5-2630.

Motherboard

PICMG

Tidak mungkin memasang lebih dari empat kartu ekspansi dua slot pada motherboard biasa. Ada arsitektur lain - penggunaan backplane, seperti Backplane PCI Express BPG8032.

Papan tersebut berisi kartu ekspansi PCI Express dan satu papan prosesor, agak mirip dengan yang dipasang di server berbasis Supermicro delapan prosesor yang dibahas di atas. Namun hanya papan prosesor ini yang tunduk pada standar industri PICMG. Standar berkembang dengan lambat dan dewan semacam itu seringkali tidak memberikan dukungan maksimal prosesor modern. Maksimum papan prosesor yang tersedia saat ini adalah dua Xeon E5-2448L - Trenton BXT7059 SBC.

Sistem seperti itu tanpa GPU akan menelan biaya setidaknya $5.000.

Platform TYAN siap pakai

Dengan harga yang kurang lebih sama, Anda dapat membeli platform siap pakai untuk merakit superkomputer TYAN FT72B7015. Yang ini dapat menginstal hingga delapan GPU dan dua Xeon LGA1366.

Motherboard server "biasa".

Untuk LGA2011

Supermicro X9QR7-TF - motherboard ini dapat memasang 4 kartu ekspansi dan 4 prosesor.

Supermicro X9DRG-QF - board ini dirancang khusus untuk merakit sistem berkinerja tinggi.

Untuk Opteron

Supermicro H8QGL-6F - board ini memungkinkan Anda memasang empat prosesor dan tiga kartu ekspansi

Memperkuat platform dengan kartu ekspansi

Pasar ini hampir seluruhnya dikuasai oleh NVidia, yang selain memproduksi kartu video gaming, juga memproduksi kartu komputasi. AMD memiliki pangsa pasar yang lebih kecil, dan Intel Corporation memasuki pasar ini relatif baru.

Fitur dari koprosesor tersebut adalah adanya volume besar di dalamnya RAM, perhitungan presisi ganda yang cepat dan efisiensi energi.

	FP32, Tflop	FP64, Tflop	Harga	Memori, GB
Nvidia Tesla K20X	3.95	1.31	5.5	6
AMD FirePro S10000	5.91	1.48	3.6	6
Intel Xeon Phi 5110P		1	2.7	8
Nvidia GTXTitan	4.5	1.3	1.1	6
Nvidia GTX 680	3	0.13	0.5	2
Edisi AMD HD 7970 GHz	4	1	0.5	3
AMD HD 7990 Setan 13	2x3.7	2x0,92	1.6	2x3

Solusi teratas dari Nvidia disebut Tesla K20X berdasarkan arsitektur Kepler. Inilah kartu-kartu yang dipasang di superkomputer paling kuat di dunia, Titan. Namun baru-baru ini Nvidia merilisnya Kartu video GeForce Titan. Model lama telah mengurangi kinerja FP64 menjadi 1/24 dari FP32 (GTX680). Namun di Titan, pabrikan menjanjikan performa yang cukup tinggi dalam perhitungan presisi ganda. Solusi dari AMD juga bagus, tetapi dibangun pada arsitektur yang berbeda dan hal ini dapat menimbulkan kesulitan dalam menjalankan perhitungan yang dioptimalkan untuk CUDA (teknologi Nvidia).

Solusi dari Intel - Xeon Phi 5110P menarik karena semua core dalam koprosesor didasarkan pada arsitektur x86 dan tidak diperlukan optimasi kode khusus untuk menjalankan perhitungan. Namun favorit saya di antara koprosesor adalah AMD HD 7970 GHz Edition yang relatif murah. Secara teori, kartu video ini akan menunjukkan performa maksimal per biaya.

Dapat dihubungkan ke cluster

Untuk meningkatkan kinerja sistem, beberapa komputer dapat digabungkan menjadi satu cluster, yang akan mendistribusikan beban komputasi antar komputer yang termasuk dalam cluster tersebut.

Gunakan sebagai antarmuka jaringan Untuk menghubungkan komputer, gigabit Ethernet biasa terlalu lambat. Infiniband paling sering digunakan untuk tujuan ini. Adaptor host Infiniband lebih murah dibandingkan dengan server. Misalnya, pada lelang internasional Ebay, adaptor tersebut dijual dengan harga mulai dari $40. Misalnya, adaptor DDR X4 (20Gb/s) akan berharga sekitar $100 dengan pengiriman ke Rusia.

Pada saat yang sama, peralatan switching untuk Infiniband cukup mahal. Dan seperti disebutkan di atas, bintang klasik sebagai topologi jaringan komputer- Bukan pilihan terbaik.

Namun, host InfiniBand dapat dihubungkan satu sama lain secara langsung, tanpa saklar. Kemudian, misalnya, opsi ini menjadi cukup menarik: sekelompok dua komputer yang terhubung melalui infiniband. Superkomputer semacam itu dapat dengan mudah dirakit di rumah.

Berapa banyak kartu video yang Anda perlukan?

Dalam superkomputer paling kuat di zaman kita, Cray Titan, rasio prosesor terhadap "kartu video" adalah 1:1, yaitu memiliki 18688 prosesor 16-core dan 18688 Tesla K20X.

Di Tianhe-1A, superkomputer berbasis xeon Tiongkok, hubungannya adalah sebagai berikut. Dua prosesor enam inti untuk satu kartu video Nvidia M2050 (lebih lemah dari K20X).

Kami akan menganggap sikap majelis kami ini sebagai hal yang optimal (karena lebih murah). Artinya, 12-16 inti prosesor per GPU. Pada tabel di bawah, opsi yang memungkinkan secara praktis ditunjukkan dalam huruf tebal, dan opsi yang paling berhasil dari sudut pandang saya digarisbawahi.

GPU	Inti		CPU 6 inti		CPU 8 inti		CPU 12 inti		CPU 16 inti
2	24	32	4	5	3	4	2	3	2	2
3	36	48	6	8	5	6	3	4	2	3
4	48	64	8	11	6	8	4	5	3	4

Jika sistem sudah hubungan yang mapan prosesor/kartu video akan dapat menggunakan perangkat komputasi tambahan, kemudian kami akan menambahkannya untuk meningkatkan kekuatan rakitan.

Jadi berapa biayanya

Opsi yang disajikan di bawah ini adalah sasis superkomputer tanpa RAM, hard drive dan perangkat lunak. Semua model menggunakan adaptor video AMD HD 7970 GHz Edition. Itu dapat diganti dengan yang lain, sesuai kebutuhan tugas (misalnya, xeon phi). Jika sistem memungkinkan, salah satu AMD HD 7970 GHz Edition diganti dengan AMD HD 7990 Devil 13 tiga slot.

Opsi 1 pada motherboard Supermicro H8QGL-6F

papan utama	Supermikro H8QGL-6F	1	1200	1200
CPU	AMD Opteron 6344	4	500	2000
Pendingin CPU	Thermaltake CLS0017	4	40	160
Kasus 1400W	SC748TQ-R1400B	1	1000	1000
Akselerator grafis	Edisi AMD HD 7970 GHz	3	500	1500
				5860

Secara teoritis, kinerjanya akan menjadi sekitar 12 Tflops.

Opsi 2 pada motherboard TYAN S8232, cluster

Board ini tidak mendukung Opteron 63xx, jadi yang digunakan adalah 62xx. Dalam opsi ini, dua komputer dihubungkan ke dalam sebuah cluster melalui Infiniband x4 DDR menggunakan dua kabel. Secara teoritis, kecepatan koneksi dalam hal ini akan dibatasi pada kecepatan PCIe x8, yaitu 32Gb/s. Dua catu daya digunakan. Cara mengoordinasikannya satu sama lain dapat ditemukan di Internet.

		Kuantitas	Harga	Jumlah
papan utama	TYAN S8232	1	790	790
CPU	AMD Opteron 6282SE	2	1000	2000
Pendingin CPU	Noctua NH-U12DO A3	2	60	120
Bingkai	Antec Dua Belas Ratus Hitam	1	200	200
satuan daya	FSP AURUM PRO 1200W	2	200	400
Akselerator grafis	Edisi AMD HD 7970 GHz	2	500	1000
Akselerator grafis	AX7990 6GBD5-A2DHJ	1	1000	1000
Adaptor tak terbatas	X4 DDR pita tak terbatas	1	140	140
Kabel tak terbatas	X4 DDR pita tak terbatas	1	30	30
				5680 (per blok)

Untuk sekelompok konfigurasi seperti itu, Anda memerlukan dua dan biayanya akan sama $11360 . Konsumsi dayanya pada beban penuh sekitar 3000W. Secara teoritis, kinerjanya akan mencapai 31Tflops.

Artikel ini akan menunjukkan kepada Anda cara membangun cluster failover Server 2012 dengan dua node. Pertama, saya akan mencantumkan prasyarat dan memberikan gambaran umum tentang lingkungan perangkat keras, jaringan, dan pengaturan penyimpanan. Kemudian akan dijelaskan secara rinci cara memperluas Server 2012 dengan kemampuan pengelompokan failover dan menggunakan Failover Cluster Manager untuk mengonfigurasi kluster dua simpul.

DI DALAM Server Windows Ada begitu banyak inovasi di tahun 2012 sehingga sulit untuk melacak semuanya. Beberapa elemen terpenting dari infrastruktur TI baru melibatkan perbaikan dalam pengelompokan failover. Pengelompokan failover dimulai sebagai teknologi untuk melindungi aplikasi penting yang diperlukan untuk operasi produksi, seperti Microsoft SQLServer dan Microsoft Exchange. Namun kemudian, pengelompokan failover berkembang menjadi platform ketersediaan tinggi untuk sejumlah layanan dan Aplikasi Windows. Pengelompokan failover adalah bagian dari dasar Pusat Data Dinamis dan teknologi seperti migrasi langsung. Dengan Server 2012 dan peningkatan baru Protokol server Blok Pesan (SMB) 3.0 memperluas cakupan pengelompokan failover untuk menyediakan sumber daya file yang terus tersedia akses bersama. Gambaran umum tentang fungsionalitas pengelompokan failover di Server 2012 diberikan dalam artikel “Fitur baru pengelompokan failover di Windows Server 2012” yang diterbitkan dalam edisi majalah yang sama.

Prasyarat Pengelompokan Failover

Untuk membangun kluster failover Server 2012 dua simpul, Anda memerlukan dua komputer yang menjalankan Pusat Data Server 2012 atau edisi Standar. Ini bisa berupa komputer fisik atau mesin virtual. Cluster dengan node virtual dapat dibangun menggunakan Microsoft Hyper-V atau VMware vSphere. Artikel ini menggunakan dua server fisik, namun langkah-langkah untuk menyiapkan cluster untuk node fisik dan virtual sama. Fitur Utama adalah node harus dikonfigurasi secara identik sehingga node cadangan dapat menjalankan beban kerja jika terjadi failover atau migrasi langsung. Komponen yang digunakan dalam kluster failover pengujian Server 2012 ditunjukkan pada gambar.

Kluster failover Server 2012 memerlukan penyimpanan bersama seperti iSCSI, SCSI Terlampir Serial, atau Fibre Channel SAN. Contoh kami menggunakan iSCSI SAN. Fitur-fitur berikut dari jenis penyimpanan ini harus diingat.

• Setiap server harus memiliki setidaknya tiga adaptor jaringan: satu untuk menghubungkan penyimpanan iSCSI, satu untuk berkomunikasi dengan node cluster, dan satu lagi untuk berkomunikasi dengan jaringan eksternal. Jika Anda berencana menggunakan klaster untuk migrasi langsung, maka akan berguna jika Anda memiliki adaptor jaringan keempat. Namun, migrasi langsung juga dapat dilakukan melalui eksternal koneksi jaringan- itu hanya akan berjalan lebih lambat. Jika server digunakan untuk virtualisasi dan konsolidasi server berbasis Hyper-V, maka adaptor jaringan tambahan diperlukan untuk mengirimkan lalu lintas jaringan mesin virtual.
• Bekerja pada jaringan cepat selalu lebih baik, jadi kecepatan saluran komunikasi iSCSI harus minimal 1 GHz.
• Target iSCSI harus sesuai dengan spesifikasi iSCSI-3, khususnya menyediakan redundansi yang persisten. Ini adalah persyaratan wajib untuk migrasi hidup. Hampir semua vendor penyimpanan memiliki perangkat keras yang sesuai dengan iSCSI 3. Jika Anda ingin menyiapkan klaster di lingkungan lab dengan biaya rendah, pastikan untuk memastikan bahwa perangkat lunak target iSCSI memenuhi persyaratan iSCSI 3 dan redundansi persisten. Openfiler versi lama tidak mendukung standar ini, namun versi baru Openfiler dengan Plugin Target iSCSI Tingkat Lanjut (http://www.openfiler.com/products/advanced-iscsi-plugin). Di samping itu, versi gratis StarWind iSCSI SAN Edisi Gratis dari StarWind Software (http://www.starwindsoftware.com/starwind-free) sepenuhnya kompatibel dengan Hyper-V dan migrasi langsung. Beberapa Versi Microsoft Windows Server juga dapat berfungsi sebagai target iSCSI yang sesuai dengan standar iSCSI 3. Server 2012 menyertakan target iSCSI. Windows Storage Server 2008 R2 mendukung perangkat lunak target iSCSI. Selain itu, Anda dapat mengunduh program Microsoft iSCSI Software Target 3.3 (http://www.microsoft.com/en-us/download/details.aspx?id=19867), yang berfungsi dengan Windows Server 2008 R2.

Untuk informasi selengkapnya tentang mengonfigurasi penyimpanan iSCSI untuk kluster failover, lihat sidebar "Contoh Konfigurasi Penyimpanan ISCSI". Rincian lebih lanjut tentang persyaratan untuk pengelompokan failover dijelaskan dalam artikel “Persyaratan Perangkat Keras dan Opsi Penyimpanan Pengelompokan Failover” (http://technet.microsoft.com/en-us/library/jj612869.aspx).

Menambahkan Fitur Failover Clustering

Langkah pertama untuk membuat cluster failover Server 2012 dua node adalah menambahkan komponen cluster failover menggunakan Server Manager. Server Manager otomatis terbuka ketika Anda login ke Server 2012. Untuk menambahkan fitur failover cluster, pilih Server Lokal dan gulir ke bawah ke bagian PERAN DAN FITUR. Dari daftar drop-down TASKS, pilih Add Roles and Features, seperti yang ditunjukkan Gambar 1. Ini akan meluncurkan Add Roles and Features Wizard.

Halaman pertama yang dibuka setelah meluncurkan wizard adalah halaman selamat datang Sebelum Anda memulai. Klik Berikutnya untuk membuka halaman pemilihan jenis instalasi, yang menanyakan apakah Anda ingin menginstal komponen tersebut komputer lokal atau dalam pelayanan Desktop Jarak Jauh. Untuk contoh ini, pilih opsi instalasi berbasis peran atau berbasis fitur dan klik Berikutnya.

Pada halaman Pilih server tujuan, pilih server tempat Anda ingin menginstal fitur kluster failover. Dalam kasus saya itu server lokal bernama WS2012-N1. Dengan server lokal Anda dipilih, klik Berikutnya untuk membuka halaman Pilih peran server. DI DALAM dalam contoh ini Peran server belum ditetapkan, jadi klik Berikutnya. Atau Anda dapat mengklik link Fitur di menu sebelah kiri.

Pada halaman Pilih fitur, gulir ke bawah daftar fitur ke Pengelompokan Failover. Klik pada kotak di depan Failover Clustering dan Anda akan melihat kotak dialog yang mencantumkan berbagai komponen yang akan diinstal sebagai bagian dari komponen tersebut. Seperti yang ditunjukkan Gambar 2, secara default wizard akan menginstal alat manajemen kluster failover dan modul kluster failover untuk Windows PowerShell. Klik tombol Tambah Fitur untuk kembali ke halaman pemilihan fitur. Klik Berikutnya.

Halaman Konfirmasi pilihan instalasi akan menampilkan fitur kluster failover bersama dengan alat manajemen dan modul PowerShell. Anda dapat kembali dan membuat perubahan apa pun dari halaman ini. Ketika Anda mengklik tombol Instal, instalasi komponen yang sebenarnya akan dimulai. Setelah instalasi selesai, wizard akan selesai dan fitur Failover Cluster akan muncul di bagian PERAN DAN FITUR Manajer Server. Proses ini harus diselesaikan pada kedua node.

Menguji Kluster Failover

Langkah selanjutnya setelah menambahkan fitur failover cluster adalah meninjau pengaturan lingkungan di mana cluster dibuat. Di sini Anda dapat menggunakan Validasi Pengaturan Wizard di Failover Cluster Manager. Wizard ini memeriksa pengaturan perangkat keras dan perangkat lunak semua node di cluster dan melaporkan masalah apa pun yang mungkin mengganggu organisasi cluster.

Untuk membuka Failover Cluster Manager, pilih opsi Failover Cluster Manager dari menu Tools di Server Manager. Di area Manajemen, klik link Validasi Konfigurasi, seperti yang ditunjukkan Gambar 3, untuk meluncurkan Wizard Validasi Konfigurasi.

Layar 3: Meluncurkan Wizard Konfigurasi Verifikasi

Pertama, halaman selamat datang wizard akan muncul. Klik Berikutnya untuk masuk ke halaman pilihan server atau Cluster. Di halaman ini, masukkan nama node cluster yang ingin Anda periksa. Saya menentukan WS2012-N1 dan WS2012-N2. Klik Berikutnya untuk menampilkan halaman Opsi Pengujian, tempat Anda dapat memilih rangkaian pengujian tertentu atau menjalankan semua pengujian. Setidaknya untuk pertama kalinya, saya sarankan menjalankan semua tes. Klik Berikutnya untuk membuka halaman konfirmasi yang menampilkan pengujian yang sedang berjalan. Klik Berikutnya untuk memulai proses pengujian cluster. Selama pengujian, versinya diperiksa sistem operasi, pengaturan jaringan dan penyimpanan untuk semua node cluster. Ringkasan hasil ditampilkan setelah tes selesai.

Jika uji validasi berhasil, Anda dapat membuat cluster. Gambar 4 menunjukkan layar ringkasan klaster yang berhasil diverifikasi. Jika ditemukan kesalahan selama pemeriksaan, laporan akan ditandai segitiga kuning(peringatan) atau tanda "X" merah untuk kesalahan serius. Peringatan harus dibaca tetapi dapat diabaikan. Kesalahan serius harus diperbaiki sebelum membuat cluster.

Akibatnya, wizard pembuatan cluster akan diluncurkan, yang dimulai dari halaman selamat datang. Klik Next untuk masuk ke halaman Pemilihan Server, yang ditunjukkan pada Gambar 6. Pada halaman ini, masukkan nama semua node di cluster, lalu klik Next.

Pada halaman Access Point for Administering the Cluster, Anda harus menentukan nama dan alamat IP cluster, yang harus unik di jaringan. Seperti yang Anda lihat di Layar 7, nama cluster saya adalah WS2012-CL01 dan alamat IP adalah 192.168.100.200. Saat menggunakan Server 2012, alamat IP cluster dapat ditetapkan melalui DHCP, tapi saya lebih suka alamat IP yang ditetapkan secara statis untuk server saya.

Setelah memasukkan nama dan alamat IP Anda, klik Next untuk melihat halaman konfirmasi (Gambar 8). Di halaman ini Anda dapat memverifikasi pengaturan yang dibuat saat membuat cluster. Anda dapat kembali dan melakukan perubahan jika perlu.

Setelah mengklik tombol Next pada halaman konfirmasi, cluster terbentuk pada semua node yang dipilih. Halaman kemajuan menunjukkan langkah-langkah wizard dalam proses pembuatan cluster baru. Setelah selesai, wizard akan menampilkan halaman ringkasan dengan pengaturan untuk cluster baru.

New Cluster Wizard secara otomatis memilih kuorum penyimpanan, namun sering kali memilih kuorum disk yang berbeda dari yang diinginkan administrator. Untuk memeriksa disk mana yang digunakan untuk kuorum, buka Failover Cluster Manager dan perluas cluster. Kemudian buka node Penyimpanan dan klik node Disk. Disk yang tersedia di cluster akan ditampilkan di panel Disk. Disk yang dipilih oleh wizard untuk kuorum klaster akan dicantumkan di bagian Saksi Disk di Kuorum.

Dalam contoh ini, Cluster Disk 4 digunakan untuk kuorum. Ukurannya adalah 520 MB, sedikit lebih besar dari nilai minimum kuorum sebesar 512 MB. Jika Anda ingin menggunakan disk yang berbeda untuk kuorum klaster, Anda dapat mengubah pengaturan klaster dengan mengklik kanan nama klaster di Failover Cluster Manager, memilih Tindakan Lainnya, lalu memilih Konfigurasikan Pengaturan Kuorum Klaster. Ini akan menampilkan Wizard Konfigurasi Kuorum, yang memungkinkan Anda mengubah pengaturan kuorum klaster.

Mengonfigurasi Volume Bersama Klaster dan Peran Mesin Virtual

Kedua node di cluster saya memiliki peran Hyper-V karena cluster dirancang untuk mesin virtual dengan ketersediaan tinggi yang menyediakan migrasi langsung. Untuk mempermudah migrasi langsung, selanjutnya Anda perlu mengonfigurasi Cluster Shared Volumes (CSV). Tidak seperti Server 2008 R2, Cluster Shared Volumes diaktifkan secara default di Server 2012. Namun, Anda masih perlu menentukan penyimpanan mana yang akan digunakan untuk Volume Bersama Klaster. Untuk mengaktifkan CSV pada disk yang tersedia, perluas node Penyimpanan dan pilih node Disk. Selanjutnya, pilih disk cluster yang ingin Anda gunakan sebagai CSV dan klik link Add to Cluster Shared Volumes di panel Actions pada Failover Cluster Manager (Gambar 9). Bidang Ditugaskan Ke untuk disk cluster ini berubah dari Penyimpanan yang Tersedia menjadi Volume Bersama Cluster, seperti yang ditunjukkan Gambar 9.

Saat ini, Failover Cluster Manager mengonfigurasi penyimpanan disk cluster untuk CSV, khususnya menambahkan titik mount ke dalamnya disk sistem. Dalam contoh ini, Cluster Shared Volumes diaktifkan pada Cluster Disk 1 dan Cluster Disk 3 dengan menambahkan titik pemasangan berikut:

* C:ClusterStorageVolume1 * C:ClusterStorageVolume2

Pada tahap ini, cluster dua node Server 2012 telah dibangun dan Cluster Shared Volumes telah diaktifkan. Anda kemudian dapat menginstal aplikasi cluster atau menambahkan peran ke cluster. Dalam hal ini, cluster dibuat untuk virtualisasi, jadi kami menambahkan peran mesin virtual ke cluster.

Untuk menambahkan peran baru, pilih nama klaster di panel navigasi Failover Cluster Manager dan klik tautan Konfigurasikan Peran di panel Tindakan untuk meluncurkan Wizard Ketersediaan Tinggi. Klik Berikutnya di halaman Selamat Datang untuk membuka halaman pemilihan peran. Gulir ke bawah daftar peran hingga Anda melihat peran mesin virtual, seperti yang ditunjukkan Gambar 10. Pilih peran dan klik Berikutnya.

Halaman Pilih Mesin Virtual akan mencantumkan semua VM di semua node di cluster, seperti yang ditunjukkan Gambar 11. Gulir daftar dan pilih mesin virtual yang ingin Anda berikan ketersediaan tinggi. Klik Berikutnya. Setelah Anda mengonfirmasi pilihan Anda, klik Berikutnya untuk menambahkan peran mesin virtual ke Failover Cluster Manager.

Contoh konfigurasi penyimpanan iSCSI

Untuk toleransi kesalahan kluster Windows Server 2012 memerlukan penyimpanan bersama, yang dapat berupa iSCSI, Serially Attached SCSI, atau Fibre Channel SAN. Kluster failover ini menggunakan Channel SAN.

Pertama, tiga LUN dibuat di iSCSI SAN. Satu LUN dibuat untuk disk kuorum cluster (520 MB). LUN lainnya ditujukan untuk 10 mesin virtual dan berukuran 375 GB. LUN ketiga didedikasikan untuk mesin virtual pengujian kecil. Ketiga LUN dalam format NTFS.

Setelah LUN dibuat, Inisiator iSCSI dikonfigurasikan pada kedua node Server 2012. Untuk menambahkan target iSCSI, Inisiator iSCSI dipilih dari menu Alat di Manajer Server. Pada tab Penemuan, saya mengklik tombol Temukan Portal. Hasilnya, kotak dialog Discover Portal muncul, di mana alamat IP (192.168.0.1) dan port iSCSI (3260) dari jaringan SAN dimasukkan.

Saya kemudian pergi ke tab Target dan mengklik tombol Hubungkan. Di kotak dialog Connect To Target, saya memasukkan nama target iSCSI SAN. Itu diperoleh dari properti SAN. Namanya bergantung pada penyedia SAN, nama domain, dan nama LUN yang dibuat. Selain nama target, saya mengatur mode Tambahkan koneksi ini ke daftar Target Favorit.

Setelah pengaturan iSCSI selesai, LUN ini akan muncul di tab Target pada Inisiator iSCSI. Untuk memasang LUN secara otomatis ketika Server 2012 dimulai, saya memastikan LUN tersebut terdaftar di tab Target Favorit, seperti yang ditunjukkan pada Layar A.

Layar A: Mengonfigurasi Inisiator iSCSI

Terakhir, nama huruf ditetapkan ke LUN menggunakan snap-in Disk Konsol manajemen Manajemen Microsoft (MMC). Saya memilih Q untuk disk kuorum dan W untuk disk yang digunakan untuk mesin virtual dan Cluster Shared Volumes (CSV). Saat menetapkan simbol huruf, Anda harus menetapkannya terlebih dahulu pada node yang sama. Kemudian Anda perlu membuat disk offline dan membuat tugas serupa pada node kedua. Hasil penetapan huruf drive untuk satu node ditampilkan di Layar B. Saat Anda membuat cluster, drive akan ditampilkan sebagai penyimpanan yang tersedia.