Projekte

RKN-Cluster

Donnerstag, 2015-11-05

  • das Gehäuse hat nun 8 Etagen, es fehlt nur noch der "Deckel" (dazu müssen nur noch ein paar Gewindestangen gekürzt werden)
  • es steht nun im RNA World Labor
  • das Tegra rechnet bereits fleissig vor sich hin und wird derzeit zur Entwicklung eines GPU-Clients (NVIDIA Kepler) für Einstein@home eingesetzt
  • die schon erwähnte Gigabyte WINDFORCE GTX780 GPU wurde bereits ins Case auf einem µATX-Board mit AMD 6-Kerner CPU verbaut
  • Kraftplex hat die versprochenen Celluloseplatten geliefert und Mr. Beam ist kontaktiert zwecks Nutzung von deren schönem Lasercutter zur Herstellung der Seitenverkleidungen
  • die beiden 1050 W Seasonic Netzteile (Mann, sind die schwer...) sind ebenfalls eingetrudelt und werden demnächst verbaut

Montag, 2015-10-12

  • einige der Bodenplatten musste nochmals überarbeitet werden
  • die neuen 6-Kantverbinder wurden ausgebohrt
  • zwei Seasonic X-Series 1050 W Netzteile wurden heute geordert, um die Cluster-Systeme nebst GraKas mit anständig Reserven befeuern zu können; auch Dual-Board Stromversorgungen dürften damit möglich sein; die Netzteile haben wahnsinnige 7 Jahre Garantie (ich selbst habe ein 750er dieser Serie seit gut einem jahr im heftigen Dauererinsatz: MSI Lightning 290X unter Dauervollast)

Samstag, 2015-10-10

  • der (vorerst) letzte Satz 6-Kantverbinder und Acrylunterlegscheiben wurde eingekauft

Dienstag, 2015-10-06

  • eine Gigabyte WINDFORCE GTX 750 treudelt als Spende ein: die Karte ist so lang, dass sie GERADE NOCH SO ins Rack passt. Lehre: Die Backplatelüfter dürfen auf keinen Fall mit der GraKa-Positionierung zusammenfallen; der intern zur Verschraubung geplante Lüfter würde NICHT noch dahinter passen

Dienstag, 2015-10-06

  • zwei weitere Ebenen wurden ins Rack eingebaut, die oberste Halbebene trägt nun den Lightscribe DVD-Brutzler, darüber werden noch zwei Ebenen kommen, dann ist das Stäpelchen vorerst komplettiert

Samstag & Sonntag, 2015-10-03/04

  • das Cluster-Rack wurde erstmals in Berlin auf der Maker Faire präsentiert: der aufgebaute Transport im Kofferraum habe ich als Stresstest für die Systemstabilität genutzt - alles blieb heile
  • etliche Leute wollten sogleich die Schablone für eine Reproduktion abgreifen
  • ich werde die Infos im Detail auf eine Webseite packen,sobald das Projekt abgeschlossen ist
  • Franz Betz von Kraftplex bot uns 20 A3-Platten zum Testen an (sollten sich insbesondere für die Seitenwände ideal eignen)
  • ich sprach auch Mr. Beam wegen eines LaserCutters an (der kann das Kraftplex-Material wunderbar bearbeiten): dort wird in Kürze weiter verhandelt werden

Donnerstag, 2015-10-01

  • das Jetson Tegra K1 wurde über M3-Borhungen/eigene Gweindestangen auf seine BasePlate montiert und in den Clustertower integriert

Dienstag, 2015-09-29

  • heute wurden die Gewindestangen (M3) für das Jetson zugeschnitten, neue ATX-Basisplatten gebohrt und MINI-ITX/ARM-Board-Basisplatten zugeschnitten und gebohrt

Montag, 2015-09-28

  • heute wurden die Mini-ITX Basisplatten neu dimensioniert, die alten entsprechend angepasst und die Schablone für die Aufnahme von NVIDIA Jetson Tegra K1- und ODROID-U3-Boards vorbereitet (alles vermessen und eingezeichnet)

Donnerstag, 2015-09-17

  • habe heute im Rahmen meines Vortrags auf dem Citizen Cyberlab Summit in Genf auch die ersten Bilder des Prototyps gezeigt.

Sonntag, 2015-09-27

  • heute habe ich mal ein wenig Recherche zu Netzteilen betrieben; am geeignetsten scheint mir die Seasonic X-Series mit 1050 W: Man kann damit auch moderne CPUs mit mehr als einer (heftigen) Grafikkarte betreiben

Montag, 2015-09-14

  • endlich ist das NVIDIA Jetson Tegra K1 des Clusters per SSH auch von außen erreichbar; zudem wurde das System so überarbeitet, dass nun auch unser hausgeigenes Projekt Yoyo@home darauf läuft und munter Arbeitspakete abgearbeitet werden; auch die CUDA-fähige NVIDIA Fermi-Grafikkarte ist nun nutzbar, das Problem ist allerdings bislang, dass anscheinend bis dato kein Projekt für CUDA-on-ARM einen Client anbietet; wir werden deshalb auch externen Distributed Computing Projektentwicklern per SSH das Board zu Client-Entwicklungszwecken verfügbar machen
  • auch der Clustergehäusebau schreitet voran; inzwischen sind drei Boards auf drei Etagen verbaut, die vierte und fünte Etage ist gerade im Aufbau - das notwendige Material wurde bereits hergestellt; auch das NVIDIA Jetson TK1 wird in das Gehäuse integriert werden - voraussichtlich lassen sich davon sogar gleich zwei Boards über dem CPU-Block eines ATX-Boards pro Etage verbauen, da es bloss 13 x 13 cm mißt

Mittwoch, 2015-08-14

  • nach einigen Überarbeitungen sind nun die ersten beiden Boards im Protoyprack verbaut (1x ATX nebst GraKa & 1x Mini-ITX)
  • weiteres Material ist in der Anfertigung, um die restlichen Boards aufzunehmen
  • die Seitenpanelschienen wurden überarbeitet
  • 120 mm Lüfter von der Firma Skythe wurden als würdig erkoren, zukünftig den Cluster zu belüften

Mittwoch, 2015-07-30

  • die Abschirmung ist beim Mini-ITX-Prototypen fertig, erste Seitenwandeinschubsschienen sind gefräst; es gibt nun noch diverse Details für die Integration von Grafikkarten unterschiedlichster Abmessungen zu klären; auch die Luftzirkulation wird noch einiges an Arbeit erfordern

Freitag, 2015-07-24

  • die Schablone für das Clustergehäuse ist inzwischen gebohrt, Gewindestangen sind getrimmt, Verbinder angefertigt und diverse Prototypen für ATX, µATX und Mini-ITX Boards stehen in meinem Wohnzimmer; als nächstes wird die Abschirmung eingebaut und dann muss ich mich um die Seitenteile kümmern

Sonntag, 2015-07-19

  • inzwischen ist ein erster Node des Rechenkraft.net Clusters wieder am Netz: Das NVIDIA Jetson Tegra K1

Donnerstag, 2015-05-07

  • die Suche nach einem Standard-HDMI-Stecker auf Micro-HDMI-Buchsen-Kabel verläuft erfolglos; Ziel ist der Anschluss des NVIDIA Jetson TK1 per HDMI-Buchse an den Micro-HDMR Stecker-(!)-Eingang des Motorola LapDocks

Mittwoch, 2015-05-06

  • nachdem das Netzteil eines der Cluster-Nodes um Weihnachten "Rauchzeichen" von sich gab und der Cluster aus Sicherheitsgründen komplett abgeschaltet wurde, habe ich mir in den vergangenen Monaten ein paar Gedanken zu einem beliebig erweiterbaren, modularen Gehäusebau gemacht
  • heute wurde zur praktischen Umsetzung ein erster Satz Metallhardware vom Baumarkt besorgt, um den ersten Prototypen anzugehen
  • das inzwischen von der Firma MEGWARE GmbH gesponsorte NVIDIA Jetson TK1 Board "glänzt" hinsichtlich PCB-Bohrungen zunächst einmal duch Nichteinhaltung von Standards: Anstelle der üblichen M4-Bohrungen passen bestenfalls M3-Außengewindestangen durch die 4 Bohrlöcher. Bedeutet: Zur Integration solcher Systeme in das angedachte Clusterrack müssen unkonventionelle Übergangsstücke handgefertigt werden M4 -> M3 (kein Ding, aber trotzdem "Arsch")

Montag, 2014-11-24

  • habe erstmals Arch Linux auf Node PC5 alleine installiert

Sonntag, 2014-11-23

  • Habe auf Node PC5 OpenSuse installiert: Muss sagen, es ist wesentlich besser dokumentiert als Ubuntu oder sonst eine Distribution, die ich von den GUI-Installervarianten bislang getestet habe
  • ATI Treiberinstallation ist sauber dokumentiert; nach Reboot dennoch nur noch Konsole; Problem: Vermutlich habe ich den schon installierten OpenSource treiber nicht deinstalliert - da dürfte dann was haken...

Freitag, 2014-11-21

  • Nach einigen Problemen mit Ubuntu installiert $jemand Archlinux und Catalyst-Treiber streng nach Anleitung. Nicht mal eine Arbeitsstunde. 
    • echo -n "

[catalyst]
Server = http://catalyst.wirephire.com/repo/catalyst/$arch
" >> /etc/pacman.conf
    • pacman-key --recv-keys 653C9094
    • pacman-key --recv-keys 653C3094
    • pacman-key --lsign-key 653C3094
    • pacman -Syu
    • pacman -S catalyst-utils opencl-catalyst catalyst-hook lib32-opencl-catalyst boinc boinctui
    • systemctl enable catalyst-hook
    • systemctl start catalyst-hook
    • reboot…
    • systemctl enable boinc
    • systemctl start boinc
    • warten…
    • echo echo > /var/lib/boinc/gui_rpc_auth.cfg
    • systemctl restart boinc
    • boinctui
  • Boinc als root (#yolo) oder http://devgurus.amd.com/thread/168273
    • User in /usr/lib/systemd/system/boinc.service ändern.
  • Neues Tool: boinctui
  • Pro tip: Integrated Graphics auf „Force“ in Firmware stellen bringt nichts. Schrott Firmware.

Sonntag, 2014-11-17

  • heute noch ein Versuch, die MSI ATI 7750 mit OpenCL unter BOINC ans Laufen zu bekommen: Ich mache es kurz. Umstellung auf Ubuntu 14.10 bringt gar nichts. Es liegt also wohl nicht an der Distributionsversion, sondern eher an der Kombination der Hardware? Ich tappe im Dunklen...

Sonntag, 2014-11-16

  • heute ein Versuch, die MSI ATI 7750 mit OpenCL unter BOINC ans Laufen zu bekommen:
    • GraKa-Treiber auf "free" zurückgesetzt
    • unten stehendes Protokoll wiederholt
    • --> tut nicht!
    • angeblich soll das bloße Auswählen der proprietären GraKa-Treiber unter Ubuntu laufen. Hier nicht. Ich frage mich, ob BOINC nicht vorinstalliert sein darf und/oder während dieser Konfigurationsumstellung nicht laufen darf? Ich hatte daher BOINC nebst Applikationen zumindest vor Installation des SDK gestoppt. Brachte aber nichts... Werde evt. Mogren mal Version 14.10 probieren - die LTS-Versionen von Ubuntu waren bislang nach meiner Erfahrung stets fehlerhaft...
  • habe dann sämtliche Cluster-Nodes gecheckt / neugestartet, Firewalls aktiviert (die waren per Default "off" - Danke Antergos...), BOINC/WUs auf Vordermann gebracht (momentan läuft das WCG Race von SETI-GERMANY) und bei den beiden NVIDIA GPU-Nodes (...-PC2 & ...-PC4) jeweils einen CPU-Kern zur Steuerung der GPU reserviert (neues BOINC-Profil namens "GPU" angelegt und für diese Clients zugewiesen)
  • eine HIS GraKa vom Typ NVIDIA GTX 650Ti (1000 MB GDDR5 RAM) traf heute als Spende für den Cluster aus Österreich ein; leider reichen die Netzteile nicht aus, um diese sicher zu bedienen (TDP(max)>=110 W) - evt. muss ich Node ...-PC4 nochmal durchrechnen und dann dort zwei GraKas laufen lassen, allerdings hängt an dem Thermaltake 600 W Netzteil neben dem Q6700 und der Zotac GTX 560 Ti (TDP=170-220 W, je nach RAM-Bestückung) noch die PicoPSU (liefert max. 160 W) zum Betrieb von Node ...PC5 dran...

Montag, 2014-11-10

  • heute erneut ein Versuch, die ATI IGP der 5350 AMD APU mit OpenCL unter BOINC ans Laufen zu bekommen:
    • sudo apt-get update
    • sudo apt-get build-dep fglrx fglrx-amdcccle
    • sudo apt-get install lib32gcc1
    • sudo apt-get install dh-make build-essential dh-modaliases execstack dkms linux-headers-generic
    • AMD Treiber laden von: http://support.amd.com/en-us/download/desktop?os=Linux+x86
    • cd Downloads
    • unzip amd-catalyst-14-9-linux-x86-x86-64.zip
    • cd fglrx-14.301.1001
    • sudo ./amd-driver-installer-14.301.1001-x86.x86_64.run --listpkg
    • sudo ./amd-driver-installer-14.301.1001-x86.x86_64.run --buildpkg Ubuntu/trusty
    • sudo dpkg --install *.deb
    • sudo amdconfig --initial --adapter=all
    • Systemneustart
    • OpenCL-SDK von AMD laden von: http://developer.amd.com/tools-and-sdks/opencl-zone/amd-accelerated-parallel-processing-app-sdk/
    • tar –vxf AMD-APP-SDK-linux-v2.9-1.599.381-GA-x64.tar.bz2
    • sudo ./AMD-APP-SDK-v2.9-1.599.381-GA-linux64.sh
    • Systemneustart
    • clinfo --> Absturz
    • Boinc-Managermeldungen:

ma 10 nov 2014 22:02:56 CET | | Starting BOINC client version 7.2.42 for x86_64-pc-linux-gnu ma 10 nov 2014 22:02:56 CET | | log flags: file_xfer, sched_ops, task ma 10 nov 2014 22:02:56 CET | | Libraries: libcurl/7.35.0 OpenSSL/1.0.1f zlib/1.2.8 libidn/1.28 librtmp/2.3 ma 10 nov 2014 22:02:56 CET | | Data directory: /var/lib/boinc-client ma 10 nov 2014 22:02:56 CET | | No usable GPUs found ma 10 nov 2014 22:02:56 CET | | Host name: RKN-Cluster-Node-PC5 ma 10 nov 2014 22:02:56 CET | | Processor: 4 AuthenticAMD AMD Athlon(tm) 5350 APU with Radeon(tm) R3 [Family 22 Model 0 Stepping 1] ma 10 nov 2014 22:02:56 CET | | Processor features: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl nonstop_tsc extd_apicid aperfmperf eagerfpu pni pclmulqdq monitor ssse3 cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx f16c lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt topoext perfctr_nb perfctr_l2 arat xsaveopt hw_pstate proc_feedback npt lbrv svm_lock nrip_save tsc_scale flushbyasid decodeassists pausefilter pfthreshold bmi1 ma 10 nov 2014 22:02:56 CET | | OS: Linux: 3.13.0-39-generic ma 10 nov 2014 22:02:56 CET | | Memory: 5.71 GB physical, 7.95 GB virtual ma 10 nov 2014 22:02:56 CET | | Disk: 221.28 GB total, 203.41 GB free ma 10 nov 2014 22:02:56 CET | | Local time is UTC +1 hours ma 10 nov 2014 22:02:56 CET | | Config: GUI RPCs allowed from: ma 10 nov 2014 22:02:56 CET | Einstein@Home | URL http://einstein.phys.uwm.edu/; Computer ID 11673723; resource share 100 ma 10 nov 2014 22:02:56 CET | WUProp@Home | URL http://wuprop.boinc-af.org/; Computer ID 74642; resource share 100 ma 10 nov 2014 22:02:56 CET | Milkyway@Home | URL http://milkyway.cs.rpi.edu/milkyway/; Computer ID 594606; resource share 100 ma 10 nov 2014 22:02:56 CET | World Community Grid | URL http://www.worldcommunitygrid.org/; Computer ID 3186453; resource share 100 ma 10 nov 2014 22:02:56 CET | RNA World | URL http://www.rnaworld.de/rnaworld/; Computer ID 35177; resource share 10000 ma 10 nov 2014 22:02:56 CET | | General prefs: from http://bam.boincstats.com/ (last modified 06-Nov-2014 15:28:25) ma 10 nov 2014 22:02:56 CET | | Host location: none ma 10 nov 2014 22:02:56 CET | | General prefs: using your defaults ma 10 nov 2014 22:02:56 CET | | Reading preferences override file ma 10 nov 2014 22:02:56 CET | | Preferences: ma 10 nov 2014 22:02:56 CET | | max memory usage when active: 5266.44MB ma 10 nov 2014 22:02:56 CET | | max memory usage when idle: 5266.44MB ma 10 nov 2014 22:02:56 CET | | max disk usage: 100.00GB ma 10 nov 2014 22:02:56 CET | | (to change preferences, visit a project web site or select Preferences in the Manager) ma 10 nov 2014 22:02:56 CET | | gui_rpc_auth.cfg is empty - no GUI RPC password protection ma 10 nov 2014 22:02:56 CET | | Not using a proxy

  • --> tut nicht!

Montag, 2014-10-28

  • das Installieren der ATI-/AMD-Originaltreiber (heruntergeladen von AMD) schlägt fehl: Es wird das Modul kernel-headers 3.7 benötigt; ich installierte per Pacman das Modul kernel-headers, welches aber in der aktuellen Kernelversion (3.17) installiert wurde; die nachfolgende AMD-Treiberinstallation liefert Fehlermeldungen in make; nach Neustart des Rechners bootet er (angesichts der Fehlermeldungen erwartungsgemäss) nicht mehr - Neuinstallation erforderlich
  • ich hatte mit den Entwicklern von Antergos Kontakt aufgenommen, dort einige bugs gemeldet (LVM-Installation nichtfunktionell, sporadische Abstürze mit schweren Folgen für Systeminstallation (Aktivierung von Telnet und so ziemlich allen anderen Diensten, ohne dass dies im Installationsprozess angegeben war), uvwm.) und angefragt, ob Antergos denn noch weiterentwickelt würde (keine Infos auf deren Webseite seit Monaten; nicht mal im News-Bereich) - die Antwort traf heute ein: Ja, man sei mächtig am Entwickeln

Donnerstag, 2014-10-23

  • der Cluster besteht inzwischen aus:
    • 1x Xeon E3-1220 V2 Quadcore @3.1 GHz (Node: Erwinia), OS: CentOS
    • 3x Q6600 Quadcore @2,4 GHz (Node: PC1, PC2, PC4), OS: Antergos (Arch) Linux
    • 1x Intel Atom 330er Quadcore @1,6 GHz (Node: PC3), OS: Antergos (Arch) Linux
    • 1x AMD 5350 Quadcore @2,05 GHz, inkl. ATI R3 IGP (Node: PC5), OS: Antergos (Arch) Linux
    • 1x ARM Cortex-A9 Quadcore (ODROID-U2) @1,7 GHz (Node: ARM1), OS: ArchLinux
    • 1x NVIDIA GTX 460er (Node: PC2)
    • 1x NVIDIA GTX 560Ti (Node: PC4)
    • 1x AMD ATI 7750er (Node: PC5)
  • der ODROID-U2 befindet sich gerade in der manuellen Installation
  • die GraKa von Node-PC5 erfordert zur OpenCL-Nutzung noch die Installation geeigneter Treiber, da Antergos/Arch dies nicht per default zu bewerkstelligen vermag
  • ein KVM-Switch wurde gespendet, muss aber noch verkabelt werden - dazu mangelt es momentan noch an VFG -> DVI Adaptern
  • ich plane, einen Gehäuseeigenbau zu bewerkstelligen und zwar in Form eines "stacks", bei dem ATX/µATX/Mini-ITX also als eine Art modularer "Turm" zusammengesteckt werden können (GraKas sollen nutzbar bleiben; Netzteile integriert)
  • Node-PC4 wird über eine PicoPSU (160 W, max.) gespeist, die an der 12 V Schiene des Netteils von Node-PC4 betrieben wird
  • alle Nodes booten derzeit noch von einer eigenen HD; dies soll später so modifiziert werden, dass von einer HD mehrere Nodes starten können
  • der Cluster ist mit einem Dell TFT, Tastatur und Maus (beides USB) bestückt

Donnerstag, 2014-09-04

  • ein schwarzer und ein weißer Rechner rechnen
  • Status siehe boincstats.com "RKN-Cluster" oder BOINC-Manager im "Startmenü"
  • es gibt den üblichen Benutzer mit Passwort
  • im Notfall kann neu gestartet werden
    • sie fangen selbstständig wieder an zu rechnen