UCPH ERDA Status and News

Status

All systems and services are fully operational.

Please use the link at the bottom to contact support in case you have questions or encounter any problems.

Latest News

2018/07/18: Jupyter back online

The Jupyter upgrades on Friday turned out to be more work than expected and required some more work this week. It is complete now and the service is back online.

2018/07/12: Jupyter maintenance and downtime

The Jupyter service will be partially or completely unavailable for the rest of the day due to maintenance work and upgrades.

2018/07/06: 2-Factor Authentication Support

In line with the recent IO-service security enhancements we've added support for 2-factor authentication (2FA) in our OpenID web logins. This means that users can now add an extra layer of security and make abuse much harder - even if somebody should intercept their UCPH login and password (or their dedicated ERDA OpenID password in case of external users). In short you as a security-minded user install an app on your mobile device (smart-phone or tablet) and scan a personal QR security code, which allows the app to continuously provide you with one-time passcodes for use along with your usual login. This assures that one can only get access by both knowing the password and possessing the device. Further details about the setup and use of 2FA is available under ERDA Setttings -> Web Access.
We particularly recommend enabling 2FA if you use ERDA for any data categorized as confidentiality level F2 in the official UCPH data classification available at the UCPH intranet (requires login). It should be emphasized that data confidentiality level F1 is not allowed on ERDA and should instead use an even safer and more closely monitored solution like e.g. SIF.
We are currently investigating the possibilities for similar 2FA support on the IO-services.

2018/06/25: Password tightening on WebDAVS/SFTP/FTPS

Due to a rise in the number of automated password guessing attempts we've chosen to strengthen the password requirements for our services with password-login. This means that since yesterday we enforce not only the standard UCPH password requirements of eight characters from at least three character classes but also a number of additional checks for dictionary words and simple patterns.
The rules were immediately enforced when setting or changing password and will also be enforced for existing passwords next time we restart the services.
In case you can no longer access ERDA through WebDAVS/SFTP/FTPS, please go to your ERDA Settings page and try to set the password again for the particular service. If it is refused you need to come up with a new stronger password.

2018/06/21: Rate limit SFTP logins

Due to a rise in the number of automated password guessing attempts we've implemented further rate limits on apparent attackers at our SFTP service. This means that too many failed login attempts result in automatic temporary banning of the IP address for a while. Please contact us if you run into problems with your connections and transfers.

2018/06/20: Planned Maintenance - Expected Downtime

We've upgraded the backend storage software to a more recent version in order to apply a number of bug fixes. This should include stability fixes related to the occasional connection losses we've seen during the last year. The work began at 9 and all systems were offline until we finished the upgrade at about 12:30. Everything looks good so far and we expect things to be back to normal now.

2018/06/18: Short inaccessibility

We had a hiccup on the frontend this morning and had to restart all services. While at it we forced a pending reboot. Everything should be back to normal again.

2018/06/13: New DOI Integration

University IT has put their new Digital Object Identifier (DOI) registration service in production and we have integrated it with ERDA freeze archives. This means that it is now possible to get a short and permanent DOI reference to ERDA archive data - something a number of organizers and funders have started to require when publishing research results.

2018/04/19: Partial Data Access and Seafile down

We've seen additional connection losses to the backend storage servers and had to restart services to recover. Seafile required extra maintenance, which should be resolved now.

2018/04/17: Partial Data Access

We lost the connection to one or more backend storage servers and the result was limited data access in all services.
Everything is back online and we're closely monitoring the systems.
Additionally we're planning an upgrade to the glusterfs software providing the link to the backend storage. It should address a number of issues related to the problems we've seen lately with connection loss.

2018/04/06: Enabling Workgroup Workflows again

We have optimized our Workgroup Workflows service to be far less taxing on the system and thus we have enabled it in production again.

2018/03/16: Partial Data Access and Login Problems

We had a CPU-lockup on one of our backend storage servers.
Everything is back online and we're closely monitoring the systems.

2018/03/15: Temporarily Disabling Workgroup Workflows

We have a hunch that our Workgroup Workflows service had a negative impact on the problems we saw recently after the disk failure and replacement. Therefore we have chosen to temporarily disable it at ERDA. In case you were using it for automated backup as described in the user guide, you can either switch it over to the new Schedule Tasks service or contact us for a temporary replacement. Our plan is to enable workflows again once we have optimized the service to be significantly less resource intensive.

2018/03/12: Partial Data Access and Login Problems

We had a disk crash last night and needed a physical replacement. As a result we only had partial data visibility, meaning that some files would appear missing even though they were actually intact. For some users this happened to be important login files, in effect preventing log in. We solved the disk problems but had a few hiccups with lost connections to the backend storage throughout the day. Each time the result was similar partial visibility and login problems for some users.
Everything is back online and we're closely monitoring the systems.

2018/03/11: Data Access Problems

The issues from a week ago re-appeared and we had to manually intervene to get everything back online. This resulted in partial data access and some temporary service outages.

2018/03/05: Schedule Tasks Feature in Beta

We have enabled a new feature to schedule tasks in beta test at ERDA. It can be used to automate tasks at given times, running on behalf of you. One such task would be the creation of backup archives e.g. every night. Further details about use and possibilities are available in the user guide.

2018/03/04: Data Access Errors and a Restart

We experienced connection issues between the frontend and backend storage resulting in e.g. directory removals failing. We had to re-establish the backend connection and restart all services to solve the problems, and everything should be back to normal again.

2018/02/21: Seafile Upgrade

We upgraded our Seafile installation to receive a number of bug fixes including one reported by some of you (thanks!). Namely that the Seafile web interface consistently failed to display files with either space or exotic characters in their file name or full path. Everything should be back online again after the upgrade and service restart.

2018/02/13: High-performance SFTP Service in General Use

After some months in beta test at sftp.erda.dk we've enabled our new high-performance SFTP service on the standard io.erda.dk address. We've measured speedups ranging from 10 to 32 times for transfers on a fast network link to ERDA. Even on slower networks you are likely to see improvements.

2018/02/12: Slow-down / Service Outages

All services were extremely slow this morning due to a disk issue on the frontend node. In some cases it resulted in connections timing out. The problem is solved and everything should be back to normal again.
In the afternoon it turned out that Seafile did not like the aforementioned outage and needed a bit of additional cleaning up to run properly. It is back to normal now.

2018/01/25: Maintenance and Brief Service Outage

All services were briefly down for scheduled software updates. These included a number of minor bugfixes plus optimizations in relation to not wasting resources on automated attacks from the Internet - such as password guessing attempts. Everything should be back to normal again.

2018/01/10: Important Security Upgrades

We finished applying a set of urgent security updates in relation to the Meltdown and Spectre security issues. This involved a reboot for kernel updates and thus a resulting brief general outage for all services.

2018/01/10: Partial data visibility

Our active frontend node lost sight of a number of files on the backend storage nodes. This in particular resulted in one or more workgroup folders not showing up in the user file space. No data was lost and a reload of the storage connection fixed the problem.

2017/11/02: System Outage and Seafile Data Loss

We experienced a massive system outage due to a disk and a CPU failing hard in turn. This left part of our systems offline for most of a day until we had restored and migrated the tasks to another host. On the good side ordinary ERDA data was not permanently affected by the outage which can be seen as marker of the robustness of our general infrastructure. On the bad side we've received reports of some ERDA Seafile users getting one or more files rolled back to a previous version effectively overwriting any recent changes. We are of course sorry for any inconvenience this has caused and we have done our best to help trace down the underlying problem. We would also like to emphasize that Seafile is a third party service we only host on ERDA due to popular demand. Thus, it follows the same backup policies, meaning that you as a user are responsible for explicitly making backups. You may use e.g. our Archive feature which copies data to off-site tape for strong protection against any such data loss.

2017/09/21: High-performance SFTP Service in Beta

Our new high-performance SFTP service is now available on sftp.erda.dk with the same login procedure as the existing one on io.erda.dk. You can try it out as a drop-in replacement using the same procedure just replacing the address. We've measured speedups ranging from 10 to 32 times for transfers on a fast network link to ERDA. Even on slower networks you are likely to see improvements.

2017/07/25: OpenID Login for Users without a UCPH Account

We've added another access method to allow people without a general KU/UCPH account to use ERDA with simple username and password login. This new service makes it a lot simpler for e.g. external collaboration partners to sign up and use ERDA. Please refer to our FAQ entry on the subject for the details.

2017/04/21: Write-restricted Workgroup Shared Folders

The workgroup infrastructure was changed to allow the associated shared folders to be write-protected by owners. In effect this allows easy sharing of data in a read-only fashion inside workgroups. All workgroups will still have their shared folder in read/write mode by default but owners can switch all new workgroups to read-only from the workgroup administration page. It should be noted that all workgroups created before this date will need to be migrated first if they are to provide the same feature. Please contact support about such inquiries.

Return to main page

UCPH ERDA status og nyheder

Status

Alle systemer og services kører planmæssigt.

Benyt venligst linket nederst på siden til at kontakte support såfremt du har spørgsmål eller oplever problemer.

Seneste nyt

18/07-2018: Jupyter vedligehold og nedetid

Jupyter-opdateringerne i fredags viste sig mere omfattende end ventet og krævede yderligere indsats i denne uge. Det er nu overstået og servicen er online igen.

12/07-2018: Jupyter vedligehold og nedetid

Jupyter-servicen vil være helt eller delvis utilgængelig resten af dagen pga vedligehold og opgradering.

06/07-2018: Understøttelse af 2-faktor autentifikation

Som opfølgning på de nylige sikkerhedstiltag ift IO-services har vi tilføjet 2-faktor autentifikation (2FA) på vores OpenID web logins. I praksis betyder det at brugere nu kan tilføje et ekstra sikkerhedslag, hvorved kontomisbrug bliver markant sværere - selv hvis nogen skulle opsnappe deres KU login og kode (eller deres dedikerede ERDA login når vi taler eksterne brugere). Kort fortalt installerer man som sikkerhedsbevidst bruger en app på sin mobile enhed (smart-phone eller tablet) og skanner en personlig QR sikkerhedskode deri, for at få den til kontinuerligt at levere engangskoder til brug sammen med sit almindelige login. Derved sikres at man kun kan få adgang, hvis man både kender kode og har adgang til enheden. Yderligere detaljer om opsætning og brug findes under dine ERDA Settings -> Web Access.
Vi anbefaler kraftigt at slå 2FA til, hvis man benytter ERDA til at opbevare data kategoriseret som fortrolighedsniveau F2 i den officielle KU dataklassifikation fra KUnet (kræver login). Ved samme lejlighed må vi understrege at data kategoriseret som fortrolighedsniveau F1 ikke er tilladt at opbevare på ERDA. Brug i stedet en endnu sikrere og tættere monitoreret løsning som f.eks. SIF dertil.
Vi undersøger i øjeblikket muligheden for ligeledes at tilbyde 2FA på vores IO-services.

25/06-2018: Strengere password-krav på WebDAVS/SFTP/FTPS

I lyset af det stigende antal angreb som forsøger at knække passwords til vores WebDAVS/SFTP/FTPS-services, har vi yderligere strammet kravene til styrken af passwords. Udover de almindelige KU-krav om otte tegn fra mindst tre tegn-klasser har vi således indført hindring af passwords med almindelige ord eller simple fortløbende tegnsekvenser og møsntre.
Stramningerne trådte i kraft med det samme for password-opsætning og -skift. De vil desuden blive håndhævet for eksisterende passwords når vi næste gang genstarter services.
Såfremt du ikke længere kan logge på de pågældende services kan du gå ind på din ERDA Settings side og prøve at sætte kodeordet igen. Hvis det afvises er du nødt til at finde på et nyt og stærkere kodeord.

21/06-2018: SFTP rate-limit

Vi har indført ydeligere automatiske værn mod det stigende antal automatiske forsøg på at gætte SFTP passwords. Det betyder i praksis at vi automatisk midlertidigt lukker for adgang fra IPer der udviser tegn på sådanne angreb. Kontakt os venligst hvis du oplever problemer med login eller overførsler på SFTP-servicen.

20/06-2018: Vedligehold og planlagt nedetid

Vi har opgraderet backend-lageret til en nyere version med en stribe fejlrettelser. Derunder bl.a. nogle stabilitets-forbedringer som gerne skulle afhjælpe de periodiske udfald vi har oplevet indenfor det seneste års tid. Arbejdet startede kl 9 og medføre at alle services var nede indtil vi var færdige henved kl 12:30. Alt ser fint ud så langt og vi regner med normal drift igen nu.

18/06-2018: Kort udfald

Vi oplevede et problem med frontend til morgen og måtte genstarte alle services. Ved samme lejlighed indskød vi en udestående system genstart. Alt skulle være tilbage i normal drift igen.

13/06-2018: Ny DOI-integration

KU-IT har åbnet op for en ny service til Data Object Identifier (DOI) registrering og vi har integreret den med ERDA freeze archives. Det betyder at man nu kan få registreret en kort og permanent reference til sine arkiverede data i ERDA - noget som er blevet et mere udbredt krav fra organisatorer og finansiører ifbm publicering af videnskabelige resultater.

19/04-2018: Delvis dataadgang og Seafile nede

Vi har oplevet flere udfald i forbindelsen til vores backend lager, og har måttet genstarte services. Seafile krævede yderligere vedligehold, men det skulle være løst nu.

17/04-2018: Delvis dataadgang

Vi mistede forbindelsen til en eller flere af vores backend servere, så dataadgangen faldt delvis ud.
Alt er tilbage i almindelig drift, og vi overvåger for at fange evt yderligere problemer.
Vi planlægger desuden en opgradering af glusterfs softwaren, som leverer forbindelsen til backend storage. Det skulle gerne hjælpe på de problemer vi har set på det seneste med udfald.

06/04-2018: Genindførsel af workgroup workflows

Vi har optimeret Workgroup Workflows servicen så den nu er langt mindre belastende for systemet og har derfor sat den i drift igen.

16/03-2018: Delvis dataadgang og loginproblemer

Vi havde et CPU-lockup på en af vores backend servere.
Alt er tilbage i almindelig drift, men vi holder tæt øje med systemerne i tilfælde af at problemerne skulle komme tilbage.

15/03-2018: Midlertidig nedtagning af workgroup workflows

Vi har en mistanke om at Workgroup Workflows servicen har haft en negativ indvirkning på de problemer vi oplevede efter diskskiftet forleden. Vi har derfor valgt midlertidigt at slå den fra på ERDA. Såfremt du er afhængig af den til automatisk backup jvf brugervejledningen, kan du enten skifte til den nye Planlagte Opgaver / Schedule Tasks service eller henvende dig til os for en midlertidig erstatning. Planen er at vi sætter workflows i drift igen når vi har fået servicens lagerovervågning optimeret til at være væsentlig mindre resurseintensiv.

12/03-2018: Delvis dataadgang og loginproblemer

Vi havde et disk-crash i nat og det krævede et fysisk diskskift. Resultatet var delvis datasynlighed, så en stribe filer så ud til at mangle selv om de faktisk var intakte. For brugere hvor centrale loginfiler var ramt, betød det at login blev afvist. Efter at have løst diskproblemerne oplevede vi desværre af flere omgange mistet forbindelse til backend-lageret med samme effekt ift login og delvis dataadgang.
Alt er tilbage i almindelig drift, men vi holder tæt øje med systemerne i tilfælde af at problemerne skulle komme tilbage.

11/03-2018: Problemer med dataadgang

Problemerne fra for en uge siden dukkede op igen og vi var nødt til manuelt at intervenere for at få alt tilbage i almindelig drift. Det medførte delvis dataadgang og midlertidige udfald i diverse services.

05/03-2018: Planlagte opgaver (Schedule Tasks) i beta

Vi har sat den nye funktionalitet til planlagte opgaver i beta-test på ERDA. Med den kan man automatisere opgaver til at køre på givne tidspunkter og på ens vegne. Det kan f.eks. være sådan noget som automatisk oprettelse af backup arkiver hver nat. De nærmere detaljer om brugen findes i brugervejledningen.

04/03-2018: Problemer med dataadgang og en genstart

Vi oplevede forbindelsesproblemer mellem vores frontend og backend-lageret, hvilket bl.a. førte til fejl ved sletning af mapper. Vi genetablerede forbindelsen og genstartede alle services som løsning, og alt skulle være tilbage i normal drift igen.

21/02-2018: Seafile opgradering

Vi opgraderede vores Seafile-installation for at få en stribe rettelser ind, inklusive én vi har fået fejlmeldinger om fra jer (tak!). Mere specifikt drejede det sig om at Seafile web-interfacet ikke ville vise filer som enten indeholdt mellemrum eller eksotiske tegn i deres navn eller fulde sti. Alting skulle være tilbage i normal drift nu efter opgradering og tilhørende genstart af servicen.

13/02-2018: Optimeret SFTP i generel drift

Efter nogle måneder i beta-test på sftp.erda.dk har vi nu integreret den samme nye højtydende SFTP service på den almindelige io.erda.dk adresse. I vores egne tests har vi observeret 10 til 32 gange bedre hastighed over hurtige netværksforbindelser til ERDA. Selv på langsommere forbindelser skulle man dog også gerne opleve tydelige forbedringer.

12/02-2018: Langsom adgang / nedetid

Alle services var ekstremt langsomme her til morgen pga et diskproblem på frontend-maskinen. I nogle tilfælde førte det til at forbindelser til ERDA fik time-out. Problemet er rettet og alt skulle være tilbage i normal drift igen.
Seafile kunne tilsyneladende ikke lide førnævnte problem og krævede lidt ekstra oprydning. Den er ligeledes tilbage i almindelig drift nu.

25/01-2018: Vedligehold og kort nedetid

Alle services var kortvarigt nede i forbindelse med en planlagt software-opdatering. Udover en række mindre fejlrettelser dækkede den hovedsageligt optimeringer i forhold til ikke at spilde unødige resurser på automatiserede angreb fra internettet - herunder især forsøg på at gætte kodeord. Alt skulle være tilbage i normal drift igen.

10/01-2018: Vigtige sikkerhedsopdateringer

Vi færdiggjorde en stribe sikkerhedsopdateringer som følge af Meltdown og Spectre sikkerhedshullerne. Det var nødvendigt at genstarte systemer for at få tilhørende kerneopdateringer i drift, og vi havde derfor kortvarigt generel nedetid på alle services.

10/01-2018: Delvis datasynlighed

Vores aktive frontend-maskine tabte adgang til et antal filer på backend-lageret. Som følge deraf blev en eller flere delte workgroup-mapper midlertidigt usynlige for deltagerne. Ingen data blev tabt og genetablering af forbindelsen til backend-lageret løste problemet.

02/11-2017: Systemudfald og delvist datatab i Seafile

Vi oplevede et massivt systemudfald p.g.a. en diskfejl samtidig med at en CPU stod af. Resultatet var at store dele af vores systemer var offline det meste af dagen, indtil vi havde fået genetableret og migreret services til en anden maskine. Hvis man skal se noget positivt i det kan det noteres at al almindelig ERDA data overlevede, hvilket bekræfter os i robustheden af vores generelle infrastruktur og design. På den negative side må vi desværre sande at enkelte Seafile-brugere har oplevet at en eller flere af deres filer efter udfaldet automatisk er blevet rullet tilbage til en tidligere version og dermed har overskrevet senere ændringer. Vi er naturligvis meget kede af det gener det har medført, og vi har gjort vores bedste for at hjælpe med at finde frem til det bagvedliggende problem. Vi må understrege at Seafile er en tredjeparts-service, som vi kun tilbyder på ERDA p.g.a. særlig efterspørgsel. Derfor har vi ikke fuld kontrol eller kendskab til hvordan den fungerer internt. Den følger desuden samme backup-politik, d.v.s. du er som bruger selv ansvarlig for eksplicit at lave backup af kritiske data. Dertil kan du f.eks. benytte vores Archive funktion, som kopierer data til bånd på en fjernlokation med henblik på stærk sikring mod netop sådanne datatab.

21/09-2017: Optimeret SFTP i beta

Vores nye optimerede SFTP service er sat i beta-test på sftp.erda.dk med samme login-fremgangsmåde som den hidtidige på io.erda.dk. D.v.s. man kan afprøve den på helt samme måde som beskrevet i brugervejledningen, blot med skift af io til sftp i adressen. I vores egne tests har vi observeret 10 til 32 gange bedre hastighed over hurtige netværksforbindelser til ERDA. Selv på langsommere forbindelser skulle man dog også gerne opleve tydelige forbedringer.

25/07-2017: Særskilt OpenID-login for brugere uden en KU konto

Vi har tilføjet endnu en adgangsløsning for at kunne give folk uden en almindelig KU-konto tilsvarende login til ERDA med brugernavn og kodeord. På den måde er det blevet markant nemmere at koble eksterne samarbejdspartnere på ERDA, sådan som det er beskrevet af det tilhørende punkt i vores FAQ på forsiden.

21/04-2017: Skrive-beskyttede delte workgroup-mapper

Infrastrukturen bag de delte workgroup-mapper er ændret så den tillader ejere at skrive-beskytte data. I praksis er det dermed muligt at dele data kun med læse-adgang i en workgroup. Som standard får alle workgroups stadig delte mapper med både læse- og skrive-adgang, men ejere kan slå skrive-adgang fra på administrationssiden for en workgroup. Bemærk at alle workgroups oprettet inden denne dato først skal migreres til den nye struktur for at få samme funktionalitet. Kontakt venligst support omkring sådanne forespørgsler.

Tilbage til forsiden