There's no space quota as such on the general IDMC storage, but the huge
data sets known from high energy physics and bioinformatic databases are
examples of data contents not considered suitable for IDMC. Anything
within a few tens of terabytes should be fine, and we suggest that you
just have a word with us if you want to store more than that.
All data on IDMC is automatically replicated over multiple disks with RAID technology. We do not currently guarantee automatic and complete backup of ordinary data in your IDMC home folder or in the Workgroup shares.
In the IDMC web interface you can only upload/download individual files,
so if you e.g. want to upload an entire folder structure there, first
pack the folder(s) in a zip or tar file, upload it as usual and then
use unpack from the right-click menu on the uploaded file.
Likewise you can use pack on a folder in IDMC, download and
unpack it locally.
Alternatively you can use the efficient file/folder handling described
in the Advanced Data Access sections of the user guide. That makes IDMC
appear like a network drive so that you can use your local file manager
to copy entire folders to IDMC.
Yes, depending on the audience and dynamics of the data to share you can
use one of two overall methods.
For dynamic data you can either share in a read-write manner using
the Workgroup shares or make them read-only in the Workgroup
administration. Similarly you can do read-only sharing and publishing through the
Workgroup web pages. Both are built into the Workgroups and the web pages
come in a public and in a group-wide flavor, where the publishing is done
by Workgroup owners storing data in the public_base and private_base
workgroup subdirectories respectively on IDMC. Your Workgroups page
includes links to those and to the resulting web pages.
For quick data exchange with anyone and particularly people not on
IDMC, we recommend the Share Link feature. From your Files page you can
create a share link for a file or folder and choose what kind of read
and write access share link recipients should be granted.
The share link method include the option to send out an
invitation with the link directly on email, but it can of course also be
manually distributed by other means. Share links can also be accessed
with SFTP, FTPS and WebDAVS as described in the user guide.
Workgroups can be created by academic staff (VIP) as well as technical/administrative staff (TAP) and the creator of a workgroup automatically becomes owner. All user management is left to the owner(s) without interaction from the IDMC system administrators. Co-owners and members can be added either directly using the Swedish numberplate or email alias of the user, or indirectly if the user requests owner-/membership on the Workgroups page, and the owner(s) follow the instructions then sent on email about adding the user with the full user ID format.
No, we cannot allow such accounts or account aliasing, mainly due to
rules and regulations. In case of suspected or alleged abuse we need to
be able to uniquely identify who did what and when, and all kinds of
anonymous or shared accounts would prevent that. Please refer to
the UCPH information security policy for further details
about identity and traceability requirements.
So basically you need to use your own personal and clearly identifiable
account for all logins. What you can do is to use Workgroups to
store data in a shared group folder. In that way the data is not bound
to your account specifically and you and your project group can easily
manage all account access yourselves through the Workgroup admin
page.
Similarly share links can be used for access to particular subfolders if
you need to e.g. automate data upload from lab machines without storing
your personal login there. Please refer to the user guide for more details.
IDMC prevents certain characters like "< > { | } * ? [ ]" in file names. You may already have run into similar limitations when naming files on your own PC or devices. In order to provide a secure and consistent experience across different platforms, web and advanced interfaces IDMC prohibits those and some more that are known to cause problems. Either because they are so-called control characters with a special potentially dangerous meaning on the storage systems or because they are known to interfere with the web interfacing and presentation. We are continuously evaluating the need for allowing more exotic characters but always with focus on not breaking existing interfaces and backends. Feel free to contact us about the possibility of allowing any additional characters that you may miss.
We've added Jupyter integration in ERDA/IDMC, so that you can run interactive
data analysis sessions e.g. in a Python or R environment with direct
access to all your ERDA/IDMC data.
A number of software packages are already available in the different ERDA/IDMC
Jupyter instances, but sometimes you may still want to run additional
software there. For Python and Jupyter extension packages it may work to simply
install temporarily with pip or pip3 inside the session via
the Terminal in the main Jupyter Launcher window, or
by writing a standard Python requirements.txt file in your ERDA/IDMC
home and run it interactively with something like
pip3 install -r requirements.txt from the Jupyter
Terminal.
Please note that you need to use python2 or python3
specifically if you want to use such pip or pip3 installed packages
respectively directly from the Terminal.
Alternatively you can install Python software dependencies like e.g. the
scikit-image package directly in the Jupyter Notebook itself by evaluating
!pip3 install scikit-image in a cell.
At the moment installing software that requires compilation or come
with other external dependencies is not generally supported.
To ensure that packages you install will stick around between
different sessions, pass the --user flag to the pip or pip3
install command. This will ensure that the package is installed into
your own home __{service}_config__ directory, which is
persistent beyond the lifetime of a single Jupyter instance.
It is also possible to use the conda package manager to
install additional software in running sessions. You can use
conda install -y -n ENV PACKAGE from the Jupyter Terminal
where ENV is typycally python2, python3 or r depending on the notebook
and your working environment. Similarly use conda search NAME
to search for available packages.
You can contact us at our support email if
you have additional software wishes. Then we will see if they can be
fulfilled - but we can't give any promises.
If you already signed up to IDMC and had access but you begin receiving such errors it is likely that you hit an occasional problem we experience when UCPH IT changes primary email address of users in their central user database. This typically only happens in relation to significant employment status changes. IDMC just relies on the UCPH OpenID service for sign up and log in, so the change means that your existing account with e.g. xyz123@alumni.ku.dk is no longer recognized to belong to the ID, which UCPH OpenID tells us you now have. Rest assured that your IDMC account remains intact, and usually we can fix the problem by assigning the new primary email alias to it. We just need you to contact us as described below to do so.
In case you want the extra secure access you need to request and
install one of our grid certificates as described on the
corresponding getting started page. As
you can see in the user-cert-import guide there, the certificate install
process takes quite a few steps, but then at least login gets simpler
afterwards. After installing your certificate you can use it first to
sign up for your IDMC account and then
afterwards to log in.
Vi håndhæver ikke som sådan pladskvoter på selve IDMC datalageret, men
kæmpe datasæt, som dem man kender fra højenergi-fysik eller
bioinformatik-databaser, er eksempler på indhold, som ikke regnes for
egnede til lagring på IDMC. Så længe vi taler datamængder op til en snes
terabytes, skulle der ikke være nogen problemer. Hvis du gerne vil gemme mere
end det, kan det sikkert også lade sig gøre - bare tag en snak med os om
det.
Al data på IDMC er automatisk replikeret over flere diske v.h.a. RAID-teknologi. Vi garanterer ikke i øjeblikket automatisk og fuldstændig backup af almindelige data i din IDMC brugerfolder eller i Workgroup shares.
På dine IDMC websider kan du kun uploade/downloade enkeltfiler, så hvis
du f.eks. vil uploade hele foldere den vej, må du først pakke dem i en
zip- eller tar-fil, som du derefter uploader som vanligt og endelig
udpakker med unpack fra højreklik-menuen på den uploadede
fil.
Tilsvarende kan du bruge pack på en IDMC folder, downloade den
pakkede fil og udpakke lokalt.
Alternativt kan du benytte den effektive fil/folder-håndtering som
beskrevet i afsnittene om Avanceret datatilgang i brugervejledningen. På
den måde kan IDMC tilgås som et netværksdrev så du kan benytte din
almindelige filhåndtering til at kopiere hele foldere til og fra IDMC.
Ja, der er overordnet to forskellige måder at gøre det på afhængigt af
hvor dynamiske data er, og hvem du vil dele med.
Når det drejer sig om dynamiske data er det muligt at dele med læse- og
skrive-adgang via de almindelige Workgroup shares, samt at skifte
sådanne shares til kun at give læse-adgang på administrationssiden. Det
er også muligt at lave skrivebeskyttet deling og publicering via de
tilknyttede Workgroup web sider. Begge følger automatisk med alle
Workgroups og sidstnævnte findes i en udgave med offentlig adgang og en
kun for gruppens deltagere. Publicering den vej foregår ved at Workgroup
ejere gemmer data i de tilhørende public_base hhv private_base workgroup
undermapper på IDMC. På din Workgroups side finder du links til disse og
til de resulterende web-sider.
Til hurtig udveksling af data med hvem som helst, herunder ikke mindst folk
som ikke er på IDMC, kan vi anbefale Share Link metoden. Fra
din Files side kan du oprette et share link og vælge hvilken kombination
af læse- og skrive-adgang modtageren skal gives.
Share link metoden inkluderer muligheden for at udsende en invitation med link
direkte på email, men det kan naturligvis også gøres manuelt via andre kanaler.
Videnskabeligt personale (VIP) såvel som teknisk/administrativt personale (TAP) kan oprette workgroups og de bliver derved automatisk ejere af den nye workgroup. Al brugerstyring er ejernes ansvar og foregår uden indblanding fra systemadministratorerne på IDMC. Medejere og medlemmer kan enten tilføjes direkte ved at indtaste brugerens svenske nummerplade eller email på Workgroup Management siden eller ved at brugere anmoder om owner-/membership på Workgroups-siden, og ejerne følger de derved emailede instruktioner om at tilføje brugeren vha det komplette bruger-ID.
Nej, vi kan ikke tillade sådanne delte eller særskilte konti, især
pga love og regler. I tilfælde af mistanke eller anklager om
kontimisbrug er det strengt nødvendigt at vi entydigt kan afgøre præcis
hvem der gjorde hvad og hvornår. Det er helt uforeneligt med alle former
for anonyme eller delte konti. Vi henviser
til KUs Informationssikkerhedspolitik for nærmere
detaljer omkring krav omkring identitet og sporbarhed. Hvad
man kan gøre er at benytte Workgroups til at opbevare data i en
delt gruppemappe. På den måde er data ikke bundet specifikt til din
private konto og du og din projektgruppe kan nemt selv styre al
kontoadgang dertil via Workgroup'ens admin-side.
Det er desuden muligt at benytte sharelinks til at give adgang til
specifikke undermapper, i tilfælde af at man f.eks. har brug for at
automatisere data-upload fra laboratoriemaskiner uden at have sit
personlige login flydende rundt. Se venligst brugervejledningen for
nærmere detaljer.
IDMC afviser enkelte tegn så som "< > { | } * ? [ ]" i filnavne. Måske du allerede har oplevet lignende begrænsninger i navngivningen af filer på din PC eller andre enheder. For at kunne levere en sikker og ensartet brugeroplevelse på tværs af platforme, web og avancerede brugergrænseflader afviser IDMC disse og visse andre som er kendt for at skabe problemer. Hvadenten det er fordi de er såkaldte kontroltegn med en speciel og potentielt skadelig betydning på lagersystemerne eller fordi de vides at forstyrre web-brug og -visning. Vi evaluerer løbende på behovet for at tillade yderligere eksotiske tegn, hele tiden under krav om hverken at skade brugergrænseflader eller bagvedliggende systemer. Du er naturligvis velkommen til at kontakte os angående at få yderligere tegn du måtte savne tilladt.
Vi har integreret Jupyter i ERDA/IDMC, så man som bruger kan lave interaktiv
dataanalyse i f.eks. Python eller R og med direkte adgang til alt sit
ERDA/IDMC-data.
Jupyter-miljøet har forskellige images med en stribe software-pakker
installeret, men nogle gange kan det stadig være bekvemt at køre
yderligere special-software. Nogle udvidelser til Python og Jupyter kan
installeres midlertidigt med pip eller pip3 via en Terminal fra
Jupyter hovedsiden, eller ved at skrive en standard Python
requirements.txt fil i ens ERDA/IDMC mappe og køre den ved Jupyter
opstart med noget i stil med pip3 install -r requirements.txt
fra Jupyter-terminalen.
Bemærk at man specifikt skal angive python2 eller python3 for at bruge
sådanne pip- eller pip3-installerede pakker direkte fra Terminalen.
Man kan alternativt installere Python software-afhængigheder som f.eks.
scikit-image pakken direkte i Jupyter Notebooks ved at evaluere
!pip3 install scikit-image i en celle.
I øjeblikket er installation af software som kræver kompilering eller
har eksterne afhængigheder ikke generelt understøttet.
Det er muligt at gemme de installerede pakker imellem forskellige
sessioner ved at angive --user flaget når man bruger pip
eller pip3 install kommandoerne. Derved installeres pakkerne i dit
eget hjemmekatalog __{service}_config__ hvorfra det er
persistent udover levetiden for den enkelte jupyter-instans.
Det er også muligt at bruge conda-pakkesystemet til at
installere software i kørende sessioner. Således kan du benytte
conda install -y -n ENV PACKAGE fra Jupyter Terminalen hvor
ENV typisk er python2, python3 eller r afhængigt af notebook og valgt
miljø. Tilsvarende benyttes conda search NAME til at lede
efter tilgængelige pakker.
Vi arbejder på at udvikle en gør-det-selv tilpasning af
Jupyter-instanserne, så det i noget omfang bliver muligt. Indtil da er
fremgangsmåden at skrive til vores support-email med evt ønsker om
yderligere software. Så undersøger vi om det er muligt at tilføje -
men vi kan ikke love noget.
Såfremt du allerede har tilmeldt dig IDMC og haft adgang, men begynder at få den slags fejl, har du sandsynligvis ramt et problem vi engang imellem oplever når KU IT skifter primær email-adresse på brugere i deres centrale brugerdatabase. Det sker typisk kun i forbindelse med større ændringer i ansættelsesstatus. IDMC benytter bare KUs OpenID service ved tilmelding og log in, så ændringerne betyder at din eksisterende konto tilmeldt med f.eks. xyz123@alumni.ku.dk ikke længere genkendes som tilhørende det ID, som KUs OpenID fortæller os du nu har. Du kan være ganske rolig ift at din IDMC-konto forbliver intakt, og vi kan typisk løse problemet ved at tildele din nye ID dertil. Vi har bare brug for at du kontakter os derom som beskrevet nedenfor.
For den yderligere sikrede certifikat løsning skal du anmode om - og
installere et af vores grid-brugercertifikater, jvf den
tilhørende sådan kommer du igang
side. Som det fremgår af user-cert-import guiden dér, kræver
certifikat-installationen en del trin, men i det mindste er login så
efterfølgende simplere. Når du har installeret dit certifikat kan du
bruge det først i IDMCs tilmelding og
efterfølgende til log ind.