/images/avatar.png

Xiaopeng Xu, Ph.D.

Research Scientist @ KAUST · Agentic AI for scientific discovery, protein design & synthetic biology

Recent News

Recent Notes

Slurm 常用命令

相关培训

https://www.hpc.kaust.edu.sa/content/data-science-training

包括:

  1. Trillion-parameter scale model training and inference with DeepSpeed

    1. Codes: https://github.com/kaust-rccl/deepspeed_workshop/tree/master/HelloDeepSpeed, https://github.com/microsoft/Megatron-DeepSpeed
  2. Introduction to Containers on KSL Platforms

  3. High Throughput Hyperparameter Optimization on KSL platforms

  4. Distributed Deep Learning on KSL platforms

  5. Data Science on-boarding on KSL platforms

基础操作

登录 iBex

外网时,需要先连接 KAUST VPN。通常使用 Cisco anyconnect

登录 iBex:

Shell 常用命令

日常操作

命令行打开 Rstudio

open -na Rstudio

命令行打开 JupyterLab

jupyter lab # 基础命令
nohup  jupyter-lab --no-browser --ip="0.0.0.0" 2>&1 & # 后台运行命令

查看系统内存和资源

htop
top

查看 GPU 内存使用率

watch -n 0.5 nvidia-smi

开启 vncviewer 服务器

vncserver -rfbport 8888

更新 DNS 服务器

每次重启 xuxa 后,都需要更新一下

Ibex 使用说明

基本介绍

操作步骤

外网需先连接 KAUST VPN:Cisco anyconnect

登录 iBex:

ssh -X xux@glogin.ibex.kaust.edu.sa

申请计算资源:1 GPU,4 CPU,16G 内存,24 小时

salloc -p ​batch​ -t 24:00:00 --gres gpu:1 --cpus-per-task 4 --mem 16 -n 1

设置为交互式的 shell 命令行

srun ​--pty bash -i

调度器 SLURM

Manages more work than the resource by scheduling queues of work.

Conda 常用命令

简介

通常在项目开发中,不同项目有不同的环境要求,配置这些环境会花大量的时间。Conda就是为了解决这一问题而生。其他解决方案还有 docker,虚拟化程度更高,但使用成本也会提升。