tf.data API 简介

借助这个 API 可以较为快速的入门数据导入的部分。自定义数据输入可以说是跑任何模型必须要会的部分。学习这部分 API 是入门 Tensorflow跳不过的部分。本部分和之前的 Tensorflow 部分一样，主要是筛选自官方教程，意在跳出自己认为核心的入门内容，抛去复杂的细节，以求快速入门。

Keras 官宣特征

1. 简单快速的圆形部署
2. 支持 CNN 和 RNN，也支持两者结合
3. 同时支持 CPU 和 GPU 计算。

Estimator 作用简介

Estimator 使用来简化机器学习训练、评估、预测的一个高阶 TensorFlow API。我们可以使用预创建的 Estimator，也可以自己编写自定义的 Estimator，但是所有的 Estimator 都是基于 tf.estimator.Estimator 类的类。

简介

IPdb 是一个 python 用的 “gdb” 超级好用，如果你的编辑环境中懒得装 IDE，或者工作环境没有图形化界面的话，这个工具简直就是为你量身定制的。我已经把这个工具融入到了自己的 VIM 脚本中，成为日常码农生活的一份子。

问题分析

在 Keras 中配置多 GPU 并行计算的时候，报错 libnccl.so.2 not found。简单的来说就是 Tensorflow 多 GPU 运行的话使用了一个 NCCL 2.x 的库，但是不是默认安装的，同时又由于NCCL 2.x是动态加载的，因此不会影响不调用NCCL原语的程序，也就是说直到你第一次尝试多 GPU 为止都不会发现这个问题。

服务球端安装 ssh

1. 测试服务器是否安装了 ssh

   1 2 3

   ps -e | grep ssh # ssh-agent exist -> ssh client okay # sshd exist -> ssh server okay

2. 安装 ssh

   1 2 3 4 5

   # ssh-client sudo apt-get install openssh-client # ssh-server sudo apt-get install openssh-server

3. 更换 ssh 服务默认端口

   • 使用 vim 打开配置文件 /etc/ssh/sshd_config，搜索 port 更改端口号即可。
   • sudo /etc/init.d/ssh restart

用自己想用的用户名登陆

1. 在~/.ssh中创建一个文件config

2. 在里面输入

   1 2 3 4 5

   Host gpu_server_host SetEnv TERM=xterm-256color HostName server_ip Port 22 User username

3. 重启终端即可

SCP

1
2

scp -r /local/path username@server_ip:/server/path
scp -r username@server_ip:/server/path /local/path

18. scp 跨机远程拷贝 - Linux Tools Quick Tutorial

免密登陆

1. 在本机生成公钥、私钥对

   1 2	ssh-keygen # 会生成 id_rsa.pub 到 ~/.ssh 里面

2. 将 id_rsa.pub 传到服务器端

   1	scp id_rsa.pub your_username@ip:~/home/your_username

3. 服务器端创建 authorized_keys

   1 2	touch ~/.ssh/authorized_keys sudo chmod 600 ~/.ssh/authorized_keys

4. 追加公钥到 authorized_keys 文件中

   1	cat id_rsa.pub >> ~/.ssh/authorized_keys

禁止密码口令登录

通常在配置完服务器以后默认是允许用户名密码登录的，但是为了安全着想，我们应该只允许使用密钥登录，具体的办法为修改 /etc/ssh/sshd_config 文件。修改其中 PasswordAuthentication 为 no 即可。

简介

我们经常希望自己的脚本输入能变得“优雅”一点，所以让脚本能支持参数指定就很重要了。这里就记录下如何让自己的脚本支持带提示的参数的输入。

pip 的使用

1. 安装第三方库

   1 2 3

   pip install packageName ``` 2. 卸载 ```python pip uninstall packageName

2. 检测最新包 & 升级包

   1 2 3 4

   pip list --outdated packageName pip install --upgrade packageName pip3 list --outdated | grep -e '^[a-z]' | cut -d ' ' -f 1 | xargs -n1 pip3 install -U # 小 trick 一键升级所有的包

3. 显示所有已经安装的包名

   1 2	pip freeze pip list

简介

这节课主要的内容其实就是简单的介绍了 TensorFlow 的一些基本理念，和一些简单的用法，并用半节课的时间实现了之前我们做过的实验 Skipgram。

[troubleshoot] 2080/2080ti显卡驱动安装(ubuntu)

问题描述

使用 ubuntu 自动识别的显卡驱动版本不支持 2080 和 2080ti 显卡。所以需要手动的去官网下载对应显卡驱动，进行手动安装。