DeamoV's Blog

之前的入门部分的 Estimator介绍了如何使用预训练模型，对整体有了一个直观的感受感受。在这部分中着重讲解如何创建自定义 Estimator。

Estimator 模型的简单说明

所有的 Estimator 的模型的基类为 tf.estimator.Estimator ，这意味着即便是预设置的模型其实也是用自定义模型的方式设置的。和之前介绍的使用预创建的 Estimator 的唯一区别在于，我们需要自行编写模型函数（model_fn）

tf.data API 简介

借助这个 API 可以较为快速的入门数据导入的部分。自定义数据输入可以说是跑任何模型必须要会的部分。学习这部分 API 是入门 Tensorflow跳不过的部分。本部分和之前的 Tensorflow 部分一样，主要是筛选自官方教程，意在跳出自己认为核心的入门内容，抛去复杂的细节，以求快速入门。

Keras 官宣特征

1. 简单快速的圆形部署
2. 支持 CNN 和 RNN，也支持两者结合
3. 同时支持 CPU 和 GPU 计算。

Estimator 作用简介

Estimator 使用来简化机器学习训练、评估、预测的一个高阶 TensorFlow API。我们可以使用预创建的 Estimator，也可以自己编写自定义的 Estimator，但是所有的 Estimator 都是基于 tf.estimator.Estimator 类的类。

简介

IPdb 是一个 python 用的 “gdb” 超级好用，如果你的编辑环境中懒得装 IDE，或者工作环境没有图形化界面的话，这个工具简直就是为你量身定制的。我已经把这个工具融入到了自己的 VIM 脚本中，成为日常码农生活的一份子。

问题分析

在 Keras 中配置多 GPU 并行计算的时候，报错 libnccl.so.2 not found。简单的来说就是 Tensorflow 多 GPU 运行的话使用了一个 NCCL 2.x 的库，但是不是默认安装的，同时又由于NCCL 2.x是动态加载的，因此不会影响不调用NCCL原语的程序，也就是说直到你第一次尝试多 GPU 为止都不会发现这个问题。

服务球端安装 ssh

1. 测试服务器是否安装了 ssh

   1 2 3 4 5

   ps -e | grep ssh # output # 存在 ssh-agent 说明有 ssh 客户端 # 存在 sshd 说明有 ssh 服务器端

2. 安装 ssh

   1 2 3 4 5

   # ssh-client sudo apt-get install openssh-client # ssh-server sudo apt-get install openssh-server

3. 更换 ssh 服务默认端口
   • 使用 vim 打开配置文件 /etc/ssh/sshd_config，搜索 port 更改端口号即可。

     1	sudo /etc/init.d/ssh restart # 使配置生效

简介

我们经常希望自己的脚本输入能变得“优雅”一点，所以让脚本能支持参数指定就很重要了。这里就记录下如何让自己的脚本支持带提示的参数的输入。

pip 的使用

1. 安装第三方库

   1 2 3

   pip install packageName ``` 2. 卸载 ```python pip uninstall packageName

2. 检测最新包 & 升级包

   1 2 3 4

   pip list --outdated packageName pip install --upgrade packageName pip3 list --outdated | grep -e '^[a-z]' | cut -d ' ' -f 1 | xargs -n1 pip3 install -U # 小 trick 一键升级所有的包

3. 显示所有已经安装的包名

   1 2	pip freeze pip list

简介

这节课主要的内容其实就是简单的介绍了 TensorFlow 的一些基本理念，和一些简单的用法，并用半节课的时间实现了之前我们做过的实验 Skipgram。