Pre-Demo-Field

DeamoV's Blog


  • 首页

  • 分类

  • 关于

  • 归档

  • 标签

  • 搜索

Tensorflow 多GPU并行计算报错

发表于 2018-12-07 | 分类于 TroubleShoot
| 字数统计 308 | 阅读时长 1

问题分析

在 Keras 中配置多 GPU 并行计算的时候,报错 libnccl.so.2 not found。简单的来说就是 Tensorflow 多 GPU 运行的话使用了一个 NCCL 2.x 的库,但是不是默认安装的,同时又由于NCCL 2.x是动态加载的,因此不会影响不调用NCCL原语的程序,也就是说直到你第一次尝试多 GPU 为止都不会发现这个问题。

阅读全文 »

SSH 的使用

发表于 2018-12-03 | 分类于 Linux
| 字数统计 343 | 阅读时长 1

服务球端安装 ssh

  1. 测试服务器是否安装了 ssh

    1
    2
    3
    ps -e | grep ssh
    # ssh-agent exist -> ssh client okay
    # sshd exist -> ssh server okay
    
  2. 安装 ssh

    1
    2
    3
    4
    5
    # ssh-client
    sudo apt-get install openssh-client
    
    # ssh-server
    sudo apt-get install openssh-server
    
  3. 更换 ssh 服务默认端口

    • 使用 vim 打开配置文件 /etc/ssh/sshd_config,搜索 port 更改端口号即可。
    • sudo /etc/init.d/ssh restart

用自己想用的用户名登陆

  1. 在~/.ssh中创建一个文件config
  2. 在里面输入

    1
    2
    3
    4
    5
    Host gpu_server_host
      SetEnv TERM=xterm-256color
        HostName server_ip
        Port 22
        User username
    
  3. 重启终端即可

SCP

1
2
scp -r /local/path username@server_ip:/server/path
scp -r username@server_ip:/server/path /local/path

18. scp 跨机远程拷贝 - Linux Tools Quick Tutorial

免密登陆

  1. 在本机生成公钥、私钥对

    1
    2
    ssh-keygen
    # 会生成 id_rsa.pub 到 ~/.ssh 里面
    
  2. 将 id_rsa.pub 传到服务器端

    1
    scp id_rsa.pub your_username@ip:~/home/your_username
    
  3. 服务器端创建 authorized_keys

    1
    2
    touch ~/.ssh/authorized_keys
    sudo chmod 600 ~/.ssh/authorized_keys
    
  4. 追加公钥到 authorized_keys 文件中

    1
    cat id_rsa.pub >> ~/.ssh/authorized_keys
    

禁止密码口令登录

通常在配置完服务器以后默认是允许用户名密码登录的,但是为了安全着想,我们应该只允许使用密钥登录,具体的办法为修改 /etc/ssh/sshd_config 文件。修改其中 PasswordAuthentication 为 no 即可。

阅读全文 »

为Python执行脚本加可用参数和提示

发表于 2018-12-01 | 分类于 Python
| 字数统计 112 | 阅读时长 0

简介

我们经常希望自己的脚本输入能变得“优雅”一点,所以让脚本能支持参数指定就很重要了。这里就记录下如何让自己的脚本支持带提示的参数的输入。

阅读全文 »

pip 主题

发表于 2018-12-01 | 分类于 Python
| 字数统计 595 | 阅读时长 2

pip 的使用

  1. 安装第三方库
    1
    2
    3
     pip install packageName ``` 2. 卸载
     ```python
     pip uninstall packageName
    
  2. 检测最新包 & 升级包
    1
    2
    3
    4
     pip list --outdated packageName
     pip install --upgrade packageName
     pip3 list --outdated | grep -e '^[a-z]' | cut -d ' ' -f 1 | xargs -n1 pip3 install -U
     # 小 trick 一键升级所有的包
    
  3. 显示所有已经安装的包名
    1
    2
     pip freeze
     pip list
    
阅读全文 »

CS224n 笔记07 TensorFlow 入门

发表于 2018-11-20 | 分类于 NLP
| 字数统计 1603 | 阅读时长 8

简介

这节课主要的内容其实就是简单的介绍了 TensorFlow 的一些基本理念,和一些简单的用法,并用半节课的时间实现了之前我们做过的实验 Skipgram。

阅读全文 »

[troubleshoot] 2080/2080ti显卡驱动安装(ubuntu)

发表于 2018-11-20 | 分类于 TroubleShoot
| 字数统计 584 | 阅读时长 2

[troubleshoot] 2080/2080ti显卡驱动安装(ubuntu)

问题描述

使用 ubuntu 自动识别的显卡驱动版本不支持 2080 和 2080ti 显卡。所以需要手动的去官网下载对应显卡驱动,进行手动安装。

阅读全文 »

安装配置 Oh my Zsh

发表于 2018-11-15 | 分类于 软件使用
| 字数统计 455 | 阅读时长 2

Why Zsh

  1. 好看!
  2. 有git实时显示

简单直白粗暴、上述亮点就是我换oh my zsh的初衷。用了它直接免去了很多的重复操作、让终端更美观、让生活更美好。

阅读全文 »

《AI 未来》 - 李开复

发表于 2018-11-14 | 分类于 读书笔记
| 字数统计 972 | 阅读时长 4

简介

简单的来说全书是这样的一个逻辑,首先在书中一开始,说明了这次的人工智能和之前的深蓝这种专家系统1有着本质的区别,它跳出了人用自己的知识告诉机器应该怎么办这种固有的思维框架,而“放手”设计结构让机器自行去学习。

在接下来的章节中,开复指出了接下来的人工智能的主要的两个竞争国家为中国和美国,两者有着不同的优势。美国有着领先数年的技术,而中国有着实干的精神。这点,开复认为现在是从科学落地的实干年代,也就是说他认为中国可能在这里更具有一些优势。

之后,在第三章中着重强调了中国的特殊性,一方面开复承认了中国对“剽窃”的宽容,并允许企业间进行一些比较“残忍”的竞争,不过这样激烈的竞争也让创业者被迫进行不停的创新和改进,另一方面开复也指出在政府层面上,中国有着美国不同的优势,就是政府能够通过政府设置的国家队风投进行引导投资来加速技术的落地。除此之外,在这些章节中,开复也指出了,人工智能的时代,是一个赢者通吃的时代,成功的企业在数据,技术,资金,人才会达成“飞轮效应”,形成良性循环,最终财富快速积累到少数精英的手上。这也引出了书中最后一部分的话题,人工智能引起的社会分层和失业引起的社会动荡问题。

在最后的几个章节中,开复在书中提到自己的患癌症的经历,所以他强调 AI 和人最大的不同在于人有感情,而 AI 没有。也就是说,开复在最后一章中提到的种种措施如 UBI,和政府层面支持为社会贡献的行为的方案,都是认为人有人应该做的,且擅长做的事情,而重复的机械的工作就应该交给机械,或者说 AI 来做。

  1. https://zh.wikipedia.org/zh-hans/专家系统 ↩

阅读全文 »

CS224n 笔记05 反向传播与项目指导

发表于 2018-11-13 | 分类于 NLP
| 字数统计 722 | 阅读时长 3

这次的课比较轻松,简单的来说就是链式法则,帅小哥为了让学生更能理解所以用了不同的方式来讲解这个 BP 的推导。流程图的形式的推导对之后的 Tensorflow 的直观理解很有帮助,不过这里就只保留 BP 推导后的一些经验的总结。

阅读全文 »

MacOS 制作Ubuntu安装U盘

发表于 2018-11-10 | 分类于 软件使用
| 字数统计 287 | 阅读时长 1

MacOS 制作Ubuntu安装U盘

一般而言我们在 windows 下使用 UtraISO 能很容易做出一个 linux 的安装U盘。但是在 MacOS 下应该怎么做呢?答案是万能的命令行!

阅读全文 »
1 … 7 8 9 … 11
DeamoV

DeamoV

109 日志
24 分类
63 标签
RSS
Github Twitter
© 2026 DeamoV
由 Jekyll 强力驱动
主题 - NexT.Muse