wordpress 不能更换主题/seo入门教程seo入门
这篇博客,是为了记录一下今天做的一些事情,因为有些繁琐,怕后面再用到的时候忘掉,所以特此记一下,涉及的内容有以下几个:
- 如果使用BERT fine-tune 进行情感分类
- 如何使用谷歌的colaboratory
- Windows的远程服务器连接(svc)
- 用sftp命令进行Windows和Linux传文件(使用内网,远程连接工具等都不可使用的情况可以尝试一下)
- 在Linux上如何使用jupyter
- 导入TensorFlow失败的时候,如何升级glibc库。
- github 上传如果不小心git add了不想上传的文件,该怎么办?
- linux无损调整分区大小和文件系统管理
- 中文情感分类的项目分享
一、起因
下面开始,事情的起因是最近在做一个情感分类的一个项目,使用的是bert微调模型,也就是训练好的bert,所以这里先上第一个知识点:
如果使用BERT fine-tune 进行情感分类
借助这篇博客的思想,我想实现我的中文情感分类的项目,但是苦于设备不好,所以想起了谷歌的colaboratory,就用这个完成项目,所以第二个知识点:
如何使用谷歌的colaboratory
但是,在上面训练的时候,晚上总是掉线,所以我想用我实验室的服务器进行训练,所以就和师哥要了个号 202.199.10.22:5904 ,这个需要下载一个vncviewer。然后输入这个IP+端口号和密码,就可以远程控制服务器了。所以这是第一步。
二、Linux中使用Jupyter
接下来,就是在安装好anaconda和Jupyter的情况下,如何在Linux里面找到,并且打开。 步骤如下:
- 在自己的home下建立一个JupyterNotebook文件夹,放项目
- 输入命令以打开anaconda的命令窗口
source /user/anaconda3/bin/activate
这样就进入了anaconda的命令行窗口,类似于Windows里面的prompt。
接下来,就是创建一个TensorFlow虚拟环境
conda create -n tfenv python=3.7
在这个环境中,装TensorFlow及其用到的相关包
进行完了上面的步骤,导入TensorFlow的时候,发生了错误,需要升级glibc库。 所以升级glibc库到2.23版本的,所以第三个点:
Centos7 glibc库升级到2.23
三、Windows与Linux下内网互传文件
因为要用到服务器,所以需要把我的项目上传到服务器,我首先想到的是一些远程的一些工具,像winscp等这些软件,但是不能用,发生网络错误。我也不知道怎么回事,所以就使用了内网互传,用的sftp命令。
所以上知识点:Linux sftp命令详解
这里我只想记录一下我参考了上面的博客之后,我的操作:
- 在Windows系统下,我打开Git的命令行窗口,因为在这里面可以输入Linux命令
- 然后输入命令连接远程服务器
sftp wzq@202.199.10.22
然后输入密码,就连接到了远程服务器
- 然后,把我的项目传到服务器上,我的项目是压缩后的一个文件夹,叫做"EmotionClassification.zip",我要传到的地方就是/home/wzq/JupyterNotebook文件夹。
put E:\"Jupyter Notebook"\EmotionClassification.zip /home/wzq/JupyterNotebook
这样就传到了服务器上,然后进行解压即可
- 经过上面的步骤,我完成了上传文件
下面是下载文件
通过上面的操作,我就可以用服务器跑我的项目了,虽然目前服务器没有GPU,但是CPU性能还是很好的,并且就是可以不用占用自己的电脑,可以不停的让它跑。
四、Git报错:Your branch is ahead of ‘origin/master’ by 1 commit
用一个命令:
git reset --hard origin/master
五、Linux调整分区大小和创建分区与挂载
这个是在把项目上传之后,发现空间不够了,所以想着把root下面的空间给home分一点,但是怕出事故,就用虚拟机尝试了一下,下面这个调整分区的
Linux无损调整分区大小
但是,在调整分区之前,顺便复习了一下Linux文件系统管理的知识:
创建一块新的硬盘,或者是u盘等,都需要手动挂载,这里说一下硬盘新建之后,
- 先用fdisk -l 命令查看硬盘情况
- 然后 fdisk 设备名进行分区
- 然后创建挂载点,对设备进行挂载 mount命令
- 查看最后的挂载情况 df
参考笔记:Linux文件系统管理
六、情感分类的项目
这个项目已经上传到了GitHub上,是一个中文文本分类的一个项目,就是输入一句话,输出目前的情感。和普通的情感分类问题不同的:
- 这是一个多分类的问题,标签不只是两个,一共六个
- 可能一个样本对应着几个标签
处理方式,我首先基于机器学习的模型尝试,用的多项式朴素贝叶斯。但是效果不好,可能是由于句子比较复杂,而传统的机器学习方式没法捕捉到句子的先后逻辑关系。
所以后面,使用深度学习的模型,用的BERT的fine-tune。谷歌已经给训练好了,提供了接口,只需要根据提示实现接口就行了。这个最后的结果准确率提升了很多。最后用的这个。
最后给出GitHub项目地址:
https://github.com/zhongqiangwu960812/DeepLearningProjects/tree/master/EmotionClassification