常用脚本汇总

news/2024/7/4 3:07:28 标签: 脚本, file

随机访问文件中的位置,但是需要保证不取到重复的数值

awk '{ print rand(),$1 }' file.txt|sort -k1 |awk '{ print $2 }' >result.txt

awk '{ print rand(),$1 }' file.txt在第一列加上随机数

awk '{ print rand(),$1 }' file.txt|sort -k1按照第一列随机数排序

awk '{ print rand(),$1 }' file.txt|sort -k1 |awk '{ print $2 }' 按照第一列随机数排序后取得第二列,即原来file.txt文本的第一列。取出需要的个数即可。

 

两个文件a、b,a和b格式都是每行只有一个字段,需要把两个文件按行合并到一起

awk  '{ print NR,$0 }' file1.txt > result1.txt
awk  '{ print NR,$0 }' file2.txt > result2.txt
join -1 1 -2 1 -a1 -o 1.2,2.2 aresult1.txt result2.txt > result.txt
用在file1.txt、file2.txt文件中的每一行中增加行号,作为key,然后根据该key来合并连个文件

 

file.txt文件按5000一个文件拆分,以lily为前缀

split -l 5000 file.txt lily

 

file.txt中重复的数值找出来

sort -n file.txt | uniq -d


http://www.niftyadmin.cn/n/1737973.html

相关文章

tensorflow2.x训练模型出现nan

1.报如下错误: tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [predictions must be > 0] [Condition x > y did not hold element-wise:] [x (sub_2:0) ] [[-nan][-nan][-nan]...] [y (Cast_2/x:0) ] [0][[{{node a…

损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系

cross_entropy-----交叉熵是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。 在介绍softmax_cross_entropy,binary_cross_entropy、sigmoid_cross_entropy之前,先来回顾一下信息量、熵、交叉熵等基本概念。 ----------------…

NetLog 大规模应用实战:Database-sharding 技术

一、背景 Netlog是一家社交网站社区,目前拥有大规模的应用数据,包括: 超过4000w的活跃用户数、每个月5000w的UV、每月50亿的PV、每月60亿的在线时长、支持26中语言,覆盖5个主要的欧洲国家,如意大利、德国,土…

0-1Loss、Cross Entropy Loss、Hinge Loss、Exponential Loss、Modified Huber Loss 等几种常见损失函数的比较

前言 在监督式机器学习中,无论是回归问题还是分类问题,都少不了使用损失函数(Loss Function)。**损失函数(Loss Function)**是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。若损失函数很小&#x…

Heroku的架构

很早之前在Infoq上看到Heroku的介绍,不过当时这个网站并没有推出,今天在整理收藏夹的时候发现,Heroku已经推出一段时间,而且现在作为云计算平台已经有很快的发展了。 Heroku是Rails应用最简单的部署平台。只是简单的把代码放进去&…

深度学习中训练集,验证集,测试集的学习心得

这段时间在做一个实验,但是由于数据集较小,所以我就只分了训练集和验证集(相当于把测试集当成验证集用了),由于没有真正意义上的测试集,所以做完实验之后开始怀疑自己,这样做真的对吗&#xff1…

[转]Javascript的变量与delete操作符

Javascript的变量 实际上Javascript中,变量 对象属性,这是因为 Javascript 在执行脚本之前会创建一个Global对象,所有的全局变量都是这个Global对象的属性,执行函数时也会创建一个Activation对象,所有的局部变量都是这…

使用 GNU profiler 来提高代码运行速度

原文链接:http://www.ibm.com/developerworks/cn/linux/l-gnuprof.html 使用 GNU profiler 来提高代码运行速度寻找应用程序中占用时间最长的部分 Martyn Honeyford (martynhuk.ibm.com), 软件工程师, IBM UK Labs 2006 年 5 月 08 日 改进应用程序的性能是一项非常耗时…