有空写感触，没空插链接。都看过至少一遍。包括 paper 或者 科研知识。

TODO

• 详读ResNet及系列论文
• 详读Transformer和Attention论文，太常听到了，看彦哥高级PPT
  ( 两篇最新综述：A Survey of Visual Transformers / AMMUS:A survery of Transformer-based Pretrained Models in Natural Lnaguage Processing )
• 写的论文中所用AlexNet到GoogleNet等模型论文详读一遍，知其所以然
• 详读yolox论文
• 看何凯明新paper MAE

2021.11.15

深度学习为何泛化的那么好？秘密或许隐藏在内核机中

UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量

上面这两篇有继承性，第一篇探究最简宽NN，用最简化内核机解释ANN泛化性。第二篇的简述举得例子挺好理解，关于正交向量，”没有免费午餐定理“

区块链能保护隐私？别被忽悠了
博主提到的区块链账户流水可查很有意思。一但与其有一笔交易，就可以查到其所有流水，能推出其有多少钱，这明显比银行还不安全啊

2021.11.16

元宇宙会成为IPv6的拐点吗？
今天还看了一篇文章，现在看到风口俩字挺感慨啊
IPv6已经推行了15年余，但一直缺乏大改革 overhaul (今天刚背的6级词) 的动力，目前主流的还是IPv4。但是元宇宙这样一个宏大的概念，目前快要到底的IPv4地址是撑不住的。IPv6，可能是元宇宙的必经之路。而元宇宙可能也同样会再次盘活区块链这样底层技术的概念

2021.11.17

CPU被挖矿，Redis竟是内鬼！
故事性语言还挺有意思
Redis是一种key-value数据库；unhind发现隐藏进程；top动态检测进程的CPU占用率、内存等；ps同top，不过是静态快照，top -aux；netstat监听tcp/ip网络
故事最后，病毒进入的原因是Redis将内存中陌生公钥SAVE到了磁盘的 /root/.ssh/authorized_keys 中

四万字全面详解 | 深度学习中的注意力机制
Attention Mechanisms帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销，在Seq2Seq模型（从输入映射到输出，如翻译）中常用
传统Seq2Seq存在两个问题，其一不同输入长度句子映射成定长向量，其二每个词赋同样权重，没考虑翻译多词对一。Attention解决这个问题
这篇推文写得一般吧，数学公式插得太多，解释太少，看起来太费劲

【元宇宙“双11”学习狂欢节】元宇宙猜想：技术演变的终极路径
这是我目前看到对元宇宙诠释得较深刻的一篇
漫画：什么是 “元宇宙” ？
视野|陈晓华：元宇宙是下一代互联网综合体
这两篇也写挺好
今天看到新闻Meta研制出元宇宙概念的手套了，之后会配合其他设备使用，成本价 5k 美金，贵的啊

NLP顶会开源code合集