|
这篇文章是打算收集一下模型结构或者所引入信息的那些local和global做法 如果大家看过airbnb的Real-time Personalization using Embeddings for Search Ranking at Airbnb，就一定会对那个global context的引入印象深刻。没错，这就是优化目标里头引入了全局信息ali的sim为啥不愿意丢弃任何一个历史互动啊，就是为了在global的互动历史里头搜索推荐邻域算法，关注的更多的是local的信息；而矩阵分解，则能关注到全局的信息除了上面的sim模型，其他跨样本的处理，比如gnn，相对于单样本处理来说，是引入了更多global的信息。同时gnn自身，邻居的选择上是local处理，而消息的传播则会带动global的传递attention相对RNNglobal attention vs local attention，这个资料很多word2vec的处理窗口非常local，但bert等会引入更长的上下文，达到句子级别，这也是local往global的趋势甚至召回的负采样你都可以看做往global样本空间的努力如何在模型里头利用好local信息，但又兼顾到global的处理，应该是一个提效的理想方向。
|