关于网卡驱动的发送函数调用dev_kfree_skb的简析

时间：2019-08-14 00:10:10 阅读：186 评论：0 收藏：0 [点我收藏+]

标签：call must send 子模块 waiting ddr logs count jiffies

一、问题的由来

1、现象

在linux4.3.2 的网卡驱动程序cs89x0.c的net_send_packet()里，有：

  1 	/* Test to see if the chip has allocated memory for the packet */
  2 	if ((readreg(dev, PP_BusST) & READY_FOR_TX_NOW) == 0) {
  3 		/*
  4 		 * Gasp!  It hasn‘t.  But that shouldn‘t happen since
  5 		 * we‘re waiting for TxOk, so return 1 and requeue this packet.
  6 		 */
  7 
  8 		spin_unlock_irq(&lp->lock);
  9 		if (net_debug) printk("cs89x0: Tx buffer not free!\n");
 10 		//当检测到网卡暂时无法发送数据时，会直接return 1，而没有调dev_kfree_skb (skb)。
 11 		return 1;//这里似乎应该return NETDEV_TX_BUSY，理由见：注
 12 	}
 13 	/* Write the contents of the packet */
 14 	writewords(dev->base_addr, TX_FRAME_PORT,skb->data,(skb->len+1) >>1);
 15 	spin_unlock_irq(&lp->lock);
 16 	lp->stats.tx_bytes += skb->len;
 17 	dev->trans_start = jiffies;
 18 	dev_kfree_skb (skb); //当发送完数据后，会释放掉skb
 19

2、提出的疑问

问题1) 为什么当发送完数据后，要由网卡驱动（而不是上层函数）释放掉skb？

问题2) 为什么当检测到网卡暂时无法发送数据时，却没有调dev_kfree_skb (skb)？

二、背景知识

1、TCP的分段（TCP Segmentation）以及IP的分片(IP Fragmentation)

简言之，就是TCP会对传输的数据报大小有个限制(称为MSS)。如果超出了此限制，则会把数据包分段传输。IP分片的概念与此类似。

2、TCP的出错重传机制

TCP是可靠的数据传输协议，所以为了保证所传数据的正确性和完整性，会对出错（出错的原因包括网卡故障等）的数据报进行重传。并且TCP在检测到出错（包括一个分段出错）后会重发整个TCP报文段（因为TCP数据报分段依赖于下层IP层的数据包，而IP层没有出错重传机制）。

三、结合背景知识，解答疑问（不一定完全正确）

1、对问题1的解答

我推测原因之一（可能还有其它更深层的原因）是：在内核里，除了dev_hard_start_xmit外，还有其它地方也会调网卡驱动的发送函数，所以如果把释放skb的工作从驱动层提升到上层的话，会造成不必要的代码膨胀。

2、对问题2的解答

根据内核代码对于dev_kfree_skb（其实是consume_skb的包装）的注释：

  1 /**
  2  *	consume_skb - free an skbuff
  3  *	@skb: buffer to free
  4  *
  5  *	Drop a ref to the buffer and free it if the usage count has hit zero
  6  *	Functions identically to kfree_skb, but kfree_skb assumes that the frame
  7  *	is being dropped after a failure and notes that
  8  */
  9

大致意思是：发送成功的数据，称为被consumed(消费)掉了，而发送失败的数据，称为被dropped(丢弃)掉了。所以当网卡发送数据失败时，不应该调dev_kfree_skb。

（那么问题来了，既然不能调dev_kfree_skb，那就调kfree_skb也可以释放skb啊？但驱动里为啥不释放skb，而是直接return 1了呢？看来故事还没完。。。）

3、进一步的分析（可结合下文对dev_hard_start_xmit的注释来看）

由于协议栈所传输的数据，可能是分段（或者分片）的数据，这些数据在内核里，会通过skb_segment()把对应的skb进行分片处理（简单的说，会把skb分片成许多nskb，然后通过next、prev指针链接成一个链表，而表头就是那个被分片的skb），然后经过九转十八弯，最终调用dev_hard_start_xmit，它会在while循环里遍历skb链表里所有的分片，调用底层的网卡驱动的net_device_ops.ndo_start_xmit发送这些分片。

如果由于网卡故障导致分片发送不成功（这时驱动应该返回不等于NETDEV_TX_BUSY和NETDEV_TX_LOCKED的非零值注），则dev_hard_start_xmit会退出while循环，然后调用kfree_skb，释放掉整个skb链表（因为这种情况下，上层要重传整个数据包而不是单个分片）。因此，网卡驱动里不需要单独释放分片。

而如果由于其它原因（比如网卡发送忙）导致发送不成功（这时驱动应该返回NETDEV_TX_BUSY或者NETDEV_TX_LOCKED 注），则dev_hard_start_xmit会保留此分片下次重试，所以网卡驱动就不应该过早的释放此分片。

综合以上两种情况，得出结论是：当网卡发送不成功时，不要释放skb。

注：根据netdevice.h里对于ndo_start_xmit的注释：

  1 /* netdev_tx_t (*ndo_start_xmit)(struct sk_buff *skb,
  2  *                               struct net_device *dev);
  3  *	Called when a packet needs to be transmitted.
  4  *	Must return NETDEV_TX_OK , NETDEV_TX_BUSY.
  5  *        (can also return NETDEV_TX_LOCKED iff NETIF_F_LLTX)
  6  *	Required can not be NULL.
  7 */

可以看出：
- 如果网卡发送忙，则应该返回NETDEV_TX_BUSY，以保留此分片待下次重传
- 如果网卡故障，则可以返回不等于NETDEV_TX_BUSY和NETDEV_TX_LOCKED的非零值（从下文对dev_hard_start_xmit的注释可知，这样会使整个数
据包被释放掉，下次会重传整个数据包）

4、对dev_hard_start_xmit的注释

  1 int dev_hard_start_xmit(struct sk_buff *skb, struct net_device *dev, struct netdev_queue *txq)
  2 {
  3 	const struct net_device_ops *ops = dev->netdev_ops;
  4 	int rc = NETDEV_TX_OK;
  5 	unsigned int skb_len;
  6 	if (likely(!skb->next)) { //如果skb没有被分段
  7 		netdev_features_t features;
  8 		/*
  9 		 * If device doesn‘t need skb->dst, release it right now while
 10 		 * its hot in this cpu cache
 11 		 */
 12 		if (dev->priv_flags & IFF_XMIT_DST_RELEASE)
 13 			skb_dst_drop(skb);
 14 /* 这里把将要发给驱动的数据包提供给上层嗅探程序进行分析监控 */
 15 		if (!list_empty(&ptype_all))
 16 			dev_queue_xmit_nit(skb, dev);
 17 		skb_orphan_try(skb);  //孤儿化skb? 作用不明
 18 		features = netif_skb_features(skb);
 19 /* 上层协议要求驱动进行VLAN插入加速，但是当前网络设备不支持该功能时，则需要手动完成数据包的VLAN字段插入 */
 20 		if (vlan_tx_tag_present(skb) &&
 21 		    !(features & NETIF_F_HW_VLAN_TX)) {
 22 			skb = __vlan_put_tag(skb, vlan_tx_tag_get(skb));
 23 			if (unlikely(!skb))
 24 				goto out;
 25 			skb->vlan_tci = 0;
 26 		}
 27 /* 如果上层协议需要底层驱动执行数据包硬件分片操作，但是底层硬件不支持该功能时，则需要手动完成分片操作 */
 28 		if (netif_needs_gso(skb, features)) {
 29 			if (unlikely(dev_gso_segment(skb, features)))
 30 				goto out_kfree_skb;
 31 			if (skb->next)
 32 				goto gso;
 33 		} else {
 34 /* 如果硬件不支持分离集合DMA操作而SKB带有非线性碎片数据的话，则需要对数据进行线性化拼接操作 */
 35 			if (skb_needs_linearize(skb, features) &&
 36 			    __skb_linearize(skb))
 37 				goto out_kfree_skb;
 38 			/* If packet is not checksummed and device does not
 39 			 * support checksumming for this protocol, complete
 40 			 * checksumming here.
 41  * 上层协议要求底层计算校验，而底层硬件不支持校验时，需要手动计算校验值
 42 			 */
 43 			if (skb->ip_summed == CHECKSUM_PARTIAL) {
 44 				skb_set_transport_header(skb,
 45 					skb_checksum_start_offset(skb));
 46 				if (!(features & NETIF_F_ALL_CSUM) &&
 47 				     skb_checksum_help(skb))
 48 					goto out_kfree_skb;
 49 			}
 50 		}
 51 		skb_len = skb->len;
 52 /* 调用网卡驱动的ndo_start_xmit函数(即cs89x0.c的net_send_packet) */
 53 		rc = ops->ndo_start_xmit(skb, dev);
 54 		trace_net_dev_xmit(skb, rc, dev, skb_len);
 55 /*如果发送成功，则更新发送队列的统计信息，然后返回*/
 56 		if (rc == NETDEV_TX_OK)
 57 			txq_trans_update(txq);
 58 		return rc;
 59 	}//eo if(likely(!skb->next))
 60 //如果skb是被分段的话
 61 gso:
 62 	do {
 63    /* 从skb链表中取出一个nskb */
 64 		struct sk_buff *nskb = skb->next;
 65 		skb->next = nskb->next;
 66 		nskb->next = NULL;
 67 		/*
 68 		 * If device doesn‘t need nskb->dst, release it right now while
 69 		 * its hot in this cpu cache
 70 		 */
 71 		if (dev->priv_flags & IFF_XMIT_DST_RELEASE)
 72 			skb_dst_drop(nskb);
 73 		skb_len = nskb->len;
 74 /* 对此nskb调用网卡驱动的ndo_start_xmit函数 */
 75 		rc = ops->ndo_start_xmit(nskb, dev);
 76 		trace_net_dev_xmit(nskb, rc, dev, skb_len);
 77 /* 如果发送不成功的话 */
 78 		if (unlikely(rc != NETDEV_TX_OK)) {
 79 	 /* 如果是因为网卡故障导致发送不成功，则跳出循环，释放掉整个skb链表*/
 80 		if (rc & ~NETDEV_TX_MASK)
 81 		    goto out_kfree_gso_skb;
 82 /* 如果是其它原因（比如网卡忙，暂时无法发送），则nskb留待下次重试，然后直接返回*/
 83 		    nskb->next = skb->next;
 84 		    skb->next = nskb;
 85 		    return rc;
 86 		}
 87 		txq_trans_update(txq);
 88 /*如果数据包未全部发送完就停止了（比如可能上层协议栈暂停了发送），则直接返回，剩下未发送的分片下次再试 */
 89 		if (unlikely(netif_xmit_stopped(txq) && skb->next))
 90 			return NETDEV_TX_BUSY;
 91 	} while (skb->next);
 92 out_kfree_gso_skb:
 93 	if (likely(skb->next == NULL))
 94 		skb->destructor = DEV_GSO_CB(skb)->destructor;
 95 /* 如果是分片的skb，且全部发送成功，或者网卡故障导致分片未发送成功，则释放掉整个skb */
 96 out_kfree_skb:
 97 	kfree_skb(skb);
 98 out:
 99 	return rc;
100 }